Resumo Técnico: PlanningBench

Declaração do Problema

O planejamento é uma capacidade fundamental para Modelos de Linguagem de Grande Escala (LLMs), exigindo a coordenação de objetivos, restrições, recursos e consequências de longo prazo em soluções executáveis. No entanto, os benchmarks de planejamento existentes sofrem limitações significativas:

1. Coleções de Dados Fixas: A maioria dos benchmarks trata os dados de planejamento como coleções estáticas e fixas de instâncias, em vez de alvos de geração controlável, limitando a cobertura e a diversidade de cenários.
2. Proxies Superficiais de Dificuldade: A dificuldade é frequentemente aproximada por métricas de superfície (por exemplo, comprimento do prompt ou número de requisitos) em vez de fontes estruturais, como acoplamento de restrições, hierarquia ou design específico da tarefa.
3. Falta de Suporte ao Treinamento: Os benchmarks existentes oferecem suporte limitado para geração escalável, verificação automática ou treinamento orientado ao planejamento, dificultando o diagnóstico dos limites do modelo ou a melhoria de comportamentos de planejamento generalizáveis.

Metodologia: Framework PlanningBench

Os autores introduzem o PlanningBench, um framework para gerar dados de planejamento escaláveis, diversos e verificáveis tanto para avaliação quanto para treinamento. A metodologia procede em duas macroetapas:

1. Construção da Taxonomia de Tarefas e Restrições

Em vez de catalogar domínios, os autores abstraem esquemas de planejamento reutilizáveis de cenários do mundo real (por exemplo, agendamento, logística, resposta a emergências) em uma taxonomia estruturada.

• Taxonomia de Tarefas: Organiza tarefas de planejamento em seis famílias com base na complexidade estrutural: Agendamento e Horários, Alocação e Correspondência, Turnos e Escala de Pessoal, Roteamento e Viagem, Operações de Projeto e Produção, e Resposta a Emergências e Serviços Públicos. Isso cobre mais de 30 tipos específicos de tarefas e inúmeras subtarefas.
• Taxonomia de Restrições: As restrições são modeladas em três camadas para garantir verificabilidade e controlabilidade:
  • Restrições Gerais: Compartilhadas entre tarefas (por exemplo, completude da entrada, janelas de tempo).
  • Restrições Específicas da Tarefa: Vinculadas a estruturas de tarefas específicas.
  • Restrições Especializadas com Estado: Dependentes de ações previamente executadas ou estado acumulado.
• Níveis de Dificuldade: As restrições são categorizadas em Básicas (viabilidade), Médias (otimização/equidade) e Difíceis (robustez, detecção de inviabilidade, recuperação de exceções).

2. Pipeline de Síntese Orientada por Restrições

O PlanningBench emprega um processo de síntese em malha fechada envolvendo três componentes:

• Gerador: Amostra configurações de tarefa-restrição e instancia problemas de planejamento autossuficientes. Utiliza uma distribuição de amostragem sobre restrições básicas, médias e difíceis para controlar a dificuldade.
• Respondedor: Tenta resolver o problema gerado.
• Crítico: Verifica a solução contra uma lista de verificação em nível de instância.
• Controle Adaptativo de Dificuldade: Se o Respondedor resolver completamente uma instância ($u=1$), o pipeline desloca a composição de restrições para maior dificuldade (aumentando os pesos para restrições médias e difíceis). Se a instância permanecer sem solução ($u=0$), ela é mantida no nível de dificuldade atual.
• Verificação: Cada instância é emparelhada com uma lista de verificação que converte restrições em nível de prompt em verificações executáveis. O framework favorece soluções ótimas determinísticas ou bem especificadas para fornecer sinais de recompensa claros, evitando espaços de resposta vagos que permitem viabilidade parcial sem consistência global.

Contribuições Principais

1. Framework de Geração de Dados Sintéticos: O PlanningBench fornece um mecanismo para gerar dados de planejamento escaláveis, diversos e verificáveis fundamentados em cenários reais, indo além de coleções fixas de benchmarks para geração controlável.
2. Verificação Orientada ao Treinamento: O framework demonstra que os dados verificados do PlanningBench suportam aprendizado por reforço orientado ao planejamento (especificamente GRPO). Os autores identificam a determinação da recompensa (preferência por ótimos bem especificados) como um fator crítico para treinamento estável e transferível.
3. Suite de Avaliação Abrangente: O artigo avalia sistematicamente LLMs de fronteira de código aberto e fechado, revelando que até mesmo os modelos mais fortes lutam com soluções completas sob restrições acopladas.

Resultados Experimentais

Desempenho de Avaliação

Os autores avaliaram 18 LLMs representativos (tanto de código aberto quanto fechado) em um subconjunto de 467 instâncias do PlanningBench.

• Lacuna de Desempenho: Mesmo o modelo de melhor desempenho, GPT-5.4-xhigh, alcançou apenas 63,17% de Aprovação Total (satisfazendo todos os itens da lista de verificação), indicando que o benchmark permanece desafiador e não saturado.
• Consistência Local vs. Global: Existe uma lacuna significativa entre Aprovação Média (fração de itens da lista de verificação satisfeitos) e Aprovação Total. Por exemplo, o GPT-5.4-medium alcançou 90,03% de Aprovação Média, mas apenas 58,09% de Aprovação Total, sugerindo que os modelos frequentemente satisfazem restrições locais, mas falham em integrá-las em um plano globalmente consistente.
• Análise de Erros: O principal modo de falha entre os modelos é Cálculo/Atribuição Incorreta (60,9%–83,5% dos erros), seguido por Omissão de Restrições e falhas no Rastreamento de Estado. Erros de formatação foram negligenciáveis.

Treinamento e Transferência

Os autores treinaram um modelo Qwen-A3B-30B usando GRPO em 300 instâncias verificadas do PlanningBench.

• Transferência para Benchmarks de Planejamento: O modelo treinado mostrou melhorias significativas em benchmarks de planejamento não vistos:
  • ChinaTravel: A Aprovação Total aumentou de 50,92% para 58,36%.
  • TravelPlanner: A Aprovação Total aumentou de 28,85% para 46,86%.
  • Os ganhos foram mais pronunciados do que aqueles alcançados pelo treinamento em dados autorizados por humanos, destacando o valor da síntese estruturada e orientada à verificação.
• Transferência para Tarefas Gerais: O treinamento no PlanningBench também melhorou o desempenho em benchmarks mais amplos de seguimento de instruções e raciocínio (Multi-Challenge, Inverse IFEval, Collie), com um aumento médio de pontuação de 7,06 pontos.
• Papel dos Ótimos Determinísticos: Modelos treinados em dados que enfatizam ótimos determinísticos (Syn-PlanningBench) mostraram transferência superior e dinâmicas de treinamento mais estáveis (convergência mais rápida, curvas de recompensa mais suaves) em comparação com aqueles treinados em dados com ótimos vagos (Syn-NotDetOptimal).

Significado e Alegações

O artigo alega que o PlanningBench atende à necessidade crítica de dados de planejamento escaláveis, diversos e verificáveis. Seu significado reside em três áreas:

1. Poder Diagnóstico: Fornece uma visão detalhada das capacidades de planejamento de LLMs, distinguindo entre conformidade parcial e a capacidade de manter consistência global sob restrições acopladas.
2. Utilidade de Treinamento: Prova que dados de planejamento automaticamente verificáveis podem servir como sinais de treinamento eficazes para aprendizado por reforço, melhorando não apenas o planejamento, mas também o seguimento geral de instruções e o raciocínio.
3. Princípio de Design: O trabalho destaca que a determinação da recompensa é essencial para treinamento estável orientado ao planejamento; instâncias com soluções ótimas bem especificadas fornecem sinais direcionais mais claros do que aquelas com muitas respostas localmente aceitáveis.

Os autores concluem que a construção de dados controlável, a verificabilidade automática e a determinação da recompensa são fundamentais para diagnosticar e melhorar as capacidades de planejamento generalizáveis de LLMs.