Resumo Técnico: Evidências de Duas Habilidades de Planejamento Distintas em LLMs

Definição do Problema

As avaliações atuais do planejamento de Grandes Modelos de Linguagem (LLMs) frequentemente atribuem as lacunas de desempenho entre tarefas a variações na dificuldade da tarefa ao longo de um espectro único de habilidade. No entanto, essa perspectiva assume que o planejamento é uma habilidade monolítica, potencialmente ocultando o fato de que o desempenho desigual pode advir de competências latentes distintas que respondem de maneira diferente à escala do modelo e às estratégias de raciocínio. Embora benchmarks como o ACPBench-Hard decomponham o planejamento em subtarefas, eles não mapeiam necessariamente as estruturas cognitivas subjacentes que regem o desempenho do modelo. Este artigo investiga se o desempenho de planejamento de LLMs reflete uma única habilidade geral ou um conjunto estruturado de competências distintas e não intercambiáveis, e como essas competências reagem ao aumento da escala do modelo e aos orçamentos de raciocínio em tempo de teste (ex: Cadeia de Pensamento [CoT], harnesses de agentes).

Metodologia

Os autores empregam uma abordagem estatisticamente fundamentada usando a Teoria de Resposta ao Item (IRT) e a Teoria de Resposta ao Item Multidimensional (MIRT) para analisar o comportamento de LLMs no benchmark ACPBench-Hard.

• Dados e Configuração: O estudo avalia três famílias de LLMs (Qwen3.5, Gemma 4, Granite 3.3) através de várias escalas de parâmetros sob três condições de inferência:
  1. Direta: Prompting de poucos disparos (few-shot) sem traços de raciocínio intermediários.
  2. Cadeia de Pensamento (CoT): Traços de raciocínio passo a passo com o modo de pensamento habilitado.
  3. Scratchpad: Um harness de agente que permite a travessia de estado externo via E/S de arquivos para simular busca por ramificação e retrocesso (backtracking).
• Formulação do Modelo: Os autores tratam a avaliação como um problema de resposta ao item onde os modelos são os "respondentes" e as instâncias do benchmark são os "itens". Eles comparam diversas especificações de IRT:
  • IRT Unidimensional: Assume uma única habilidade de planejamento latente.
  • MIRT Compensatória: Assume múltiplas dimensões que podem compensar umas às outras (contribuição aditiva para a probabilidade de sucesso).
  • MIRT Não Compensatória: Assume múltiplas dimensões onde o sucesso requer a satisfação conjunta de condições (contribuição multiplicativa; a fraqueza em uma dimensão não pode ser compensada pela força em outra).
• Seleção de Modelo: Os autores utilizam o Critério de Informação de Akaike (AIC), o Critério de Informação Bayesiano (BIC) e a log-verossimilhança negativa validada por cruzamento (CV NLL) para selecionar a melhor estrutura latente. Eles também empregam Análise de Componentes Principais (PCA) e validação externa via códigos semânticos e características de problemas derivadas de PDDL.

Contribuições Principais

1. Estrutura Estatística para Análise de Competência: O artigo introduz um método para ir além da acurácia agregada, usando MIRT para decompor o desempenho de planejamento em estruturas de competência latente.
2. Identificação de Duas Dimensões Distintas: A análise revela que o planejamento de LLMs é melhor explicado por um modelo não compensatório bidimensional, desafiando a visão do planejamento como uma única habilidade geral.
3. Evidência de Escalonamento Assimétrico: O estudo demonstra que o escalonamento do tamanho do modelo e o aumento dos orçamentos de raciocínio (CoT, scratchpads) não melhoram o planejamento de forma uniforme. Em vez disso, eles beneficiam significativamente uma dimensão enquanto deixam a outra amplamente inalterada.

Resultados

1. Estrutura Latente: Duas Dimensões

O modelo não compensatório 2D forneceu o melhor ajuste para os dados (menor AIC/BIC), superando tanto os modelos unidimensionais quanto os compensatórios. Isso indica que o sucesso no planejamento requer a satisfação simultânea de duas competências distintas; a força em uma não pode compensar a fraqueza na outra. As duas dimensões são interpretadas como:

• Raciocínio Operacional (Dimensão 1): A capacidade de avaliar a aplicabilidade de ações locais, prever transições de estado imediatas e validar etapas de plano. As tarefas incluem aplicabilidade de ação (app), progressão de estado (prog), previsão de próxima ação (nexta) e validação de plano-objetivo (val).
• Enumeração Estrutural (Dimensão 2): A capacidade de raciocinar sobre a alcançabilidade de objetivos globais, estruturas de marcos (landmarks) e restrições do espaço de estados. As tarefas incluem alcançabilidade de ação (areach), detecção de marcos (land) e alcançabilidade de estado (reach).

2. Efeitos Assimétricos de Escala e Raciocínio

• Raciocínio Operacional: Melhora consistentemente com o escalonamento do modelo e a adição de traços de raciocínio (CoT, Scratchpad).
• Enumeração Estrutural: Permanece um gargalo persistente. Mesmo com modelos maiores e harnesses de agentes sofisticados (incluindo memória persistente e uso de ferramentas), o desempenho em tarefas estruturais de alta dificuldade (ex: areach) permanece próximo ao nível basal (floor levels).
• Prompting: O prompting direcionado para elicitar raciocínio estrutural (ex: identificar marcos) oferece apenas melhorias marginais e falha em replicar os ganhos vistos em tarefas operacionais.

3. Modos de Falha e Sensibilidade de Formato

• Assinaturas de Falha: Tarefas operacionais sofrem principalmente de falhas de externalização (o modelo sabe a resposta, mas falha em gerá-la), enquanto tarefas estruturais exibem erros de ausência latente (o rótulo correto não é linearmente acessível a partir dos estados ocultos).
• Sensibilidade de Formato: Tarefas estruturais são altamente sensíveis ao formato de saída. Fornecer respostas candidatas (via formatos Booleano ou Múltipla Escolha) resgata drasticamente o desempenho em tarefas estruturais (ex: a acurácia de areach salta de ~7% no modo generativo para ~89% no modo MCQ), enquanto as tarefas operacionais são robustas ao formato. Isso sugere que o gargalo para o planejamento estrutural reside na tradução do conhecimento latente em saída estruturada, e não no processo de raciocínio em si.

Significância e Alegações

O artigo argumenta que a suposição prevalecente do planejamento como uma habilidade única e escalável é incompleta. Ao mudar o foco de "se os modelos melhoram no geral" para "quais competências melhoram sob quais condições", os autores identificam um ponto cego sistemático na pesquisa atual de planejamento de LLMs.

A alegação principal é que a enumeração estrutural representa uma limitação fundamental nos LLMs padrão que não é resolvida simplesmente aumentando a escala do modelo ou estendendo os traços de raciocínio. Os autores concluem que o progresso futuro requer intervenções direcionadas especificamente à tradução do conhecimento estrutural latente em saída, em vez de depender de leis gerais de escalonamento. Este trabalho fornece uma ferramenta de diagnóstico (perfil de competência baseado em IRT) para entender melhor a natureza específica das falhas de planejamento em sistemas agênticos.