Resumo Técnico: A Extração de Árvores de Busca a partir de Rastros de Raciocínio de LLMs Revela Planejamento Miópico

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs), particularmente modelos de raciocínio, geram rastros extensos de cadeia de pensamento (CoT) que parecem simular futuros resultados, assemelhando-se ao planejamento humano. No entanto, permanece incerto se esses rastros constituem uma busca sistemática genuína ou meramente a conclusão de padrões. Benchmarks comportamentais existentes frequentemente falham em distinguir entre modelos que resolvem tarefas com sucesso por meio de planejamento profundo e aqueles que dependem de heurísticas superficiais ou memorização. Além disso, mesmo que LLMs gerem estruturas semelhantes a árvores de busca, é desconhecido se essas estruturas causam a tomada de decisão ou se os modelos agem com base em mecanismos diferentes e não observados. Este artigo aborda a lacuna entre a estrutura superficial do raciocínio de LLMs e o processo algorítmico subjacente que impulsiona a seleção de movimentos.

Metodologia

Os autores introduzem um framework para extrair, quantificar e modelar árvores de busca a partir de rastros de raciocínio de LLMs no domínio do jogo de tabuleiro "quatro-em-linha" (uma grade 4×9).

1. Configuração Experimental: Um torneio round-robin foi conduzido envolvendo 27 LLMs (tanto proprietários quanto de pesos abertos) jogando 1.404 partidas. Apenas modelos com rastros de raciocínio totalmente acessíveis (14 modelos) foram incluídos na análise, resultando em 9.696 rastros de raciocínio.
2. Extração de Árvore de Busca: Um juiz LLM (GPT-5) foi empregado para analisar rastros CoT não estruturados em árvores de busca formais. O juiz identificou movimentos deliberados explicitamente, distinguindo entre os movimentos candidatos do modelo (nós de profundidade-1) e as respostas simuladas do oponente (nós de profundidade-2 e além), gerando uma estrutura de lista aninhada.
3. Modelagem Computacional: Para determinar como os LLMs utilizam essas árvores extraídas, os autores ajustaram modelos cognitivos computacionais adaptados da literatura de planejamento humano (Van Opheusden et al., 2023). Quatro variantes de modelo foram testadas:
   • Árvore Completa: Utiliza backup minimax para propagar valores heurísticos dos nós folha até a raiz.
   • Miópico: Avalia apenas o estado imediato resultante de um movimento de primeira jogada, ignorando todos os nós mais profundos.
   • Desconto: Interpola entre árvore completa e miópico usando um fator de desconto $\gamma$.
   • Sem Árvore: Ignora completamente a árvore de busca extraída, pontuando movimentos com base exclusivamente em uma função heurística do estado atual do tabuleiro.
4. Intervenção Causal: Para testar se os rastros de raciocínio causam decisões, os autores realizaram um estudo de poda cirúrgica. Eles removeram parágrafos específicos do CoT (por exemplo, decisões finais, ramos inteiros ou níveis de profundidade específicos) e reexecutaram o modelo para observar mudanças na seleção de movimentos.

Principais Resultados

1. Esforço de Busca e Desempenho

Há uma correlação positiva entre o esforço de busca (tamanho total da árvore) e a taxa de vitória. Modelos que geram árvores de busca maiores performam melhor. Essa relação mantém-se dentro de famílias de modelos e é causalmente apoiada pela observação de que aumentar o esforço de raciocínio (orçamento de tokens) no mesmo modelo (GPT-OSS-120B) leva a árvores maiores e taxas de vitória mais altas.

2. Busca Superficial e Largura vs. Profundidade

LLMs exibem uma busca significativamente mais rasa do que especialistas humanos. A profundidade máxima média de busca entre os modelos variou de 1,00 a 3,48 jogadas, enquanto especialistas humanos em jogos similares geralmente buscam 4–6 jogadas. Crucialmente, o desempenho é previsto pela largura de busca (o número de movimentos candidatos considerados na raiz) e não pela profundidade de busca. Controlando a largura, a profundidade de busca não explica variância adicional nas taxas de vitória.

3. Tomada de Decisão Miópica

Apesar de gerar nós profundos em seus rastros, as escolhas de movimentos dos LLMs são melhor explicadas por um modelo miópico.

• O modelo miópico (ignorando nós profundos) consistentemente superou o modelo de árvore completa na previsão de movimentos de LLMs em todas as arquiteturas.
• A métrica "dano da profundidade" (a queda de desempenho do modelo de árvore completa em relação ao modelo miópico) foi positiva para todos os modelos e aumentou com a profundidade de busca, indicando que a propagação de valores a partir de nós mais profundos prejudica ativamente a precisão da previsão.
• O fator de desconto $\gamma$ no modelo de desconto convergiu para próximo de zero, confirmando que os LLMs atribuem peso negligenciável à busca profunda ao tomar decisões.

4. Papel Causal da Profundidade de Raciocínio

O estudo de intervenção causal revelou que a seleção de movimentos é impulsionada predominantemente por nós superficiais:

• A remoção do parágrafo da decisão final causou uma mudança mínima (2,1%).
• A remoção de todo o ramo correspondente ao movimento escolhido causou uma taxa de mudança de 32,0%.
• No entanto, ao adicionar progressivamente parágrafos de volta por profundidade, restaurar apenas os parágrafos de profundidade-1 (consequências imediatas) reduziu a taxa de mudança para próximo da linha de base (4,1%). Adicionar parágrafos mais profundos (profundidade-2 e além) não proporcionou redução adicional na taxa de mudança.
• Isso indica que, embora os LLMs escrevam sobre busca profunda, suas decisões são causalmente determinadas pela avaliação imediata dos movimentos candidatos, e não pelo conteúdo da busca profunda.

Significado e Alegações

O artigo afirma revelar uma dissociação fundamental entre o planejamento de LLMs e o humano:

• Especialização Humana: Impulsionada por busca mais profunda; o desempenho escala com a capacidade de simular mais adiante no futuro.
• Planejamento de LLM: Gera a estrutura superficial da busca em árvore, mas age com base em um mecanismo miópico. Os nós profundos nos rastros CoT não são utilizados para guiar a decisão final.

Os autores argumentam que a questão central sobre o planejamento de LLMs deve ser reformulada de "Eles podem planejar?" para "Que tipo de algoritmo de planejamento suas decisões refletem?". Eles sugerem que os métodos atuais que dependem de aumento de computação no momento do teste ou rastros de raciocínio mais longos podem ser insuficientes se o modelo não puder propagar efetivamente informações de valor dos nós profundos até a raiz. As descobertas destacam uma limitação nas arquiteturas atuais de LLM (potencialmente relacionada a mecanismos de atenção ou incerteza na profundidade) onde a busca profunda é gerada, mas não integrada na política de decisão. Este trabalho fornece um framework generalizável para interpretar a estrutura do planejamento de LLMs e alerta contra tratar rastros de raciocínio como registros transparentes de deliberação.