Resumo Técnico: Avaliando o Raciocínio Interativo em Grandes Modelos de Linguagem

Declaração do Problema

As avaliações atuais do raciocínio de Grandes Modelos de Linguagem (LLMs) são predominantemente estáticas, apresentando aos modelos problemas totalmente especificados e exigindo uma resposta de disparo único (single-shot). Esse paradigma falha em avaliar o raciocínio como um processo ativo de aquisição de informação e atualização de crenças. Além disso, os benchmarks estáticos frequentemente confundem dois modos de falha distintos: um déficit de conhecimento (falta de fatos necessários) e um déficit de raciocínio (falha em utilizar a informação disponível corretamente). Os benchmarks multi-turno existentes frequentemente misturam raciocínio com conhecimento de mundo, habilidades de diálogo ou seguimento de instruções, e carecem frequentemente de escala ou diversidade estrutural para isolar capacidades de raciocínio específicas. Há uma necessidade de um framework que trate o raciocínio como aquisição sequencial de evidências sob observabilidade parcial, isole o raciocínio do recall factual e investigue capacidades de ordem superior, como robustez e metacognição.

Metodologia

Os autores propõem um framework hierárquico para avaliação de raciocínio interativo, instanciado como um benchmark de 474 jogos executáveis.

1. Estrutura de Raciocínio Interativo

O núcleo do framework formula o raciocínio como um problema de busca de estado sob observabilidade parcial.

• Configuração: O LLM recebe apenas as regras da tarefa e um estado de ambiente oculto. Ele deve emitir consultas direcionadas iterativamente para reunir evidências parciais, atualizar suas crenças e decidir quando submeter uma resposta final.
• Estrutura: Os jogos são construídos a partir de primitivos estruturais mínimos para evitar a dependência de conhecimento do mundo real. Eles abrangem quatro estruturas de dados canônicas (conjuntos, sequências, árvores, grafos) e três modos de inferência (dedutivo, indutivo, abdutivo).
• Protocolo: A interação segue um formato de ação estruturado (ex: <submit>resposta</submit>) para garantir um parsing confiável. O ambiente responde às consultas ou avalia as submissões.
• Dificuldade: Cada jogo é avaliado sob cinco espaços de busca de configuração fixa, correspondentes a cinco níveis de dificuldade definidos pelo tamanho do espaço de busca latente (ex: cardinalidade de conjuntos, profundidade de árvores).

2. Camadas de Avaliação de Ordem Superior

Além da busca interativa básica, o framework introduz duas camadas para investigar capacidades avançadas:

• Robustez Contextual: Testa se o raciocínio é preservado sob:
  • Perturbação Isomórfica: Variantes semanticamente enriquecidas (ex: mudar nós de um grafo para pacientes) que preservam a lógica subjacente, mas alteram a forma superficial.
  • Injeção de Ruído Intra-jogo: Adição de texto irrelevante às regras ou respostas.
  • Controle de Fronteira Inter-jogo: Introduzir um novo jogo sem resetar o histórico de interação para testar a mudança de contexto.
• Adaptação Metacognitiva: Testa a habilidade do modelo de gerenciar seu estado de raciocínio interno:
  • Revisão Contrafactual: O ambiente corrige uma observação anterior no meio do jogo, exigindo que o modelo atualize suas crenças e revise sua estratégia de busca.
  • Julgamento de Necessidade: O modelo recebe evidências completas, é solicitado a resolver o problema e, em seguida, solicitado a identificar e remover observações redundantes para formar um conjunto de suporte mínimo.

3. Construção do Benchmark

O benchmark consiste em 474 jogos (totalizando 2.370 instâncias através de níveis de dificuldade). Para garantir qualidade e escalabilidade, os autores empregaram uma estratégia de construção híbrida Humano-LLM:

• Geração de Regras: Modelos de fronteira geraram regras candidatas sob restrições rigorosas relativas a estados ocultos, tipos de consulta e solvabilidade.
• Geração de Programas: Uma interface baseada em templates foi usada para gerar ambientes executáveis, com LLMs implementando apenas a lógica específica do jogo.
• Filtragem: Os jogos foram filtrados com base no desempenho preliminar dos modelos para remover aqueles que eram fáceis demais (>90% de sucesso), difíceis demais (<10% de sucesso) ou ambíguos. A revisão manual refinou ainda mais o conjunto.

Principais Resultados

Os autores avaliaram um amplo conjunto de modelos de fronteira (incluindo Qwen3-max, Deepseek-3.2, Claude-4.5, GPT-5.4 e várias versões do Gemini) no benchmark.

• Poder Discriminativo: O benchmark diferencia efetivamente os modelos. As taxas de sucesso variaram de ~43% a ~74%. O Gemini-3.1-pro alcançou a maior taxa de sucesso (74,21%) e eficiência, enquanto o Claude-4.5 mostrou eficácia comparável, mas exigiu quase o dobro de turnos, indicando menor eficiência de interação.
• Regimes de Raciocínio:
  • O raciocínio dedutivo foi consistentemente o mais fácil para todos os modelos, provavelmente devido à ênfase nos dados de treinamento.
  • O raciocínio abdutivo e as tarefas baseadas em conjuntos foram os mais desafiadores, com conjuntos provando ser mais difíceis que árvores ou grafos devido à falta de pistas estruturais explícitas.
• Robustez Contextual:
  • Perturbação Isomórfica: Causou quedas de desempenho moderadas, mas consistentes (ex: Gemini-3.1-pro caiu ~5-6%), indicando dificuldade em preservar o raciocínio abstrato sob mudanças semânticas.
  • Injeção de Ruído: Reduziu consistentemente o desempenho, sugerindo que os modelos têm dificuldade em filtrar conteúdo irrelevante enquanto rastreiam evidências ativas.
  • Controle de Fronteira: Surpreendentemente, o desempenho permaneceu estável ou melhorou ligeiramente quando novos jogos foram introduzidos sem o reset do histórico, sugerindo que os modelos conseguem reconhecer fronteiras de tarefas.
• Adaptação Metacognitiva:
  • Revisão Contrafactual: Causou quedas significativas de desempenho (ex: Gemini-3.1-pro caiu de 74,21% para 57,56%), revelando uma fraqueza qualitativa em atualizar estados de raciocínio internos quando as evidências mudam.
  • Julgamento de Necessidade: Os modelos frequentemente removeram uma grande fração das observações (62–83%), mas falharam em preservar a resposta correta após a poda. As taxas de sucesso despencaram após a poda (ex: de 70,76% para 48,87% para o Gemini-3.1-pro), indicando que os modelos são melhores em usar evidências quando presentes do que em identificar evidências indispensáveis.
• Modos de Falha: O modo de falha dominante foi o FormatError (falha em seguir o protocolo estruturado), em vez de timeouts, destacando o desafio de manter a conformidade com o protocolo ao longo de múltiplos turnos.

Significância e Alegações

O artigo afirma fornecer um framework resistente à contaminação e diagnosticamente rico para avaliar o raciocínio de LLMs. Ao tratar o raciocínio como aquisição ativa de evidências, o benchmark isola déficits de raciocínio de déficits de conhecimento.

Os autores afirmam que, embora os modelos de fronteira atuais demonstrem habilidades de raciocínio interativo não triviais, eles permanecem substancialmente mais fracos em:

1. Robustez: Manter o desempenho sob perturbações semânticas e ruído.
2. Revisão de Crença: Atualizar o raciocínio quando uma evidência anterior é corrigida.
3. Atribuição de Evidência: Distinguir entre informações suficientes e necessárias.

O trabalho sugere que os modelos atuais são melhores em resolver problemas sob evidências fixas do que em manter um relato revisável de por que uma resposta está correta. Os autores posicionam este benchmark como uma ferramenta para trabalhos futuros em diagnósticos de raciocínio, intervenções em tempo de treinamento e aprendizado por reforço interativo, observando que a natureza executável do ambiente permite protocolos de interação explícitos.

O artigo reconhece modestamente limitações, incluindo a incapacidade de espaços de configuração fixa capturarem totalmente a natureza contínua dos desafios de raciocínio do mundo real e o potencial de simplificação excessiva da dinâmica de interação devido ao formato de ação estruturado baseado em XML.