From Proof to Program: Characterizing Tool-Induced Reasoning Hallucinations in Large Language Models

Título: Da Prova ao Programa: Caracterizando Alucinações de Raciocínio Induzidas por Ferramentas em Grandes Modelos de Linguagem

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) aumentaram suas capacidades ao integrar ferramentas externas (como interpretadores de código) para superar limitações de conhecimento paramétrico e realizar cálculos precisos. No entanto, o artigo identifica uma nova falha crítica: mesmo quando a ferramenta é invocada corretamente e executada sem erros, os modelos podem substituir o raciocínio lógico profundo por verificações empíricas baseadas em código.

O fenômeno é denominado Miopia Induzida por Ferramentas (Tool-Induced Myopia - TIM).

• Definição: O TIM ocorre quando o acesso a uma ferramenta (ex: Python) faz com que o modelo estreite seu raciocínio para o que a ferramenta pode calcular, negligenciando derivações matemáticas necessárias.
• O Paradoxo: O modelo pode produzir a resposta final correta, mas o processo de raciocínio torna-se superficial, substituindo provas matemáticas por buscas numéricas ou enumeração exaustiva.
• Limitação das Métricas Atuais: Métricas tradicionais de precisão da resposta final não detectam o TIM, pois ambas as abordagens (com e sem ferramenta) podem chegar ao resultado certo. Métricas de consistência lógica de nível de passo também falham, pois o raciocínio gerado parece coerente superficialmente, embora falte a fundamentação teórica.

2. Metodologia

2.1. Benchmark PYMATH

Os autores introduzem o PYMATH, um conjunto de dados com 1.679 problemas matemáticos de nível de competição.

• Critério de Seleção: Problemas onde o código Python é útil, mas não suficiente para a solução completa. Isso força o modelo a combinar computação com raciocínio lógico.
• Filtragem: Utilizou-se um protocolo "LLM-as-a-judge" para garantir que os problemas exigissem insights matemáticos além da execução de código.

2.2. Suite de Avaliação Multidimensional

Para capturar o TIM, o paper propõe quatro métricas que vão além da precisão final:

1. Precisão da Resposta Final: Mede o sucesso na tarefa (o TIM não reduz necessariamente esta métrica).
2. Taxa de Vitória (Win Rate): Compara soluções de um LLM com ferramentas (TaLM) contra sua versão sem ferramentas (Base-LLM) usando um juiz LLM. Avalia qual solução tem menos erros de lógica, suposição, criatividade e álgebra.
3. Taxa de Falha (Miss Rate): Mede a proporção de passos lógicos presentes na solução de referência (gold standard) que estão ausentes na solução do modelo. Um TIM alto resulta em alta taxa de falha (passos pulados).
4. Precisão do PRM (Process Reward Model): Utiliza um modelo de recompensa de processo (QWEN2.5-MATH-7B-PRM800K) para avaliar a correção de cada passo individualmente.

2.3. Configuração Experimental

• Modelos: Sete modelos de ponta (GPT-4.1, o4-mini, GPT-5, Gemini-2.0/2.5, Claude-Opus-4).
• Condição Controlada: Apenas o interpretador de código é usado, eliminando ruídos de falhas de API ou dados externos.

3. Principais Resultados e Descobertas

3.1. O Paradoxo da Precisão vs. Raciocínio

• Os modelos com ferramentas (TaLM) alcançaram um ganho de até 19,3 pontos percentuais na precisão da resposta final.
• No entanto, o comportamento de raciocínio deteriorou-se consistentemente:
  • Os modelos sem ferramentas (Base-LLM) venceram em 41,5% das comparações par a par em termos de qualidade do raciocínio.
  • A Taxa de Falha (Miss Rate) aumentou nos TaLMs, indicando que passos de derivação essenciais foram omitidos.
  • A precisão do PRM diminuiu, sugerindo que o raciocínio passo a passo se tornou menos sólido.

3.2. Correlação com a Frequência de Chamadas de Ferramentas

• Quanto mais frequentemente o modelo invoca a ferramenta, pior se torna a coerência do raciocínio.
• Modelos "pensantes" (Thinking Models), como o GPT-5 e o Claude-Opus-4, tendem a usar ferramentas com muito mais frequência (~50% mais que modelos não-pensantes), o que os torna mais suscetíveis ao TIM.

3.3. Mudança no Tipo de Erro

O uso de ferramentas desloca o perfil de erros:

• Diminuição: Erros aritméticos e algébricos (pois o código calcula corretamente).
• Aumento: Erros globais de raciocínio, incluindo falhas de lógica, suposições incorretas e falta de criatividade estratégica. O modelo deixa de "provar" e passa a "verificar".

3.4. Evidência Qualitativa

Uma auditoria manual em soluções de alto risco revelou que ~55% exibiam TIM. Cues linguísticos comuns incluem frases como "uma verificação numérica direta mostra..." ou "vamos verificar programaticamente", substituindo a dedução teórica.

4. Mitigação Proposta

Os autores propõem duas estratégias para realinhar os modelos:

1. Intervenção via Prompting (Sem Treinamento):

   • Instrução explícita para tratar os resultados do código apenas como "dicas auxiliares" e derivar a solução através de raciocínio matemático.
   • Resultado: Melhorou a qualidade do raciocínio (Win Rate), mas reduziu ligeiramente a precisão final.

2. Otimização de Preferência Direta (DPO):

   • Criação de um dataset de preferência onde, para o mesmo problema e mesma resposta final correta, a solução escolhida é aquela que mantém o raciocínio matemático, e a rejeitada é aquela que depende excessivamente do código (TIM).
   • Resultado: O modelo ajustado (GPT-4.1) superou tanto o TaLM padrão quanto o Base-LLM em precisão final (+0,6% sobre o TaLM, +3,0% sobre o Base) e apresentou a melhor qualidade de raciocínio (menor Miss Rate e maior Win Rate).

5. Contribuições e Significância

• Novo Fenômeno (TIM): Identificação de uma classe de alucinação onde o uso correto de ferramentas degrada a profundidade do raciocínio, um problema não coberto por avaliações existentes.
• Benchmark e Avaliação: Introdução do PYMATH e de uma suite de avaliação multidimensional que revela falhas de raciocínio ocultas por métricas de precisão final.
• Implicações para Segurança e Confiabilidade: O TIM é perigoso porque gera respostas corretas com justificativas falhas, o que pode levar a erros em cenários críticos onde a explicabilidade é necessária.
• Solução Viável: Demonstra que o alinhamento via DPO pode ensinar modelos a usar ferramentas como assistentes de raciocínio, e não como substitutos do pensamento crítico.

Conclusão

O artigo conclui que a integração de ferramentas em LLMs não é isenta de riscos. Sem mecanismos de controle adequados, o acesso a ferramentas pode induzir uma "miopia" onde o modelo prefere a computação à prova. A mitigação eficaz requer não apenas melhorar a precisão, mas reorientar o comportamento do modelo para valorizar a integridade do processo de raciocínio, mesmo quando a ferramenta está disponível.