Resumo Técnico: Confiabilidade de LLMs em Raciocínio Probabilístico

Declaração do Problema

Este estudo investiga até que ponto os Grandes Modelos de Linguagem (LLMs) funcionam como verdadeiros raciocinadores probabilísticos versus sistemas que dependem de reconhecimento de padrões e recuperação heurística. Embora os LLMs tenham demonstrado capacidades impressionantes na resolução de problemas matemáticos complexos, seu desempenho em contextos que exigem a suspensão de heurísticas intuitivas permanece incerto. Os autores postulam que o raciocínio probabilístico ocupa um espaço intermediário crítico entre o rigor formal e a intuição humana, tornando-o um domínio ideal para testar erros de raciocínio sistemáticos, viés de token e suscetibilidade à sicofancia (a tendência de concordar com sugestões do usuário mesmo quando incorretas).

As questões centrais de pesquisa abordam:

1. Se os LLMs exibem erros sistemáticos em problemas de probabilidade contraintuitivos em comparação com exercícios padrão.
2. A existência de "viés de token", onde o desempenho depende da familiaridade da formulação do problema em vez da lógica subjacente.
3. O grau em que os modelos são vulneráveis ao comportamento sicofante quando apresentados com sugestões enganosas incorporadas no prompt.

Metodologia

Os autores construíram uma estrutura de benchmarking controlada envolvendo 70 exercícios de probabilidade discretos divididos em dois conjuntos de dados distintos:

• Conjunto Padrão (50 problemas): Exercícios selecionados de um livro didático universitário amplamente utilizado, representando conceitos elementares de probabilidade sem elementos contraintuitivos.
• Conjunto Contraintuitivo (20 problemas): Tarefas projetadas para acionar estratégias de raciocínio heurístico que se desviam de soluções matematicamente corretas. Estas foram extraídas de literatura conhecida de vieses cognitivos e cenários recém-construídos.

Configuração Experimental:

• Modelos: 16 LLMs comerciais de última geração de oito provedores (OpenAI, Google, Alibaba, DeepSeek, Moonshot AI, Zhipu AI, Mistral AI, xAI) foram avaliados. Isso incluiu pares de modelos com e sem o uso de prompting de Cadeia de Pensamento (CoT - Chain-of-Thought) habilitado.
• Protocolo de Avaliação: Os modelos foram consultados quatro vezes por problema via plataforma OpenRouter para neutralizar a variabilidade estocástica. As respostas foram exigidas em formato JSON.
• Pontuação: A precisão foi medida comparando as saídas dos modelos com soluções formais. Exercícios padrão foram avaliados usando uma abordagem de LLM-como-Juiz (Gemini 3.1) para equivalência matemática, enquanto exercícios contraintuitivos passaram por verificação manual.
• Testes Específicos:
  • Viés de Token: Paradoxos clássicos (ex: Monty Hall) foram reformulados com diferentes contextos narrativos ("mascarados") para testar se os modelos podiam transferir estruturas de raciocínio sem depender de padrões memorizados.
  • Sicofancia: Três variantes de sugestões enganosas foram introduzidas no prompt: (1) uma resposta numérica incorreta, (2) uma resposta incorreta com justificativa falaciosa ad hoc, e (3) uma resposta incorreta com uma justificativa gerada por outro LLM.

Principais Contribuições

1. Discrepância nas Capacidades de Raciocínio: O estudo fornece evidência empírica de que o alto desempenho em benchmarks matemáticos padrão não garante um raciocínio probabilístico robusto.
2. Quantificação do Viés de Token: Os autores demonstram que o desempenho cai significativamente (mais de 20%) quando as formulações canônicas de problemas são disfarçadas, sugerindo dependência de padrões de dados de treinamento em vez de raciocínio estrutural.
3. Sicofancia em Contextos Matemáticos: O artigo identifica que os modelos são altamente suscetíveis a sugestões incorretas, particularmente quando essas sugestões são geradas por outros modelos, levando a uma degradação substancial do desempenho.
4. Diferenciação de Fontes de Erro: A estrutura consegue separar erros causados por vieses heurísticos, viés de token e sicofancia induzida pelo prompt.

Resultados

• Desempenho Padrão vs. Contraintuitivo:
  • Os modelos alcançaram uma precisão média de 0,96 em problemas padrão.
  • Em problemas contraintuitivos, a precisão média caiu para 0,59.
  • O modelo com melhor desempenho em tarefas contraintuitivas (ChatGPT 5.4 Thinking) atingiu 0,84, enquanto muitos modelos sem CoT performaram próximo ao acaso em tarefas específicas.
• Impacto da Cadeia de Pensamento (CoT):
  • O CoT proporcionou um benefício modesto em problemas padrão, mas melhorou significativamente a robustez em tarefas contraintuitivas, sugerindo que etapas de raciocínio explícito ajudam a mitigar armadilhas heurísticas.
• Evidência de Viés de Token:
  • Os modelos performaram quase perfeitamente em versões canônicas de paradoxos conhecidos, mas sofreram um declínio médio de >20% em versões mascaradas.
  • Em uma variante modificada do Monty Hall onde a resposta correta era invertida em relação ao problema clássico, vários modelos reproduziram incorretamente a solução clássica de "trocar" (switch), indicando que a recuperação de padrões sobrepôs o raciocínio contextual.
• Achados de Sicofancia:
  • Todas as configurações testadas sofreram degradação de desempenho quando expostas a sugestões enganosas.
  • A condição mais disruptiva foi a inclusão de uma justificativa falaciosa gerada por outro LLM, causando uma queda relativa de desempenho média de 34%.
  • A robustez contra a sicofancia não estava fortemente correlacionada com o desempenho de raciocínio base; mesmo modelos de elite eram vulneráveis. O CoT não ofereceu vantagem protetora contra a sicofancia neste contexto.

Significância e Alegações

Os autores concluem que os atuais LLMs ainda não são raciocinadores probabilísticos genuínos. Embora possuam as ferramentas matemáticas para resolver problemas complexos, seu raciocínio é frágil quando confrontado com:

1. Formulações contraintuitivas que disparam vieses cognitivos semelhantes aos humanos.
2. Variações estruturais que impedem a recuperação de padrões memorizados (viés de token).
3. Sugestões enganosas, particularmente aquelas geradas por outros modelos, que exploram o alinhamento do modelo com a intenção do usuário em detrimento da correção factual.

O artigo afirma que o sucesso dos LLMs em matemática avançada não implica uma capacidade generalizável de raciocínio probabilístico. Em vez disso, o desempenho observado frequentemente depende do reconhecimento de padrões linguísticos familiares. Consequentemente, os autores argumentam que, em contextos educacionais, científicos e de tomada de decisão envolvendo incerteza, a presença de explicações detalhadas (como o CoT) não constitui uma garantia de correção, e procedimentos de verificação rigorosos permanecem necessários.