Implicit Probabilistic Reasoning Does Not Reflect Explicit Answers in Large Language Models

Título: Raciocínio Probabilístico Implícito Não Reflete Respostas Explícitas em Grandes Modelos de Linguagem (LLMs)

1. O Problema

A avaliação atual das capacidades de raciocínio probabilístico dos Grandes Modelos de Linguagem (LLMs) baseia-se predominantemente em perguntas de múltipla escolha (MCQs). Neste paradigma "explícito", o modelo é questionado diretamente sobre a probabilidade de um evento e deve selecionar a resposta correta entre opções fornecidas.

O artigo identifica uma lacuna crítica: embora os LLMs frequentemente obtenham altas pontuações nessas tarefas explícitas, a literatura mostra que essas avaliações são vulneráveis a vieses (como a ordem das opções) e à contaminação de dados. Mais importante ainda, não há garantia de que o modelo integre corretamente a informação probabilística no seu processo de geração de texto (o modo como os LLMs são realmente utilizados na prática). O modelo pode "saber" a resposta correta quando perguntado, mas falhar ao aplicar essa lógica ao prever o próximo token em uma sequência de texto.

2. Metodologia

Os autores propõem um novo paradigma de avaliação chamado Raciocínio Probabilístico Implícito, focado na distribuição de probabilidade dos próximos tokens (next-token prediction) em vez da resposta final selecionada.

• Abordagem Explícita (Controle): O modelo recebe um cenário e uma pergunta de múltipla escolha. A avaliação mede a probabilidade de o modelo selecionar a opção correta.
• Abordagem Implícita (Proposta): O mesmo cenário é reformulado como uma tarefa de completamento de texto. O prompt termina logo antes da descrição do resultado (ex: "Dois dados justos são lançados. A soma das faces é igual a ").
  • O sistema analisa a distribuição de probabilidade que o modelo atribui aos tokens possíveis para o próximo passo.
  • Compara-se essa distribuição implícita com a "verdadeira" distribuição de probabilidade (ground truth).
  • O objetivo é verificar se o modelo favorece o resultado mais provável (Maximum Likelihood - ML) e se a distribuição geral está alinhada com a realidade estatística.

Configuração Experimental:

• Modelos: Uma variedade de LLMs de código aberto (Qwen, DeepSeek, Llama, Mistral, Gemma, Phi), variando de 14B a 235B parâmetros, incluindo modelos de raciocínio e padrão.
• Cenários de Avaliação: Cinco famílias de tarefas foram criadas para testar diferentes aspectos da incerteza:
  1. Dados (Dice): Lançamento de dados (simples, repetidos, dependentes/independentes).
  2. Moedas (Coins): Lançamento de moedas (viés, repetições).
  3. Preferência e Escolha: Impacto de rótulos e ordem nas previsões.
  4. Estatística: Cálculo de prevalência de doenças baseado em subpopulações (estudo de caso médico).
• Métricas: Precisão na escolha do ML, distância de Chebyshev, distância de Manhattan e Divergência de Kullback-Leibler (KL) entre a distribuição prevista e a real.

3. Principais Contribuições

1. Novo Paradigma de Avaliação: Introdução de uma metodologia que avalia a capacidade do modelo de integrar informações probabilísticas no processo de geração de texto, em vez de apenas responder a perguntas.
2. Identificação de uma "Blink Spot" (Ponto Cego): Evidência robusta de que o desempenho explícito (MCQ) não é um indicador confiável da competência implícita (geração de texto) dos LLMs.
3. Análise de Vieses Ocultos: Demonstração de que os modelos sofrem de vieses significativos durante a geração de texto que não são detectados por benchmarks tradicionais, como a influência indevida de eventos anteriores independentes e a preferência por rótulos ou posições específicas.

4. Resultados Chave

• Result 1: Discrepância entre Explícito e Implícito:

  • Os modelos frequentemente acertam as MCQs (raciocínio explícito), mas falham em favorecer o resultado mais provável ao completar o texto (raciocínio implícito).
  • Exemplo (Estudo de Caso Médico): O modelo acertou 99,96% na MCQ sobre a probabilidade de um paciente ter ansiedade vs. burnout. No entanto, ao completar o texto, atribuiu 99,08% de probabilidade ao diagnóstico de "ansiedade", ignorando que os dados estatísticos mostravam que o "burnout" era mais provável. O modelo gerou uma justificação coerente para a resposta errada.

• Result 2: Influência Indevida de Eventos Independentes:

  • Os modelos falham em descartar informações irrelevantes. Quando um prompt menciona um evento anterior independente (ex: "um dado caiu em 1, agora lance novamente"), a distribuição de probabilidade do segundo lançamento é distorcida.
  • O modelo tende a favorecer ou evitar o resultado anterior, violando a independência estatística. Isso é medido por um aumento significativo na distância de Chebyshev entre a distribuição prevista e a real.

• Result 3: Vieses de Rótulos e Posição:

  • Em cenários onde todas as opções são equiprováveis, os modelos tendem a favorecer desproporcionalmente a primeira opção mencionada no prompt ou rótulos com significados semânticos específicos (ex: "Esquerda" vs. "Direita"), mesmo quando a equiprobabilidade é explicitamente declarada.

5. Significado e Conclusão

O artigo conclui que a avaliação atual de LLMs está incompleta. A capacidade de um modelo de declarar uma resposta correta (competência explícita) é distinta da sua capacidade de integrar essa lógica na geração de texto (competência implícita).

• Implicações Práticas: Em aplicações do mundo real (como diagnósticos médicos, previsão de riscos ou tomada de decisão), onde o LLM gera texto contínuo, a falha em alinhar as distribuições de probabilidade internas com a evidência estatística pode levar a conclusões errôneas e justificativas plausíveis, mas falsas.
• Recomendação: É necessário desenvolver novos benchmarks que avaliem não apenas a resposta final, mas a coerência probabilística interna do modelo durante a geração de texto. A pesquisa sugere que os LLMs atuais ainda não possuem uma compreensão robusta de incerteza e probabilidade em seu mecanismo fundamental de previsão de tokens.