Humans and LLMs Diverge on Probabilistic Inferences

1. Problema e Motivação

O raciocínio humano frequentemente opera com informações parciais para chegar a conclusões probabilísticas, em vez de deduções lógicas estritas. Enquanto os Grandes Modelos de Linguagem (LLMs) de raciocínio demonstraram alto desempenho em tarefas lógicas e matemáticas determinísticas, seu comportamento em inferências abertas e não determinísticas (onde a conclusão é provável, mas não garantida) permanece pouco explorado.

O problema central é que os LLMs atuais são frequentemente avaliados em tarefas com rótulos "hard" (verdadeiro/falso), ignorando a natureza gradativa e incerta do raciocínio do mundo real. O artigo investiga se os LLMs conseguem replicar a distribuição de julgamentos probabilísticos humanos, que variam em grau de certeza e incerteza.

2. Metodologia

2.1. Construção do Dataset PROBCOPA

Os autores introduzem o PROBCOPA, um novo dataset contendo 210 inferências probabilísticas em inglês, construídas manualmente.

• Origem: Derivado do dataset COPA (Choice of Plausible Alternatives), que originalmente apresenta pares de causa/efeito onde uma alternativa é mais plausível que a outra.
• Reformulação: Cada item do COPA foi dividido em dois itens de Inferência de Linguagem Natural (NLI): Premissa ($P$) e Hipótese ($H$). Ao contrário do NLI tradicional (que busca entalimento estrito), aqui avalia-se o grau de probabilidade de $H$ ser verdadeiro dado $P$.
• Foco: Apenas itens que elicitem julgamentos sobre a probabilidade de efeitos (excluindo causas, devido à complexidade na estimativa causal humana).

2.2. Anotação Humana

• Participantes: 328 falantes nativos de inglês (Reino Unido, EUA, Canadá) recrutados via Prolific.
• Procedimento: Os participantes avaliaram a probabilidade de cada hipótese em uma escala deslizante de 0 a 100.
• Calibração: Foram utilizados exemplos instrucionais com feedback para calibrar o uso da escala.
• Dados: Cada um dos 210 itens recebeu entre 25 e 30 anotações humanas independentes.
• Validação: Dois rounds de validação confirmaram a reprodutibilidade das respostas humanas (correlação de Spearman > 0.97).

2.3. Avaliação dos Modelos

• Modelos Testados: 8 LLMs de raciocínio de última geração (State-of-the-Art), incluindo Gemini-3, GPT-5, Claude Sonnet-4.5, DeepSeek-R1, Kimi-K2, entre outros.
• Formato de Resposta: Como os modelos não expõem probabilidades internas (log-probs) de forma acessível ou confiável para cadeias de raciocínio, os autores solicitaram estimativas numéricas verbalizadas (0-100) após uma cadeia de raciocínio.
• Amostragem: Para cada item, cada modelo gerou 30 amostras (com temperatura padrão) para capturar a variabilidade da resposta.
• Métricas:
  • Entropia Diferencial: Usada para quantificar a dispersão/variação das respostas (humana vs. modelo).
  • Distância de Wasserstein: Usada para medir a similaridade entre as distribuições de probabilidade humanas e dos modelos.

3. Principais Contribuições

1. Dataset PROBCOPA: Um corpus de 210 itens de inferência probabilística com anotações humanas densas (25-30 por item), projetado especificamente para estudar julgamentos de probabilidade não determinísticos.
2. Análise de Discrepâncias: Evidência robusta de que os LLMs falham em replicar a distribuição de julgamentos humanos, especialmente em casos de incerteza moderada.
3. Análise de Cadeias de Raciocínio: Identificação de padrões comuns nas cadeias de raciocínio dos modelos (consideração explícita de cenários alternativos) e correlação com a dificuldade percebida pelos humanos.

4. Resultados Chave

4.1. Comportamento Humano

• Julgamentos Graduais: As respostas humanas não são binárias. A distribuição global é trimodal (baixa, média, alta probabilidade), mas com uma proporção significativa de respostas nos intervalos intermediários, indicando julgamentos probabilísticos matizados.
• Distribuição Unimodal por Item: Para itens individuais, as respostas humanas tendem a ser unimodais (seguiam uma distribuição Beta), sugerindo que a variação é de grau e não de interpretação qualitativa (diferente de alguns datasets de NLI anteriores que mostravam bimodalidade).
• Incerteza no Meio: Itens com probabilidade mediana (perto de 50) apresentaram maior entropia (desacordo entre anotadores) e tempos de resposta mais longos, indicando maior dificuldade cognitiva.

4.2. Comportamento dos LLMs

• Falta de Probabilidade Média: Os modelos raramente atribuem probabilidades no meio da escala (ex: 40-60). Eles tendem a ser sobreconfiantes, polarizando respostas para extremos (muito provável ou muito improvável).
• Baixa Variabilidade: Ao contrário dos humanos, que mostram variação natural em suas respostas para o mesmo item, os modelos produzem distribuições extremamente concentradas (baixa entropia diferencial). Mesmo com ajustes de temperatura ou prompting de persona, os modelos não alcançaram a variabilidade humana.
• Desalinhamento Distribucional: A distância de Wasserstein entre humanos e modelos é significativamente maior do que a distância entre humanos e humanos (baseline). O alinhamento é melhor apenas para itens extremos (muito prováveis ou improváveis), mas falha drasticamente na faixa de incerteza moderada.

4.3. Análise de Cadeias de Raciocínio

• Correlação com Dificuldade Humana: Existe uma correlação positiva (Spearman $\rho \approx 0.50$ para o Gemini-3) entre o comprimento da cadeia de raciocínio do modelo e a entropia das respostas humanas. Ou seja, os modelos "pensam mais" (geram mais tokens) quando os humanos estão mais divididos.
• Padrão de Raciocínio: 90% das cadeias de raciocínio analisadas incluíam a consideração explícita de cenários alternativos para justificar a probabilidade final.
• Falha na Simulação de Incerteza: Aumentar o esforço de raciocínio (orçamento de tokens) não resultou em maior variabilidade ou melhor alinhamento com a distribuição humana.

5. Significado e Conclusão

O estudo revela uma lacuna fundamental entre a capacidade de raciocínio lógico-dedutivo dos LLMs e a sua capacidade de raciocínio probabilístico humano.

• Implicações para Avaliação: Métricas atuais que focam em precisão exata (acerto/erro) são insuficientes para avaliar o raciocínio em contextos do mundo real, onde a incerteza é inerente.
• Sobreconfiança: Os modelos demonstram uma tendência persistente de sobreconfiança, evitando a expressão de incerteza moderada, o que é crítico para aplicações em saúde, direito e tomada de decisão.
• Futuro: É necessário desenvolver métodos de avaliação que considerem a distribuição de respostas e a variabilidade humana, além de investigar por que os modelos falham em simular a "dúvida" humana, mesmo quando explicitamente instruídos a considerar alternativas.

Em resumo, embora os LLMs sejam poderosos em lógica formal, eles ainda divergem significativamente de como os humanos processam e expressam a incerteza em inferências cotidianas.