Do LLMs Share Human-Like Biases? Causal Reasoning Under Prior Knowledge, Irrelevant Context, and Varying Compute Budgets

O estudo demonstra que, embora os grandes modelos de linguagem (LLMs) apresentem estratégias de raciocínio mais baseadas em regras e sejam menos suscetíveis a vieses humanos específicos em tarefas de inferência causal, eles divergem do raciocínio humano ao falharem em considerar fatores latentes não mencionados e exigem técnicas como o raciocínio passo a passo para manter a robustez diante de contextos irrelevantes.

O essencial

Imagine que você está tentando adivinhar por que o chão da sua cozinha está molhado. Você sabe que existem duas possíveis causas: o gato derrubou um copo de água (Causa 1) ou o cano do teto está vazando (Causa 2). O chão molhado é o Efeito.

Este artigo de pesquisa, apresentado em um workshop de inteligência artificial, faz um teste interessante: ele pergunta se os "cérebros" de Inteligência Artificial (os Grandes Modelos de Linguagem, ou LLMs) pensam sobre esse problema molhado da mesma forma que os humanos, ou se eles seguem regras diferentes.

Aqui está a explicação simplificada, usando analogias do dia a dia:

1. O Cenário: O Detetive Humano vs. O Detetive Robô

Os pesquisadores pegaram mais de 20 modelos de IA diferentes (como versões do GPT, Claude, Gemini, etc.) e os colocaram para resolver 11 quebra-cabeças lógicos baseados nessa estrutura de "causa única com múltiplos motivos".

Eles compararam as respostas das IAs com as de um grupo de estudantes universitários (humanos). O objetivo era ver: A IA imita os "vícios" de pensamento dos humanos ou ela é um robô superlógico?

2. A Grande Descoberta: Humanos são "Abertos", IAs são "Rígidas"

Aqui está a parte mais surpreendente:

• Os Humanos (O Detetive Criativo): Quando os humanos veem o chão molhado e sabem que o gato derrubou um copo, eles ainda pensam: "Hmm, mas e se o cano também estivesse vazando? Ou se alguém tivesse derrubado água sem eu ver?". Eles consideram fatores que não foram mencionados. Eles são flexíveis e assumem que o mundo é complexo e cheio de surpresas.
• As IAs (O Detetive de Manual): A maioria das IAs age como se o mundo fosse um livro de regras fechado. Se o texto diz "O gato derrubou o copo", a IA assume que só o gato derrubou o copo. Ela ignora totalmente a possibilidade de um cano vazando, a menos que você escreva isso explicitamente no texto. Elas seguem as regras do "manual" com uma precisão quase militar, ignorando o que não está escrito.

Analogia: Imagine que você pede a um humano e a um robô para desenhar um cenário de "chuva".

• O humano desenha nuvens, mas também coloca um cachorro molhado e uma poça de lama, porque "faz sentido" no mundo real.
• O robô desenha apenas as nuvens e a chuva, porque foi isso que você pediu. Se você não pediu o cachorro, ele não existe no desenho do robô.

3. O Teste de Distração: O Barulho na Sala

Os pesquisadores fizeram um teste de resistência. Eles deram às IAs o mesmo problema lógico, mas:

1. Mudaram as palavras: Em vez de "gato" e "copo", usaram nomes estranhos como "X8JZP" e "QWERTY" (para ver se a IA dependia de conhecimento do mundo real).
2. Adicionaram "lixo": Colocaram textos aleatórios e sem sentido no meio da pergunta, como se alguém estivesse gritando coisas aleatórias perto do detetive enquanto ele tenta pensar.

O Resultado:

• Algumas IAs mais antigas ou menores ficaram confusas com o "lixo" e perderam a lógica.
• As IAs mais novas e poderosas (como o Gemini 2.5 Pro) foram como super-heróis focados: ignoraram o barulho e mantiveram a lógica perfeita.
• O Truque do "Pensar em Voz Alta" (Chain-of-Thought): Quando os pesquisadores pediram para a IA "pensar passo a passo" antes de dar a resposta, elas ficaram muito mais resistentes. Foi como se a IA tivesse que escrever seu raciocínio num caderno antes de entregar a resposta final; isso a ajudou a não se distrair com o "lixo" e a seguir a lógica corretamente.

4. O Paradoxo: IAs são "Melhores" em Lógica, mas Piores em Cenários Reais?

O estudo descobriu que as IAs não têm os mesmos "vícios" que os humanos.

• Vício Humano: Os humanos muitas vezes falham em lógica pura. Eles acham que se o gato derrubou o copo, o cano não pode estar vazando (mesmo que possa ser os dois ao mesmo tempo). Isso é chamado de "viés de explicação".
• Comportamento da IA: As IAs raramente cometem esse erro. Elas entendem perfeitamente que duas coisas podem acontecer ao mesmo tempo. Elas são mais "lógicas" do que nós.

Mas há um perigo:
Em um laboratório, ser superlógico é ótimo. Mas no mundo real, onde as coisas são incertas e há sempre algo que esquecemos de mencionar, a rigidez da IA pode ser um problema. Se uma IA médica decidir que um paciente tem uma doença baseada apenas nos sintomas listados, ignorando fatores ocultos que um médico humano consideraria, isso pode ser perigoso.

Resumo Final

Este estudo nos diz que:

1. As IAs não são humanos: Elas não pensam como nós. Elas são mais rígidas e seguem regras estritas, enquanto nós somos mais flexíveis e consideramos o "invisível".
2. Elas são boas em lógica, mas frágeis em contexto: Elas seguem regras perfeitamente, mas podem falhar se o mundo real for mais complexo do que o texto que elas leram.
3. O "Pensar Passo a Passo" ajuda: Pedir para a IA explicar seu raciocínio a torna mais confiável e resistente a distrações.

A lição de ouro: Não devemos esperar que as IAs pensem exatamente como humanos. Elas são ferramentas poderosas, mas precisamos entender que elas são "detetives de manual" e não "detetives de intuição". Para usá-las com segurança, precisamos saber quando confiar na lógica delas e quando precisamos intervir com nosso próprio senso de contexto.

Resumo técnico

1. Problema e Motivação

Os Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais utilizados em domínios críticos onde o raciocínio causal é fundamental (ex: suporte a decisões médicas e legais). No entanto, permanece incerto se os julgamentos desses modelos refletem:

1. Cálculo causal normativo (correto);
2. Atalhos cognitivos semelhantes aos humanos (vieses);
3. Ou apenas correspondência de padrões frágil.

O desafio central é que, no mundo real, muitos cenários de julgamento causal são mal definidos (sem taxas base exatas), forçando agentes a dependerem de heurísticas e pressupostos prévios. Antes de implantar LLMs em ambientes de alto risco, é crucial entender se eles reproduzem os vieses humanos conhecidos (como o viés de "explicação" fraca em estruturas de colisor) ou se operam sob lógicas diferentes, e como eles se comportam sob ruído e manipulação de contexto.

2. Metodologia

Tarefas e Baseline Humana

• Estrutura: O estudo utiliza uma estrutura de colisor clássica da cognição causal humana: $C1 \rightarrow E \leftarrow C2$ (duas causas independentes afetam um efeito comum).
• Dados: Baseado em tarefas de inferência de Rehder & Waldmann (2017), envolvendo 11 tarefas de julgamento de probabilidade condicional.
• Participantes: Uma linha de base humana (N=48 estudantes de graduação da NYU) e 20+ LLMs (incluindo modelos da família GPT-4/5, Claude 3/4, Gemini 2.5, etc.).
• Ausência de "Ground Truth": Como as taxas base e forças causais não são especificadas, não há uma resposta "correta" única. O objetivo é avaliar a estratégia de raciocínio e a consistência qualitativa.

Condições Experimentais

Os autores testaram a robustez dos modelos sob uma matriz de 8 condições ($2 \times 2 \times 2$):

1. Conhecimento Prévio (Semântica):
   • RW17 (Original): Histórias semânticas (sociologia, clima, economia).
   • Abstract: Variáveis substituídas por strings aleatórias (ex: "u8jzPde0Ig"), removendo conhecimento de mundo.
2. Carga de Informação (Ruído):
   • Original: Prompts limpos.
   • Overloaded: Injeção de texto irrelevante (ruído) para reduzir a relação sinal-ruído.
3. Estratégia de Prompting:
   • Direct: Resposta numérica direta.
   • Chain-of-Thought (CoT): Solicitação de raciocínio passo a passo antes da resposta.

Análise de Modelos

Os autores ajustaram Redes Bayesianas Causais (CBN) pequenas e interpretáveis (com parametrização leaky noisy-OR) aos julgamentos dos agentes para ver se o comportamento complexo dos LLMs poderia ser comprimido em regras causais simples.

3. Contribuições Principais

1. Benchmarks Amplos: Avaliação de mais de 20 LLMs contra uma baseline humana em tarefas de colisor, superando estudos anteriores que testavam apenas 4 modelos.
2. Análise de Robustez: Investigação sistemática de como a abstração semântica e o ruído afetam o raciocínio causal.
3. Ferramentas Abertas: Lançamento de uma versão do benchmark adaptada para LLMs e do pacote de software CAUSAIIGN para manipulação de conteúdo e prompts.
4. Descoberta de Divergência: Evidência de que LLMs e humanos operam sob lógicas distintas em cenários de incerteza, com implicações para o uso complementar em sistemas de decisão.

4. Resultados Chave

Q1: Alinhamento e Sensatez

• Tanto humanos quanto LLMs julgam o efeito como mais provável quando mais causas estão presentes (comportamento sensato).
• O Chain-of-Thought (CoT) aumenta significativamente o alinhamento entre LLMs e humanos para modelos que inicialmente apresentavam baixa correlação (Spearman $\rho$).

Q2: Compressibilidade por Modelos Causais

• Os julgamentos dos LLMs são bem capturados por pequenos modelos CBN interpretáveis.
• O uso de CoT melhora o ajuste do modelo (reduz o Erro Absoluto Médio - MAE) e a generalização fora da amostra (LOOCV $R^2$), especialmente em condições ruidosas. Isso sugere que o CoT força o modelo a aderir a uma lógica causal mais consistente.

Q3: Fidelidade às Regras vs. Fatores Latentes

• Fidelidade à Regra: A maioria dos LLMs age como "seguidores de regras" mais estritos do que os humanos. Eles tendem a tratar as causas declaradas como suficientes e ignoram fatores de fundo não mencionados (alta Background-Adjusted Causal Strength - BACS).
• Humanos: Tendem a atribuir mais probabilidade a fatores latentes não especificados (interpretação de "mundo aberto").
• O CoT tende a tornar os modelos ainda mais estritos nas regras declaradas.

Q4: Viéses em Estruturas de Colisor

Este é o ponto mais crítico da divergência:

• Explicação (Explaining Away - EA): Humanos exibem um efeito de "explicação" fraco (quando uma causa é conhecida, a crença na outra causa não diminui tanto quanto o normativo). Os LLMs exibem um efeito de explicação forte, muitas vezes mais forte que o normativo.
• Violação de Markov: Humanos frequentemente violam a independência de causas (a crença em $C1$ muda dependendo de $C2$, mesmo sem observar $E$). A maioria dos LLMs é estritamente Markov-compliant (respeita a independência), não replicando o viés humano de associação.
• Conclusão: LLMs não replicam os vieses característicos de colisor humanos (EA fraco + Violação de Markov).

Q5: Robustez

• A robustez é altamente dependente do modelo.
• Modelos maiores e mais recentes (ex: Gemini-2.5-pro) mostram invariância quase total a todas as 8 condições experimentais (agrupamento apertado em todas as métricas).
• Modelos menores ou mais antigos são mais sensíveis a abstrações e ruído.
• O CoT geralmente aumenta a robustez, reduzindo a dispersão dos resultados sob condições de distração.

5. Significado e Implicações

• Complementariedade: Como os LLMs não replicam os vieses humanos (como a falha em "explicar" adequadamente ou violar a independência de Markov), eles podem ser complementares em sistemas de decisão onde esses vieses humanos são indesejáveis.
• Risco de Falha: A forte adesão a regras ("rule-like reasoning") dos LLMs pode ser uma fraqueza em cenários do mundo real onde a incerteza é intrínseca e fatores não declarados são relevantes. Eles podem falhar ao não considerar o "mundo aberto".
• Diagnóstico de IA: O estudo demonstra que modelos Bayesianos simples podem ser usados para comprimir e diagnosticar o comportamento de redes neurais massivas, fornecendo alvos computacionais para interpretar a "caixa preta" dos LLMs.
• Recomendação: A implantação segura de LLMs em cenários de alto risco requer a caracterização de suas estratégias de raciocínio, pois eles não são apenas "humanos artificiais" com os mesmos vieses, mas agentes com lógicas distintas que podem quebrar sob incerteza não estruturada.

Em resumo, o trabalho revela que, apesar de treinados em texto humano, os LLMs modernos desenvolvem uma lógica causal mais normativa e estrita do que os humanos, evitando os vieses cognitivos típicos, mas possivelmente carecendo da flexibilidade necessária para lidar com a ambiguidade do mundo real.