Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task

Este estudo demonstra que os modelos de linguagem de grande escala (LLMs) apresentam um desempenho superior e padrões de erro semelhantes aos humanos ao raciocinar sobre regras deonticas no Teste de Seleção de Wason, exibindo um viés de correspondência em vez de um viés de confirmação.

O essencial

Imagine que você tem um detetive de regras muito inteligente, mas que às vezes comete erros de lógica. Esse detetive é um Modelo de Linguagem Grande (LLM), como o ChatGPT ou o Gemini.

Os pesquisadores deste artigo queriam saber: Esse detetive artificial pensa como um humano? Ele tem os mesmos "vícios" ou "pulos do gato" que a gente tem quando tenta seguir regras?

Para descobrir, eles usaram um teste clássico da psicologia chamado Tarefa de Seleção de Wason. Vamos simplificar tudo isso com uma analogia divertida.

1. O Jogo das Cartas (A Tarefa de Wason)

Imagine que você é um fiscal em um bar. Você tem uma regra:

"Se alguém está bebendo cerveja, então essa pessoa deve ter mais de 18 anos."

Na sua frente, há 4 cartas (ou pessoas):

1. Uma pessoa bebendo Cerveja.
2. Uma pessoa bebendo Suco.
3. Uma pessoa com 17 anos.
4. Uma pessoa com 25 anos.

A pergunta: Quais cartas você precisa virar para ver se alguém está quebrando a regra?

• A resposta lógica correta: Você precisa virar a Cerveja (para checar a idade) e a Pessoa de 17 anos (para checar se ela está bebendo cerveja).
• O erro comum (viés de confirmação): A maioria das pessoas (e muitos computadores) quer virar a Cerveja e a Pessoa de 25 anos. Por quê? Porque querem "confirmer" que a regra está certa (alguém com 25 bebendo cerveja é bom). Mas isso não prova que a regra não foi quebrada! A pessoa de 17 anos bebendo cerveja seria o problema real, e você não viu isso.

2. O Grande Experimento: Regras Abstratas vs. Regras da Vida Real

Os pesquisadores criaram dois tipos de cenários para testar os modelos:

• Cenário Abstrato (Descritivo): Regras sem sentido, como "Se o lado da carta tem um número primo, o outro lado tem uma letra minúscula". É como tentar adivinhar um código secreto sem contexto.
• Cenário da Vida Real (Deôntico): Regras de deveres e permissões, como "Se o sangue está derramado, a enfermeira deve usar luvas". Isso envolve obrigações, leis e moralidade.

O que eles descobriram?
Assim como os humanos, os modelos de IA foram muito melhores entendendo as regras da vida real (deônticas) do que as regras abstratas.

• Analogia: É como se o cérebro (ou o cérebro digital) fosse um "especialista em regras sociais". Quando a regra tem a ver com "deveres" (como usar luvas ou não entrar em um local), a IA acerta mais. Quando é um código aleatório, ela se perde. Isso mostra que a IA tem uma "especificidade de domínio", assim como nós.

3. O Verdadeiro Vilão: O Vício de "Combinação" (Matching Bias)

Aqui está a parte mais interessante. Os cientistas queriam saber por que a IA errava. Eles suspeitavam de dois "vilões":

1. O Vilão "Confirmação": A IA quer apenas encontrar provas que confirmem que ela está certa.
2. O Vilão "Combinação" (Matching Bias): A IA é preguiçosa e só olha para as palavras que ela vê na regra, ignorando o "não" (negação).

O Teste da Negação:
Eles mudaram a regra para: "Se o número NÃO for primo, então a letra NÃO é minúscula".

• Se fosse o vilão "Confirmação", a IA procuraria o que confirma a regra.
• Se fosse o vilão "Combinação", a IA ignoraria o "NÃO" e escolheria as cartas que tinham as palavras "primo" e "minúscula", mesmo que a lógica fosse o oposto.

O Veredito:
Os modelos de IA agiram mais como o Vilão "Combinação".

• Analogia: Imagine que a IA é como um aluno que, ao ler uma prova, só grifa as palavras que ele já conhece e ignora a palavra "não" escrita em vermelho. Ela diz: "Ah, a regra tem a palavra 'primo', então eu escolho a carta 'primo'!", sem perceber que a regra dizia "não primo".

Resumo Simples

1. IA é como Humano: Assim como nós, as IAs são muito melhores em seguir regras de "dever" (como leis ou normas sociais) do que em decifrar códigos abstratos e sem sentido.
2. O Erro é Visual: Quando a IA erra, não é porque ela quer "confirmer" que está certa. É porque ela é "cega" para a negação. Ela se apaixona pelas palavras que aparecem na regra e esquece de ler o "não".
3. Conclusão: Os modelos de linguagem não são apenas calculadoras lógicas perfeitas. Eles têm "vícios" cognitivos muito parecidos com os nossos, especialmente a tendência de ignorar o que não está escrito e focar apenas no que está escrito.

Em suma, a IA está aprendendo a pensar como nós, mas ainda precisa de ajuda para não pular a letra "não" quando ela mais importa!

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Evaluation of Deontic Conditional Reasoning in Large Language Models: The Case of Wason's Selection Task", apresentado em português.

1. Problema e Motivação

À medida que os Grandes Modelos de Linguagem (LLMs) avançam em competência linguística, sua capacidade de raciocínio lógico tornou-se um foco de estudo. Na ciência cognitiva humana, observa-se um fenômeno conhecido como especificidade de domínio: os humanos tendem a raciocinar melhor em contextos normativos (deonticos, envolvendo obrigações e permissões) do que em contextos puramente formais ou descritivos abstratos.

O problema central investigado neste trabalho é:

• Os LLMs exibem essa mesma especificidade de domínio ao raciocinar sobre regras condicionais?
• Quais viéses cognitivos explicam os erros dos LLMs? Especificamente, os erros são mais bem explicados pelo viés de confirmação (tendência a buscar evidências que suportam a regra) ou pelo viés de correspondência (tendência a ignorar negações e selecionar itens que correspondem lexicalmente aos termos da regra)?

Estudos anteriores compararam humanos e LLMs, mas não exploraram sistematicamente a distinção entre regras deonticas e descritivas dentro de um desenho experimental unificado para identificar a origem dos erros.

2. Metodologia

2.1. Tarefa e Dataset

Os autores utilizaram a Tarefa de Seleção de Wason, um paradigma padrão em psicologia cognitiva para testar o raciocínio condicional ("se p, então q").

• Novo Dataset: Foi criado um conjunto de dados com 160 problemas, divididos igualmente entre:
  • Regras Deonticas: Envolvem normas, obrigações ou proibições (ex: "Se há sangue derramado, a enfermeira deve usar luvas").
  • Regras Descritivas: Envolvem generalizações factuais sem modalidades normativas (ex: "Se o número é ímpar, o lado oposto tem uma letra maiúscula").
• Polaridade e Negação: Para distinguir entre viés de confirmação e viés de correspondência, as regras foram manipuladas em quatro padrões de polaridade (Pos-Pos, Pos-Neg, Neg-Pos, Neg-Neg), introduzindo negações no antecedente e/ou consequente. Isso permite testar se o modelo ignora a negação (viés de correspondência) ou se foca apenas em confirmar a regra (viés de confirmação).

2.2. Modelos Avaliados

O estudo avaliou cinco famílias de modelos de pesos abertos, incluindo modelos com e sem capacidades explícitas de raciocínio:

• Modelos de Raciocínio: gpt-oss (20B/120B) e Qwen 3 (14B/32B).
• Modelos Não-Raciocionantes (Instruction-tuned): Gemma 3 (4B/12B/27B), Llama 3.3 (70B) e OLMo 2 (32B).

2.3. Configuração Experimental

• Prompts: Foram testados três tipos de prompts: Zero-Shot, Few-Shot (com exemplos intencionalmente diferentes das respostas corretas para evitar memorização) e Chain-of-Thought (CoT).
• Métrica: Acurácia baseada em correspondência exata (exact-match), onde o modelo deve selecionar apenas as cartas logicamente corretas para verificar a regra.

3. Principais Contribuições

1. Novo Dataset: Introdução de um dataset da Tarefa de Seleção de Wason com codificação explícita de modalidade deontica, permitindo comparações sistemáticas entre regras normativas e descritivas.
2. Avaliação Abrangente: Uma avaliação atualizada de modelos LLMs modernos (incluindo modelos de raciocínio de última geração) neste paradigma.
3. Paralelismo Humano-LLM: Evidência clara de que os LLMs replicam o efeito de especificidade de domínio humano, performando melhor em regras deonticas.
4. Diagnóstico de Viés: Uma comparação sistemática entre viés de confirmação e viés de correspondência, identificando que o último é o principal motor dos erros nos LLMs.

4. Resultados

4.1. Especificidade de Domínio

• Melhor Desempenho em Regras Deonticas: Todos os modelos, independentemente do tamanho ou tipo (raciocínio ou não), apresentaram maior precisão em problemas deonticos em comparação com os descritivos.
• Margem de Melhoria: A melhoria variou de 5,0% a 41,2% dependendo do modelo e do tipo de prompt.
• Exemplo: O modelo gpt-oss-120b atingiu 100% de acurácia em regras deonticas (Zero-Shot), enquanto teve desempenho inferior em regras descritivas. Modelos menores, como gemma3-4b, mostraram ganhos significativos ao passar de descritivo para deontico (de 17,5% para 22,5% em Zero-Shot, embora ainda baixos).

4.2. Viés de Confirmação vs. Viés de Correspondência

A análise detalhada das seleções das cartas revelou:

• Ausência de Viés de Confirmação Puro: Se os modelos sofressem de viés de confirmação, eles escolheriam consistentemente o Antecedente Verdadeiro (TA) e o Consequente Verdadeiro (TC), independentemente da negação. Os dados mostraram que, embora TA fosse alto, TC não superava consistentemente o Consequente Falso (FC) quando a negação estava presente.
• Predomínio do Viés de Correspondência: Os modelos exibiram uma forte tendência a selecionar cartas que correspondem lexicalmente aos termos explícitos na regra, ignorando a negação.
  • Evidência: Em regras com negação (ex: "Se não p, então não q"), os modelos frequentemente selecionavam "p" e "q" (os termos positivos da regra) em vez de "não p" e "não q", mesmo que logicamente incorreto.
  • Isso indica que os LLMs têm dificuldade em processar a lógica da negação dentro do contexto condicional, preferindo a correspondência superficial de tokens.

5. Significado e Conclusão

O estudo conclui que os LLMs não são apenas "caixas pretas" de lógica formal, mas exibem comportamentos de raciocínio que espelham a psicologia humana:

1. Especificidade de Domínio: Assim como os humanos, os LLMs são mais eficazes ao raciocinar sobre normas sociais e obrigações (deontico) do que sobre abstrações formais. Isso sugere que o treinamento em grandes corpora de texto natural, rico em normas sociais, pode ter induzido mecanismos de raciocínio especializados nesses domínios.
2. Natureza dos Erros: Os erros dos LLMs são mais consistentes com o viés de correspondência (falha em processar negações e foco em palavras-chave) do que com o viés de confirmação. Isso aponta para limitações específicas na arquitetura Transformer em relação ao tratamento de negação lógica, um desafio conhecido na área.
3. Implicações Futuras: A pesquisa sugere que a avaliação de raciocínio em LLMs deve ir além de benchmarks formais e considerar a especificidade de domínio e a sensibilidade a negações. Além disso, a análise mecânica das origens desses vieses (se por viés de dados de treinamento ou arquitetura) permanece uma questão aberta para trabalhos futuros.

Em suma, o trabalho demonstra que, embora os LLMs estejam evoluindo rapidamente, eles ainda compartilham falhas cognitivas fundamentais com os humanos, especificamente na forma como lidam com a negação e na dependência de contextos normativos para um raciocínio mais robusto.