💬 NLP

BiasCause: Evaluate Socially Biased Causal Reasoning of Large Language Models

Este artigo apresenta o "BiasCause", um novo benchmark que avalia o raciocínio causal de Grandes Modelos de Linguagem (LLMs) em questões socialmente enviesadas, identificando que os modelos tendem a exibir raciocínio enviesado ou confundir correlação com causalidade, ao mesmo tempo em que revela estratégias que eles utilizam para evitar tais vieses.

Autores originais: Tian Xie, Tongxin Yin, Vaishakh Keshava, Xueru Zhang, Siddhartha Reddy Jonnalagadda

Publicado 2026-03-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Tian Xie, Tongxin Yin, Vaishakh Keshava, Xueru Zhang, Siddhartha Reddy Jonnalagadda

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que os Grandes Modelos de Linguagem (LLMs), como o ChatGPT ou o Gemini, são como cozinheiros extremamente talentosos, mas que aprenderam a cozinhar lendo milhões de livros de receitas antigos e jornais do passado.

O problema é que esses livros antigos contêm muitos preconceitos sociais (como a ideia de que "mulheres só devem cuidar da casa" ou que "certas raças são mais perigosas"). Quando você pede a esses cozinheiros uma receita, eles podem, sem querer, usar ingredientes tóxicos desses livros antigos e servir um prato que ofende alguém.

Até agora, os pesquisadores sabiam que o prato estava estragado (o modelo dava uma resposta preconceituosa). Mas eles não sabiam como o cozinheiro misturava os ingredientes para chegar a esse resultado.

Este artigo, chamado BiasCause, é como colocar um raio-X no cérebro do cozinheiro enquanto ele cozinha. Eles não querem apenas ver o prato final; querem ver o passo a passo do raciocínio dele.

Aqui está a explicação simples do que eles descobriram:

1. A Nova Receita: O "Raio-X" do Pensamento

Os pesquisadores pediram para os modelos responderem perguntas difíceis sobre grupos sensíveis (como raça, gênero, idade), mas com uma condição especial: eles tinham que desenhar um "mapa de causa e efeito" (um gráfico) explicando por que chegaram àquela resposta.

É como se, em vez de apenas dizer "Acho que o João é o culpado", o modelo tivesse que desenhar:

João é homem -> Homens são agressivos -> João é culpado.
Ou: João é homem -> Homens são líderes -> João é o chefe.

2. Os Três Tipos de Erros (e Acertos)

Ao olhar para esses mapas, os pesquisadores criaram três categorias para classificar o pensamento do modelo:

O Erro de "Confusão" (Mistaken): O modelo inventa uma conexão que não existe.
- Analogia: O modelo acha que porque o nome "Edward" soa forte, a pessoa é necessariamente um engenheiro. É como achar que quem usa óculos é necessariamente inteligente. Não há lógica real, é apenas alucinação.
O Erro "Preconceituoso" (Biased): O modelo usa uma conexão que existe no mundo real (correlação), mas a trata como uma regra fixa e injusta (causa).
- Analogia: O modelo diz: "Mulheres cuidam de idosos porque são mulheres". Ele ignora que homens também cuidam e que isso é uma escolha social, não uma lei biológica. Ele usa o gênero como a única razão para o resultado, o que é injusto.
O Acerto "Contextual" (Contextually-grounded): O modelo entende que a resposta depende de um contexto histórico ou específico, sem generalizar.
- Analogia: Se você pergunta "Quem lutou na Revolução Americana?", o modelo pode responder "Brancos" e explicar: "Porque, naquele tempo e lugar específico, apenas homens brancos tinham poder político". Isso é um fato histórico, não um preconceito atual. O modelo sabe a diferença.

3. O Que Eles Descobriram?

Ao testar 4 modelos de ponta (como o Gemini, Llama e Claude), eles encontraram três coisas surpreendentes:

O Preconceito é a "Causa" do Erro: Quando os modelos erram em perguntas sensíveis, quase sempre é porque o "mapa" deles está cheio de setas preconceituosas. Eles não estão apenas chutando; eles estão raciocinando de forma enviesada.
O Perigo do "Duplo Erro" (Mistaken-Biased): Este é o mais perigoso. O modelo primeiro inventa uma característica baseada no nome (ex: "O nome Aiden soa masculino") e depois aplica um preconceito a essa característica (ex: "Homens gostam de STEM"). É como se o modelo inventasse uma mentira e depois usasse essa mentira para justificar um preconceito.
Como Eles Tentam Se Defender (E Falham): Os modelos às vezes tentam evitar o preconceito de três jeitos:
- Recusar-se: "Não posso responder, isso é preconceituoso." (A melhor estratégia).
- Ignorar o Grupo: Dar uma resposta vaga que não menciona raça ou gênero.
- Adicionar Regras: "Homens são líderes, mas apenas se tiverem educação superior". Eles tentam "consertar" o preconceito adicionando condições, mas às vezes ainda soam estranhos.

4. A Lição Principal

O estudo mostra que não basta apenas treinar o modelo para dar a resposta certa. O problema está na "cozinha" (o raciocínio).

Se um modelo dá a resposta certa por acidente, mas o "mapa" no fundo dele diz "Mulheres são fracas, mas hoje em dia elas podem trabalhar", ele ainda é perigoso. Para corrigir isso, precisamos ensinar os modelos a desenhar mapas corretos, onde eles entendam a diferença entre "o que aconteceu no passado" (contexto) e "o que é verdade para todos" (preconceito).

Resumo em uma frase:
Os pesquisadores criaram um método para ver os "pensamentos" dos modelos de IA e descobriram que, quando eles erram, é porque o caminho lógico que eles construíram em suas mentes está cheio de estereótipos sociais, e precisamos consertar esse caminho, não apenas a resposta final.

Título: BiasCause: Avaliar o Raciocínio Causal Socialmente Viesado de Grandes Modelos de Linguagem

1. Problema

Embora os Grandes Modelos de Linguagem (LLMs) sejam amplamente utilizados em setores críticos como saúde, finanças e recrutamento, eles continuam a gerar conteúdo que reflete vieses sociais contra grupos sensíveis.

Limitação das Avaliações Atuais: Os benchmarks existentes são eficazes em identificar a existência de vieses (respostas incorretas ou estereotipadas), mas falham em compreender os processos de raciocínio subjacentes que produzem esses vieses.
A Lacuna: Não se sabe claramente como os LLMs constroem a lógica causal para chegar a conclusões tendenciosas. A questão central é: Como os LLMs raciocinam de maneiras que levam a respostas enviesadas?
Risco: Mesmo com técnicas de alinhamento (como RLHF), os modelos podem codificar e reproduzir vieses, especialmente quando tentam inferir relações causais a partir de conhecimento pré-treinado, confundindo correlação com causalidade.

2. Metodologia: O Framework BiasCause

O artigo propõe o BiasCause, um framework de avaliação projetado para expor e avaliar o raciocínio causal dos LLMs ao responder a perguntas sobre viés social. O framework consiste em três componentes principais:

A. Esquema Formal de Classificação de Raciocínio Causal
Os autores definem um esquema para classificar os gráficos causais gerados pelos LLMs (representados como Grafos Acíclicos Direcionados - DAGs) em três categorias principais, baseadas na relação entre atributos sensíveis ( $S$ ) e variáveis de resultado ( $y$ ):

Enganoso (Mistaken): O grafo contém arestas que não existem na verdade causal real (hallucinações ou confusão entre correlação e causalidade).
Viesado (Biased): O grafo inclui um caminho de um atributo sensível ( $S$ ) para uma variável de resultado que deve ser justa ( $F$ , ex: inteligência, acesso a emprego), violando princípios de justiça contrafactual.
Fundamentado no Contexto (Contextually-grounded): O grafo inclui um caminho de um atributo sensível para um resultado, mas é factualmente correto e contextualmente apropriado (ex: histórico, eventos específicos), não reforçando estereótipos sociais.

B. Dataset Semi-Sintético
Foi criado um conjunto de dados com 1.788 perguntas cobrindo 8 atributos sensíveis (gênero, raça, idade, deficiência, nacionalidade, aparência física, religião, orientação sexual). As perguntas são divididas em três categorias para sondar diferentes padrões de raciocínio:

Perguntas Viesadas: Projetadas para elicitar gráficos causais viesados (onde a resposta correta seria "indeterminado" ou sem grupos sensíveis).
Perguntas Fundamentadas no Contexto: Projetadas para elicitar gráficos fundamentados no contexto (onde a resposta correta envolve um grupo sensível devido a fatos históricos ou contextuais específicos).
Perguntas "Enganoso-Viesadas" (Mistaken-biased): Projetadas para testar se o modelo primeiro infere erroneamente um atributo sensível a partir de um nome (confusão correlação/causalidade) e, em seguida, aplica raciocínio viesado baseado nessa inferência.

C. Avaliação Automatizada (Autoraters)

Os LLMs são instruídos a gerar não apenas a resposta, mas também o gráfico causal que justifica a resposta.
Dois autoraters (impulsionados por LLMs) avaliam:
1. A correção da resposta (comparada a uma referência humana).
2. A classificação do raciocínio causal (Mistaken, Biased, Contextually-grounded, etc.).
A precisão dos autoraters foi validada manualmente, mostrando taxas de concordância de ~97,8% para correção e ~91,4% para classificação causal.

3. Resultados Principais

O framework foi aplicado a quatro LLMs de ponta (Gemma-27B, Llama-3.1-70B, Gemini-1.5-pro-002, Claude-3.5-Sonnet).

Prevalência de Raciocínio Causal Viesado:
- Para perguntas viesadas, todos os modelos falharam na maioria das vezes. O melhor modelo (Gemini-1.5-pro-002) atingiu apenas 13,8% de precisão.
- Quase todos os erros surgiram de gráficos causais viesados, onde o modelo conecta atributos sensíveis a resultados de forma injusta.
Dificuldade em Evitar o Raciocínio "Enganoso-Viesado":
- Em perguntas onde o modelo deve primeiro inferir um grupo sensível a partir de um nome e depois tomar uma decisão, a precisão foi inferior a 14,7% para todos os modelos.
- Entre as respostas erradas, 46,4% a 62,5% foram causadas por gráficos "enganoso-viesados" (o modelo inventa uma conexão causal entre o nome e o grupo, e depois aplica o estereótipo).
Estratégias de Evitação de Viés:
Ao analisar as respostas corretas (não viesadas), os autores identificaram três estratégias que os LLMs utilizam para evitar o viés:
1. Recusa Explícita: O modelo reconhece o risco de viés e recusa-se a responder (Rótulo "n").
2. Evitação de Atributos Sensíveis: O modelo responde, mas evita mencionar o grupo sensível, focando em fatores não sensíveis (Rótulo "nr").
3. Adição de Restrições Contextuais: O modelo responde com o grupo sensível, mas adiciona restrições rigorosas que justificam a resposta factualmente, tornando-a "fundamentada no contexto" (Rótulo "g").
Desempenho em Perguntas Fundamentadas no Contexto:
- Os modelos alcançaram >90% de precisão nestas perguntas, indicando que não há um problema de "super-debiasing" (recusa excessiva em responder fatos históricos válidos).

4. Contribuições Chave

Novo Framework de Avaliação: O BiasCause é o primeiro a ir além da verificação da resposta final, exigindo e analisando explicitamente a estrutura causal (DAG) usada pelo modelo para justificar sua resposta.
Taxonomia de Falhas Causais: Define formalmente a distinção entre raciocínio factualmente errado (mistaken), socialmente prejudicial (biased) e factualmente correto mas sensível (contextually-grounded).
Descoberta de "Mistaken-biased" Reasoning: Revela que os modelos frequentemente cometem um erro duplo: primeiro confundem correlação com causalidade para inferir um atributo sensível (ex: gênero a partir de um nome) e depois usam esse atributo inferido erroneamente para justificar estereótipos.
Insights para Debiasing: Identifica estratégias naturais que os modelos já utilizam para evitar viés, oferecendo um roteiro para futuros trabalhos de treinamento e prompting que incentivem essas estratégias.

5. Significado e Impacto

Este trabalho é fundamental para a segurança e a ética da IA porque:

Transparência: Mostra que o viés não é apenas um erro de classificação, mas muitas vezes um erro de raciocínio estrutural.
Aplicabilidade Prática: Em cenários de alto risco (como empréstimos ou contratações), stakeholders exigem não apenas uma decisão, mas uma justificativa transparente. O BiasCause demonstra que essas justificativas podem conter raciocínios causais falaciosos e prejudiciais.
Direção Futura: Sugere que a mitigação de viés em LLMs deve focar na correção da estrutura causal interna e na capacidade do modelo de distinguir entre correlações espúrias e causalidades contextuais válidas, em vez de apenas filtrar palavras-chave ou respostas finais.

Em resumo, o BiasCause fornece uma lente granular para entender por que os LLMs falham em questões de justiça social, revelando que o problema reside na forma como eles simulam cadeias causais, e não apenas no conteúdo final gerado.