Resumo Técnico: Vieses Cognitivos Condicionais em LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) ajustados por instrução estão sendo cada vez mais implantados como ferramentas de suporte à decisão em domínios de alto risco, como raciocínio jurídico, triagem médica e consultoria financeira. Embora pesquisas anteriores tenham caracterizado extensivamente os vieses cognitivos em LLMs sob avaliação zero-shot (ex: enquadramento, ancoragem, viés de confirmação), esses benchmarks tratam o viés como uma propriedade independente de contexto. Em implantações do mundo real, as respostas do modelo são condicionadas a turnos conversacionais precedentes. Um turno de usuário enviesado introduz um caminho causal de confusão: ele altera o formato de entrada de zero-shot para diálogo (ativando o condicionamento do ajuste de instrução) e, simultaneamente, introduz um conteúdo semântico específico que interage com o treinamento de alinhamento do modelo. A literatura existente falha em distinguir se as mudanças na expressão de viés do LLM são impulsionadas pela mera presença de um turno de usuário ou pelo conteúdo de viés cognitivo específico dentro desse turno.

Metodologia

Para isolar esses caminhos causais, os autores introduzem um novo framework experimental de três condições avaliado em oito LLMs de fronteira ajustados por instrução (incluindo GPT-4o, Claude-3.5-Haiku, variantes Llama-3.1 e DeepSeek-V3).

Design Experimental

Para cada cenário e viés alvo, o LLM é avaliado sob três condições distintas:

1. Zero-shot ($m_\emptyset$): O prompt de decisão é apresentado sem qualquer contexto prévio.
2. Turno de Usuário Neutro ($m_n$): Um turno de usuário livre de viés precede o prompt de decisão, isolando o efeito da mudança de formato (diálogo vs. zero-shot) enquanto mantém o conteúdo constante.
3. Turno de Usuário Enviesado ($m_b$): Um turno de usuário expressando explicitamente um viés cognitivo específico precede o prompt de decisão.

Decomposição de Efeito

O estudo define três estimandos para separar os mecanismos de modulação de viés:

• Efeito de Presença ($\Delta_n = |m_n| - |m_\emptyset|$): Isola o impacto de passar de zero-shot para um formato de diálogo de múltiplos turnos com conteúdo neutro.
• Efeito de Conteúdo ($\delta = |m_b| - |m_n|$): Isola o impacto do conteúdo de viés específico dentro do turno do usuário, mantendo o formato de diálogo constante.
• Efeito Total ($\Delta_b = |m_b| - |m_\emptyset| = \Delta_n + \delta$): A mudança líquida na expressão de viés em relação ao baseline zero-shot.

Dataset e Validação

Os autores construíram um banco de estímulos de 24.300 prompts de usuário validados por júri abrangendo todas as 81 células de uma matriz $9 \times 9$ (9 vieses de LLM alvo $\times$ 9 vieses de turno humano).

• Seleção de Viés: Nove vieses foram selecionados com base em benchmarks estabelecidos (Malberg et al., 2025): Ancoragem, Heurística da Disponibilidade, Efeito Bandwagon, Viés de Confirmação, Efeito de Enquadramento, Viés de In-group, Aversão à Perda, Falácia do Planejamento e Viés de Status Quo.
• Controle de Qualidade: Um júri de três modelos LLM-as-judge (GPT-4o-Mini, Claude-3.5-Haiku, Gemini) validou todos os turnos de usuário contra quatro critérios: classificação alvo, pureza (distinção de outros vieses), naturalidade e precisão de identificação cega.
• Identificação Causal: O estudo emprega Diferença-em-Diferenças (DiD), Pareamento por Escore de Propensão (PSM) e Métodos de Controle Sintético (SCM) para fornecer evidência causal além de correlações agregadas.

Resultados Principais

1. Turnos Enviesados Aumentam Sistematicamente o Viés (Efeito Total)

Em 6 de 8 modelos, a introdução de um turno de usuário enviesado aumenta a magnitude da expressão de viés do LLM em relação aos baselines zero-shot ($\bar{\Delta}_b > 0$, intervalo de +0.022 a +0.051).

• GPT-4o é uma exceção onde os dois mecanismos subjacentes se cancelam ($\bar{\Delta}_b \approx 0$).
• Claude-3.5-Haiku mostra um efeito total negativo ($\bar{\Delta}_b = -0.064$), impulsionado por um forte efeito de presença negativo.

2. O Efeito de Presença Infla o Viés

A mera presença de um turno de usuário (mesmo um neutro) aumenta significativamente o viés medido em 7 de 8 modelos ($\Delta_n$ varia de +0.019 a +0.086). Isso sugere que benchmarks zero-shot subestimam sistematicamente o viés conversacional.

• Exceção: Claude-3.5-Haiku exibe um efeito de presença negativo ($\Delta_n = -0.101$), consistente com sua IA Constitucional de alinhamento suprimindo o viés no modo diálogo.
• Correlação: Modelos de maior capacidade (medidos por MMLU) mostram menor inflação de presença.

3. O Efeito de Conteúdo Frequentemente Suprime o Viés

Contrariamente à hipótese de que o contexto enviesado amplificaria o viés, substituir um turno neutro por um enviesado reduz a magnitude do viés em 6 de 8 modelos ($\delta < 0$).

• Esta "supressão por contraste" sugere que pistas de viés explícitas disparam resistência relacionada ao alinhamento, levando a conclusões mais normativas.
• Exceções: DeepSeek-V3 e Claude-3.5-Haiku mostram efeitos de conteúdo positivos. Os autores atribuem isso às suas estratégias de alinhamento deliberativo (Chain-of-Thought RLFT e IA Constitucional), que parecem amplificar sinais in-context em vez de suprimi-los.

4. Acoplamento de Estrutura e Indutibilidade

A análise da matriz de acoplamento de viés $9 \times 9$ revela:

• Dominância da Estrutura de Linha: A suscetibilidade de um viés alvo à modulação é governada pelo próprio viés alvo, não pelo tipo de viés humano específico.
• Sem Vantagem Diagonal: Não há evidência de "contágio de mesmo viés" (ou seja, um humano expressando o Viés X não induz seletivamente o Viés X no modelo mais do que outros vieses).
• Falácia do Planejamento: Esta é a única falácia do planejamento causal confirmada como universalmente indutível em todos os 8 modelos. Ela mostra consistentemente um efeito total positivo, provavelmente porque sua expressão (otimismo/subestimação) é implícita e menos propensa a disparar pistas de supressão de alinhamento.
• Vieses Suprimíveis: O Efeito Bandwagon e a Heurística da Disponibilidade são consistentemente suprimíveis por turnos enviesados in-context.

Significância e Alegações

O artigo alega que benchmarks de viés zero-shot subestimam sistematicamente o viés conversacional porque não consideram o "efeito de presença" do diálogo. O estudo demonstra que:

1. O Contexto Importa: O mero ato de engajar em um diálogo de múltiplos turnos altera o perfil de expressão de viés do modelo em comparação com prompts isolados.
2. O Alinhamento é Dependente de Receita: A direção do efeito de conteúdo (supressão vs. amplificação) é determinada pela receita de alinhamento específica (ex: RLHF padrão vs. IA Constitucional vs. Chain-of-Thought RLFT).
3. Indutibilidade Universal: Enquanto a maioria dos vieses é suprimida por pistas explícitas, a Falácia do Planejamento permanece robustamente indutível através de diversas arquiteturas de modelo e pipelines de treinamento.

Os autores concluem que as avaliações de segurança e os protocolos de auditoria de viés devem ser estratificados por receita de alinhamento e incluir turnos conversacionais precedentes para refletir com precisão as condições de implantação. Eles liberam seu framework, codebase e o dataset de 24.300 itens para apoiar pesquisas futuras sobre vieses cognitivos condicionados ao contexto.