Resumo Técnico: Confiante, mas Conflitado: Incerteza Interna e Resolução de Dissonância Cognitiva em LLMs

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) operam cada vez mais em ambientes de suporte à decisão onde encontram entradas que contradizem suas saídas anteriores, como contestação do usuário, documentos recuperados ou resultados de busca na web. Este fenômeno é enquadrado como resolução de dissonância cognitiva, um conceito bem estudado na psicologia (Festinger, 1957), mas pouco explorado em LLMs. Embora trabalhos anteriores tenham examinado a sicofancia e a persuasão (Sharma et al., 2024; Perez et al., 2023), esses estudos tipicamente manipulam dimensões únicas (por exemplo, enquadramento social) de forma isolada. Além disso, a pesquisa existente sobre calibração de LLMs foca em se a confiança expressa acompanha a precisão em benchmarks estáticos (Tian et al., 2023), deixando o relacionamento entre incerteza interna e respostas comportamentais a evidências conflitantes externas amplamente não examinado.

O problema central abordado é entender como os LLMs resolvem a dissonância cognitiva quando desafiados, especificamente como essa resolução depende da autoridade da fonte e da qualidade da evidência da informação conflitante, e como esses resultados comportamentais se correlacionam com os estados de incerteza interna do modelo.

Metodologia

Desenho Experimental

Os autores construíram um pipeline de dois estágios para simular a dissonância cognitiva:

1. Estágio 1 (Baseline): O modelo avalia uma afirmação em uma escala Likert de 7 pontos, estabelecendo uma postura de base ($s_0$).
2. Estágio 2 (Intervenção): O modelo é apresentado a uma contra-afirmação acompanhada de um enquadramento de autoridade–evidência específico. O modelo reavalia a afirmação original, produzindo uma postura pós-intervenção ($s_1$).

A intervenção é parametrizada ao longo de duas dimensões ortogonais:

• Autoridade da Fonte ($a$): Variando do Nível 1 (usuário anônimo do Reddit) ao Nível 4 (Organização Mundial da Saúde).
• Qualidade da Evidência ($e$): Variando do Nível 1 (pequeno piloto não controlado) ao Nível 4 (ensaio controlado randomizado multicêntrico).
  O estudo utilizou 12 afirmações de ciências da saúde estratificadas em três categorias epistêmicas:
• Categoria A (Claramente Falsa): Mecanismos fabricados sem suporte científico.
• Categoria B (Exagerada): Afirmações com um núcleo de verdade, mas efeitos exagerados.
• Categoria C (Absolutista): Afirmações razoáveis enquadradas sem nuance.

Métricas

1. Elasticidade de Confiança (TE): Uma métrica comportamental inédita inspirada na econometria, medindo a responsividade de um modelo à persuasão.
   $$TE(a, e) = d(s_0) \cdot \frac{s_1 - s_0}{a \cdot e}$$
   Onde $d(s_0)$ alinha o sinal do deslocamento com a direção da persuasão. TE positivo indica persuasão, TE negativo indica efeito de retrocesso (backfire) e TE $\approx$ 0 indica imunidade.
2. Indicadores de Incerteza Interna: Para modelos de pesos abertos (Qwen e Llama) com acesso a logits, dois indicadores foram medidos no token de decisão da postura:
   • Gap de Calibração (CG): A discrepância entre a confiança autorrelatada ($C$) e a certeza interna derivada da entropia de Shannon normalizada ($1 - \hat{H}(p)$). $CG = C - (1 - \hat{H}(p))$.
   • Magnitude do Deslocamento de Entropia ($|\Delta H|$): A mudança absoluta na entropia normalizada entre os estados de baseline e intervenção ($|\hat{H}_1 - \hat{H}_0|$).

Modelos Avaliados

• Pesos abertos (acesso a logits): Qwen3.5-9B, Llama-3.3-70B-Instruct.
• Apenas API: Grok-3, GPT-4o.

Principais Resultados

1. Padrões Comportamentais: Imunidade vs. Persuasão

• Imunidade a Afirmações Falsas: Em todos os quatro modelos, as afirmações da Categoria A (Claramente Falsa) elicitaram uma Elasticidade de Confiança próxima de zero. Os modelos permaneceram amplamente imunes à revisão, mesmo sob intervenções de alta autoridade e alta evidência.
• Persuasão Sistemática: As Categorias B (Exagerada) e C (Absolutista) elicitaram persuasão sistemática. A persuasão foi geralmente mais forte para afirmações absolutistas (Categoria C) do que para as exageradas.
• Variação entre Modelos: A vulnerabilidade à persuasão variou significativamente. O Llama foi o mais persuadível (média $\Delta$TE $\approx$ +0,26), seguido por Grok, Qwen e GPT-4o. Notavelmente, o modelo mais persuadível (Llama-3.3-70B) era o maior, enquanto o mais resistente (Qwen3.5-9B) era o menor, indicando que a escala não correlaciona linearmente com a resistência à persuasão.
• Efeitos de Autoridade: Para afirmações absolutistas, a maior autoridade frequentemente intensificou o efeito de retrocesso (TE negativo), particularmente no Llama e no Grok, onde fontes de alta autoridade desafiando o modelo levaram a um compromisso mais forte com a postura original.

2. Correlações de Incerteza Interna

O estudo identificou "perfis" distintos ligando a incerteza interna ao comportamento, que diferiam por modelo:

• Qwen (Miscalibração de Confiança): A suscetibilidade do modelo à persuasão (especificamente em afirmações exageradas) foi significativamente associada ao seu Gap de Calibração ($r = +0,18$). O Qwen exibiu uma miscalibração estática substancial, e este gap previu suas mudanças comportamentais.
• Llama (Mudança de Incerteza Interna): A suscetibilidade do modelo foi significativamente associada à Magnitude do Deslocamento de Entropia ($r = +0,19$). O Llama estava bem calibrado no baseline, mas seu comportamento foi impulsionado por mudanças dinâmicas na incerteza interna (grandes deslocamentos de entropia) ao encontrar evidências conflitantes.

3. Robustez

Os achados persistiram após a exclusão de tópicos de alta variância e sob análise de correlação de Spearman. A distinção de perfil duplo (miscalibração estática vs. deslocamento de entropia dinâmica) permaneceu robusta.

Significância e Contribuições

O artigo apresenta três contribuições primárias:

1. Elasticidade de Confiança (TE): Introduz uma métrica normalizada, inspirada na econometria, para quantificar a facilidade com que os LLMs são persuadidos por evidências conflitantes, distinguindo entre persuasão, retrocesso e imunidade.
2. Heterogeneidade Comportamental: Demonstra que a vulnerabilidade à persuasão varia substancialmente entre os modelos e não é estritamente uma função da escala do modelo. Estabelece que afirmações claramente falsas elicitam imunidade, enquanto afirmações exageradas e absolutistas convidam à revisão sistemática.
3. Ligando o Comportamento ao Estado Interno: O artigo une respostas comportamentais e propriedades internas ao mostrar que a variação entre modelos na persuasão está associada a indicadores específicos de incerteza interna. Crucialmente, descobre que diferentes modelos dependem de diferentes mecanismos internos para resolver a dissonância: o comportamento do Qwen está ligado à miscalibração de confiança estática, enquanto o do Llama está ligado a mudanças dinâmicas na incerteza interna.

Os autores concluem que esses achados apontam para intervenções visando a incerteza interna como uma direção distinta e promissora para a pesquisa futura de alinhamento, separada de intervenções que visam apenas a saída verbal ou a calibração estática.

Limitações

Os autores observam as seguintes limitações:

• Generalização: O estudo é limitado a quatro modelos e um único domínio (ciências da saúde) em inglês.
• Design de Estímulos: As contra-afirmações foram autogeradas por cada modelo para garantir a adversarialidade, o que significa que as comparações entre modelos refletem a variação conjunta no conteúdo da contra-afirmação e na suscetibilidade, em vez de um conjunto de estímulos perfeitamente pareados.
• Causalidade: A análise identifica associações entre indicadores internos e comportamento, não mecanismos causais. Estabelecer causalidade exigiria intervenções direcionadas nas representações internas.
• Escopo: A análise de nível de logit foi restrita a modelos de pesos abertos; modelos apenas via API foram limitados à análise comportamental.