Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility

Título: Superestimando Atitudes, Ignorando Redes: Vieses de LLMs na Simulação de Suscetibilidade à Desinformação

1. Problema e Motivação

Com o avanço dos Grandes Modelos de Linguagem (LLMs), pesquisadores das ciências sociais computacionais têm utilizado esses modelos como proxies (substitutos) para julgamento humano, especialmente em simulações de redes sociais e disseminação de desinformação. No entanto, a capacidade dos LLMs de reproduzir padrões empíricos complexos de suscetibilidade à desinformação (crença em falsidades e disposição para compartilhá-las) permanece incerta.

A literatura existente sugere que a suscetibilidade humana é moldada não apenas por atributos demográficos, cognitivos e atitudinais, mas também criticamente pela estrutura e composição de redes pessoais (quem a pessoa conhece e com quem discute). O problema central deste estudo é: os agentes simulados por LLMs conseguem recuperar as relações empíricas entre preditores sociais (incluindo redes) e a suscetibilidade à desinformação, ou eles introduzem distorções sistemáticas?

2. Metodologia

Os autores desenvolveram um pipeline experimental rigoroso para comparar respostas humanas com simulações de LLMs.

• Dados de Referência (Ground Truth): Foram utilizados três conjuntos de dados de pesquisas online distintas, cobrindo três domínios:
  1. Saúde Pública (EUA, 2023): 486 participantes, 5 itens sobre vacinas e doenças.
  2. Mudanças Climáticas (EUA, 2025): 377 participantes, 3 itens (inicialmente memes, convertidos para texto).
  3. Política Pandêmica (Coreia do Sul, 2020): 708 participantes, 5 itens sobre narrativas políticas durante a COVID-19.
• Variáveis Coletadas: Para cada participante, foram coletados dados demográficos, atitudinais/comportamentais (ex: confiança na ciência, uso de mídia social) e medidas de rede pessoal (tamanho da rede, densidade, atributos dos alteros/discussores).
• Procedimento Experimental:
  • Perfis estruturados dos participantes humanos foram fornecidos a diversos LLMs (incluindo modelos de raciocínio e chat de diferentes provedores e tamanhos).
  • Os LLMs foram instruídos a atuar como esses participantes e responder a itens de crença e intenção de compartilhamento sobre as mesmas afirmações falsas.
  • Foram testadas variações de robustez: ordem das variáveis no prompt e uso de escores compostos.
• Análise:
  1. Similaridade Distribucional: Comparação de distribuições usando Divergência de Jensen-Shannon (JSD) e Distância de Earth Mover (EMD).
  2. Correlação: Correlação de Spearman entre respostas humanas e simuladas.
  3. Modelagem Preditiva: Regressão Elastic Net para prever crença/compartilhamento a partir dos perfis, comparando o $R^2$ (variância explicada) entre dados humanos e simulados.
  4. Análise de Importância de Blocos: Remoção de blocos de características (demografia, atitudes, rede) para medir a perda de poder preditivo.
  5. Análise de Interação: Teste de interações para identificar se os efeitos de variáveis específicas diferem sistematicamente entre humanos e LLMs.
  6. Investigação de Causa: Análise de trilhas de raciocínio (Chain-of-Thought) e rastreamento em corpora de treinamento (usando OLMoTrace) para entender a origem dos vieses.

3. Principais Contribuições

• Avaliação Sistêmica de Redes: É um dos primeiros estudos a incluir explicitamente características de redes pessoais na simulação de suscetibilidade à desinformação, indo além dos preditores sociodemográficos tradicionais.
• Diagnóstico de Distorções Estruturais: Demonstra que, embora os LLMs capturem tendências distribucionais gerais, eles falham em replicar a estrutura de associações multivariadas, especificamente subestimando o papel das redes sociais.
• Metodologia de Validação: Propõe um pipeline completo que combina métricas distribucionais, modelagem preditiva, análise de interações e rastreamento de dados de treinamento para diagnosticar vieses em simulações sociais.

4. Resultados Chave

A. Distribuição e Correlação (RQ1)

• Os LLMs capturam tendências distribucionais amplas e mostram uma correlação moderada com as respostas humanas.
• No entanto, não há uma configuração única de modelo ou prompt que supere consistentemente as outras; a performance varia conforme o domínio e o modelo.

B. Estrutura de Associações e Viés de Crença vs. Compartilhamento (RQ2)

• Superestimativa da Ligação Crença-Compartilhamento: Em dados humanos, crença e compartilhamento são correlacionados, mas distintos (pessoas compartilham por motivos sociais/estratégicos sem acreditar). Os LLMs tratam essas duas dimensões como extremamente acopladas (correlações próximas a 0,90-0,95 vs. 0,34-0,60 nos humanos), apagando a nuance empírica.
• Variância Explicada Inflada: Modelos de regressão ajustados a dados simulados apresentam um $R^2$ drasticamente maior (muitas vezes uma ordem de magnitude) do que os ajustados a dados humanos. Isso indica que as respostas dos LLMs são excessivamente determinísticas e previsíveis baseadas nos perfis, ao contrário da variabilidade humana real.
• Viés de Importância de Variáveis:
  • Humanos: Tanto características atitudinais/comportamentais quanto de rede pessoal contribuem significativamente para prever a suscetibilidade.
  • LLMs: Os modelos atribuem peso desproporcional a características atitudinais e comportamentais (ex: confiança na ciência, viés político) e ignoram quase completamente as características de rede. A remoção de blocos de rede nos dados simulados não reduz significativamente o poder preditivo, ao contrário do que ocorre com dados humanos.

C. Origem dos Vieses (RQ3)

• Trilhas de Raciocínio: A análise de Chain-of-Thought revela que os LLMs invocam frequentemente preditores atitudinais (ex: "confiança na ciência") ao justificar suas respostas, enquanto atributos de rede aparecem raramente.
• Corpora de Treinamento: O rastreamento em dados de treinamento mostra que conceitos de desinformação co-ocorrem frequentemente com variáveis atitudinais em padrões direcionais, mas raramente com variáveis de rede. Isso sugere que os LLMs aprendem estereótipos estatísticos baseados na literatura existente e nos dados de texto, onde fatores individuais são mais salientes do que fatores relacionais.

5. Significado e Implicações

• Limitação como Substitutos: Os LLMs não devem ser tratados como substitutos diretos para participantes humanos em estudos onde a estrutura social, a difusão e a influência de pares são centrais. O uso de simulações pode levar a conclusões errôneas sobre os drivers da desinformação, superestimando fatores individuais e subestimando o contexto relacional.
• Uso Diagnóstico: As simulações baseadas em LLMs são mais úteis para diagnosticar desvios sistemáticos do julgamento humano ou para explorar cenários hipotéticos, desde que suas limitações estruturais sejam reconhecidas.
• Desafio Representacional: A incapacidade dos LLMs de lidar com características de rede sugere uma lacuna na representação de estruturas relacionais em modelos puramente baseados em texto. Soluções futuras podem exigir arquiteturas que incorporem viés indutivo relacional explícito (ex: Graph Neural Networks acopladas a LLMs) em vez de depender apenas de descrições textuais de redes.

Em suma, o estudo alerta que a "superfície" da simulação (distribuições gerais) pode parecer convincente, mas a "estrutura" profunda (como as variáveis interagem) contém vieses sistemáticos que distorcem a compreensão da dinâmica da desinformação.