Resumo Técnico: Os LLMs Podem Emular a Dinâmica de Crenças Humanas?

Declaração do Problema

Os Modelos de Linguagem Grandes (LLMs) são cada vez mais utilizados para simular atitudes, opiniões e comportamentos humanos em contextos de redes sociais, variando desde a replicação de pesquisas até a modelagem de dinâmicas de opinião. Embora trabalhos anteriores sugiram que os LLMs podem reproduzir comportamentos humanos específicos (por exemplo, organizar eventos ou alcançar consenso científico), existe uma lacuna crítica na compreensão de quão bem esses modelos emulam a dinâmica de crenças—especificamente, como os humanos formam crenças iniciais, atualizam-nas em resposta a informações concorrentes e reestruturam suas redes sociais com base em tendências homofílicas.

O problema central abordado é se os LLMs, mesmo quando fornecidos com personas de "gêmeos digitais" (dados demográficos e de personalidade), podem replicar com precisão os complexos processos psicológicos subjacentes à formação e mudança de crenças humanas. Os autores postulam que, sem validação rigorosa, a implantação de LLMs como proxies humanos em simulações sociais acarreta riscos significativos, particularmente no que tange a estudos de polarização e persuasão.

Metodologia

O estudo replica um experimento humano estabelecido sobre dinâmicas de crenças políticas (Proma et al., 2025c) utilizando uma abordagem de "gêmeo digital".

• Desenho Experimental: O estudo humano original envolveu três etapas:
  1. Resposta: Os participantes avaliaram sua crença em uma afirmação (escala Likert de 0 a 4).
  2. Revisão: Os participantes foram expostos às avaliações dos pares e puderam atualizar a sua própria.
  3. Seleção: Os participantes escolheram quais pares "seguir" em rodadas subsequentes.
• Simulação com LLM: Os autores substituíram 341 participantes humanos por "gêmeos digitais" de LLM. Cada LLM foi instruído com as informações demográficas específicas do participante e os traços de personalidade Big-5. Em seguida, os modelos foram encarregados de navegar pelas mesmas três etapas, recebendo os mesmos estímulos (incluindo respostas dos pares) que os sujeitos humanos originais.
• Modelos Avaliados: O estudo avaliou 12 LLMs de quatro famílias e tamanhos de parâmetros variados, incluindo tanto modelos não-pensantes (não-raciocionantes) (por exemplo, Llama 3, Gemma 3) quanto modelos pensantes (raciocinantes) (por exemplo, Qwen 3, GPT-OSS).
• Escopo dos Dados: A análise cobriu dois tópicos políticos ("imigração" e "petróleo e combustível"), resultando em 1.023 amostras totais (3 rodadas × 341 participantes).
• Métricas de Avaliação:
  • Etapa 1 (Crenças Iniciais): Divergência KL, Distância de Wasserstein, testes U de Mann-Whitney e correlação de Spearman para comparar formas de distribuição, tendências centrais e alinhamento em nível individual.
  • Etapa 2 (Mudança de Crença): Análise da magnitude da atualização de crenças e "Influência Social" (correlação entre a lacuna entre a crença inicial do self e a média dos pares, e a mudança de crença resultante).
  • Etapa 3 (Seleção de Rede): "Sinal de Seguimento" (avaliação média dos pares selecionados) e "Distância da Rede de Crenças" (diferença absoluta entre a crença inicial e as crenças dos pares selecionados) para medir homofilia.

Principais Resultados

1. Falha em Emular Distribuições de Crenças Iniciais

Os LLMs falharam sistematicamente em corresponder à distribuição de crenças humanas iniciais.

• Incompatibilidade Distribucional: Tanto os valores de Divergência KL quanto de Distância de Wasserstein para os LLMs foram significativamente mais altos do que a linha de base (divisão humano-vs-humano), indicando um alinhamento distribucional pobre.
• Viés Sistemático: Modelos não-pensantes tenderam a superestimar as avaliações de crença (atingindo o pico em 2), enquanto modelos pensantes tenderam a subestimá-las (atingindo o pico em 0, indicando forte desacordo).
• Baixa Correlação Individual: A correlação de Spearman entre as respostas individuais dos LLMs e as respostas humanas foi moderada no máximo (máx $\rho = 0,31$), sugerindo que os LLMs não podem prever com fiabilidade preferências individuais específicas.

2. Conformidade Excessiva nas Atualizações de Crença

Os LLMs demonstraram uma maior suscetibilidade à influência social do que os humanos.

• Rigidez vs. Fluidez: Os humanos exibiram maior rigidez de crença, mudando suas opiniões com menos frequência e em menor grau do que os LLMs.
• Métrica de Influência Social: A correlação entre "influência social" (a lacuna entre o self e os pares) e a mudança de crença foi significativamente maior para os LLMs em 11 dos 12 modelos. Isso indica que os LLMs são mais conformistas, alterando suas respostas para se alinhar à média de sua rede observada mais prontamente do que os humanos.

3. Falha Nuanceada na Reestruturação de Rede (Homofilia)

Embora os LLMs pudessem imitar o ato de selecionar pares, falharam em capturar a lógica homofílica subjacente.

• Sinal de Seguimento: Os LLMs simularam com sucesso a distribuição geral de quais pares os humanos escolheram seguir (alta correlação no Sinal de Seguimento).
• Distância da Rede de Crenças: No entanto, a "Distância da Rede de Crenças" (quão distantes as crenças dos pares selecionados estavam das do agente) foi consistentemente maior para os LLMs. Isso sugere que, embora os LLMs possam selecionar pares, não o fazem com base na mesma forte preferência por similaridade (homofilia) que caracteriza a formação de redes humanas. Suas seleções estão menos ancoradas às suas próprias crenças iniciais.

Principais Contribuições e Afirmações

O artigo faz três contribuições primárias para a literatura sobre simulação com LLMs:

1. Divergência Sistemática: Fornece evidências empíricas de que os LLMs divergem dos humanos de maneiras fundamentais no que diz respeito à dinâmica de crenças, especificamente na distribuição inicial, suscetibilidade à influência social e seleção de rede homofílica.
2. Limitações de Persona: Desafia a eficácia do método de "gêmeo digital" quando limitado a dados demográficos e de personalidade, sugerindo que tais personas restritas são insuficientes para capturar dinâmicas de crenças complexas.
3. Anomalia na Lei de Escala: O estudo observa que tamanhos de parâmetros maiores não necessariamente produzem um melhor alinhamento com a dinâmica de crenças humanas, sugerindo que a rigidez de crença e o raciocínio motivado são distintos das tarefas de raciocínio e recuperação de conhecimento onde as leis de escala normalmente se aplicam.

Significado e Implicações

Os autores concluem com um "aviso severo" contra a implantação acrítica de LLMs como proxies humanos em simulações sociais, particularmente para estudos envolvendo polarização, persuasão e intervenções em rede.

• Assimetria Fundamental: As descobertas destacam uma assimetria fundamental na forma como os LLMs processam o contexto social em comparação com os humanos. Os LLMs parecem carecer da identidade, motivação e processos afetivos que impulsionam a dinâmica de crenças humanas.
• Cautela na Pesquisa: O artigo argumenta que o uso de LLMs para simular redes de crenças humanas pode levar a conclusões errôneas, pois os modelos são inerentemente mais conformistas e menos rígidos do que as populações humanas que visam representar.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem explorar personas mais elaboradas (incluindo hábitos de mídia social e experiências vividas) e investigar se modelos de código fechado ou modelos com memória entre rodadas podem preencher essa lacuna, embora permaneçam céticos quanto às capacidades atuais.