Resumo Técnico: Caracterização da Evolução de Opinião de LLMs em Rede

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em sistemas multiagentes — abrangendo desde simulações de discurso humano até operações de influência e plataformas sociais totalmente conduzidas por LLMs — surge uma necessidade crítica de compreender como as opiniões se formam, evoluem e se propagam dentro dessas redes. Embora modelos clássicos de dinâmica de opinião (ex: DeGroot, Friedkin-Johnsen, Hegselmann-Krause) venham sendo usados há muito tempo para explicar a evolução da crença coletiva em sociedades humanas, permanece incerto se esses modelos podem capturar com precisão o comportamento de LLMs interagentes. Especificamente, os autores investigam quais mecanismos (teimosia, homofilia, viés) são intrínsecos aos LLMs e quais são necessários para modelar sua evolução de crença. O estudo aborda três questões de pesquisa centrais:

1. RQ1: Quais componentes dos modelos clássicos de dinâmica de opinião são mais críticos para explicar a evolução da crença em LLMs?
2. RQ2: Até que ponto os parâmetros de dinâmica de opinião derivados diferem entre diferentes famílias de LLM e tópicos de discussão?
3. RQ3: A dinâmica de opinião recuperada é uma propriedade do próprio LLM ou da topologia de rede específica na qual ele se comunica?

Metodologia

Os autores propõem um framework para simular, medir e modelar a dinâmica de opinião de LLMs em rede.

Simulação e Geração de Dados

• Agentes e Rede: O estudo simula $n=30$ agentes LLM comunicando-se através de grafos direcionados gerados via três modelos topológicos: Erdős–Rényi (aleatório), Chung-Lu (escala livre) e Modelos de Blocos Estocásticos (estrutura de comunidade).
• Protocolo de Interação: Os agentes postam sequencialmente em resposta a uma amostra aleatória de $k$ posts de seus vizinhos. Os posts são gerados via prompting, instruindo os agentes a justificarem suas posições com base em sua opinião inicial e no contexto amostrado.
• Medição de Opinião: Posts em linguagem natural são convertidos em opiniões numéricas $z(t) \in [-1, 1]$ usando um modelo de identificação de postura (stance identification). Isso envolve o embedding do post e de textos de referência ("a favor/contra"), calculando então a diferença de similaridade de cosseno. A opinião de um agente em um dado tempo é a média de seus cinco posts mais recentes.
• Inicialização: Os agentes são inicializados com posturas discretas variando de total discordância a concordância, mapeadas para descritores em linguagem natural. As condições iniciais variam (uniforme, polarizada, consenso, enviesada).

Framework de Modelagem

Os autores ajustam modelos paramétricos da forma $z(t + 1) = f_\theta(z(t), z(0), A)$ às trajetórias simuladas. Eles avaliam diversas hipóteses correspondentes a modelos clássicos:

1. DeGroot: Média simples das opiniões dos vizinhos.
2. Friedkin-Johnsen (FJ): Adiciona um termo de "teimosia" (stubbornness), ancorando os agentes às suas opiniões iniciais ($z(0)$).
3. Viés Uniforme: Adiciona um termo para um viés inato $b$ em direção ao qual os agentes regridem, independentemente das opiniões iniciais.
4. Homofilia: Substitui a ponderação estática por uma ponderação baseada em distância, onde os agentes pesam mais fortemente os vizinhos com opiniões semelhantes.
5. Ponderação Baseada em Adjacência: Em vez de ajustar uma matriz de influência completa $n \times n$ para cada grafo, os autores testam modelos "agnósticos ao grafo" onde a influência é uma função da matriz de adjacência $\bar{A}$ e coeficientes escalares ($\mu_{self}, \mu_{neigh}$).

Os modelos são ajustados minimizando um objetivo de mínimos quadrados. Modelos totalmente parametrizados usam programação quadrática convexa (QP) ou solvers não lineares (SLSQP), enquanto modelos baseados em adjacência reduzem o espaço de parâmetros para coeficientes escalares.

Principais Resultados

1. A Dominância do Viés Inato (RQ1)

O estudo descobre que modelos de média ingênua (DeGroot) e modelos que incorporam apenas teimosia (FJ) falham em rastrear a dinâmica de opinião dos LLMs, exibindo altos erros de previsão.

• O Viés é Crítico: A inclusão de um termo de viés uniforme ($b$) proporciona ganhos substanciais na fidelidade da modelagem. Modelos com viés reduzem o erro médio de opinião acumulado em até 88% e a distância Wasserstein-1 em até 67% (especificamente no LLAMA3.1).
• Insignificância de Outros Fatores:
  • Teimosia: Ancorar os agentes às suas opiniões iniciais (o componente FJ) proporciona uma melhoria negligenciável sobre o modelo DeGroot básico.
  • Homofilia: Adicionar ponderação de homofilia altera as taxas de erro em, no máximo, alguns pontos percentuais e não produz nenhuma melhoria mensurável uma vez que o viés é incluído.
• Conclusão: O principal motor da dinâmica de opinião dos LLMs não é a teimosia ou o agrupamento social, mas uma regressão em direção a uma opinião inata única compartilhada por todos os agentes.

2. Variabilidade de Parâmetros entre Modelos e Tópicos (RQ2)

Embora o mecanismo (viés) seja consistente, a magnitude dos parâmetros varia:

• Peso Próprio (Self-Weight): O peso próprio ($\lambda_{self}$) é consistentemente o maior parâmetro (0.53–0.70), embora isso seja amplamente um artefato da escala de tempo escolhida.
• Peso da Opinião Inicial: O peso para opiniões iniciais ($\lambda_0$) é consistentemente próximo de zero (<0.04), confirmando que os LLMs não se ancoram fortemente em sua postura inicial.
• Peso do Viés: O peso do viés ($\lambda_b$) é o segundo maior termo (0.17–0.36), confirmando que a regressão a uma opinião inata é uma característica universal.
• Diferenças entre Modelos:
  • LLAMA3.1: Mostra o efeito de viés mais forte e a menor interação social (razão de influência do vizinho $\approx 0$).
  • QWEN3: Mostra o comportamento mais "social", com a influência do vizinho igualando ou excedendo o viés.
  • GEMMA3: Mostra alta variância dependendo do tópico.
• Diferenças de Tópico: O tópico "vacinas" consistentemente gera o maior efeito de viés em todos os modelos, provavelmente devido ao treinamento de alinhamento relacionado à desinformação de saúde.

3. Generalizabilidade dos Perfis Comportamentais (RQ3)

Os autores comparam modelos totalmente parametrizados (ajustando uma matriz de influência única $W$ para cada grafo) contra modelos baseados em adjacência (usando coeficientes escalares).

• Overfitting: Modelos totalmente parametrizados reduzem o erro de treinamento, mas aumentam o erro de teste (held-out), indicando overfitting para estruturas de grafos específicas.
• Portabilidade: Modelos baseados em adjacência recuperam um perfil comportamental que se generaliza através de topologias de rede. Isso sugere que os parâmetros recuperados (especificamente o viés e os pesos de média social) são propriedades intrínsecas do LLM, não artefatos da rede específica.

Significância e Alegações

O artigo afirma fornecer um modelo compacto e identificável para a formação de opinião em LLMs. Ao demonstrar que modelos clássicos de dinâmica de opinião podem descrever redes de LLMs com precisão se incluírem um termo de viés inato, os autores lançam as bases para:

• Design e Controle: Guiar o design de plataformas sociais conduzidas por LLMs para mitigar câmaras de eco.
• Validação: Certificar quando populações de LLMs atuam como substitutos fiéis para humanos em simulações.
• Pontos de Alavancagem: Identificar como agentes LLM teimosos podem moldar desproporcionalmente as crenças coletivas em operações de influência.

Os autores declaram explicitamente que suas descobertas caracterizam o comportamento de LLMs ajustados por instrução em simulação. Eles alertam que essas dinâmicas não devem ser assumidas como representativas da formação de opinião humana sem validação independente, e enfatizam que seu objetivo é tornar essas dinâmicas legíveis e governáveis, em vez de otimizar a persuasão.