Learning dynamics from online-offline systems of LLM agents

Título: Aprendendo Dinâmicas de Sistemas Online-Offline de Agentes LLM

1. Problema e Motivação

A instabilidade social está cada vez mais ligada à interação dinâmica entre sistemas online e offline. Enquanto a pesquisa tradicional focou no comportamento humano e na disseminação de informações por bots simples, o surgimento de agentes baseados em Grandes Modelos de Linguagem (LLMs) com comportamentos complexos e "personalidades" definidas por prompts levanta novas questões.
O problema central é entender como a informação se propaga em redes de agentes LLM, especificamente como as personalidades dos agentes (definidas por prompts) e as características dos eventos de notícias (pacíficos vs. violentos) afetam a dinâmica global de disseminação. A falta de modelos matemáticos para descrever essas dinâmicas geradas por LLMs é a motivação principal deste trabalho.

2. Metodologia

Os autores propõem uma abordagem híbrida combinando simulação baseada em agentes e modelagem matemática analítica:

• Dados e Simulação:

  • Fonte de Dados: Eventos de notícias do banco de dados ACLED (Armed Conflict Location & Event Data), focando em eventos nas Filipinas (2021-2024). Os eventos foram agrupados em dois clusters principais via PCA: Eventos Pacíficos (protestos, manifestações) e Eventos Severos (violência política, ataques).
  • Agentes LLM: Utilizou-se o modelo gpt-3.5-turbo-1106. Cada agente recebeu um perfil de personalidade baseado no modelo dos Cinco Grandes Fatores (Big Five): Abertura, Conscienciosidade, Extroversão, Amabilidade e Neuroticismo. Cada dimensão foi binarizada (alto/baixo), gerando $2^5 = 32$ perfis de personalidade únicos.
  • Rede: Simulações realizadas em redes aleatórias $k$-regulares ($N=128$ agentes, grau $k=5$).
  • Processo: Um evento "semente" é introduzido em um agente. Em iterações subsequentes, vizinhos decidem aleatoriamente (baseado em seu perfil e no conteúdo da notícia) se compartilham a informação. O processo continua por 15 iterações, gerando curvas de engajamento sigmoideais.

• Modelos Matemáticos Propostos:

  1. Modelo Estocástico Baseado em Agentes (Logístico): Um modelo de regressão logística que estima a probabilidade de um agente "não engajado" se tornar "engajado" ao ser exposto a um vizinho engajado. O modelo considera os 32 perfis de personalidade e a severidade do evento como covariáveis.
  2. Modelo de Equações Diferenciais (Aproximação de Campo Médio): Uma simplificação do modelo baseado em agentes, inspirada em modelos epidemiológicos do tipo Suscetível-Infetado (SI). O sistema é dividido em dois grupos de traços (agrupados estatisticamente com base no comportamento de compartilhamento) e descrito por um sistema de equações diferenciais que modela a taxa de transmissão ($\tau$) entre os grupos.

3. Contribuições Principais

• Integração de LLMs e Modelagem Matemática: É um dos primeiros trabalhos a aplicar rigorosamente modelos epidemiológicos e de campo médio para descrever a dinâmica de redes de agentes LLM com personalidades variadas.
• Descoberta de Padrões Redutíveis: Demonstra que, apesar da complexidade inerente aos LLMs e à variedade de 32 perfis de personalidade, a dinâmica global do sistema pode ser bem descrita por um modelo de baixa dimensão (dois grupos com taxas de transmissão distintas).
• Análise de Sensibilidade: Identifica quais traços de personalidade (especificamente Abertura e Extroversão) são os principais impulsionadores da disseminação de informações.

4. Resultados

• Desempenho dos Modelos:
  • O modelo de campo médio com dois parâmetros (duas taxas de transmissão, $\tau_1$ e $\tau_2$) forneceu o melhor ajuste aos dados simulados, com um Erro Quadrático Médio (RMSE) de 0.0223, superando o modelo logístico completo (RMSE 0.0414) e o modelo logístico simplificado por grupos (RMSE 0.1387).
  • O modelo de campo médio capturou com precisão a curva de crescimento sigmoide, especialmente para eventos pacíficos.
• Dinâmica de Grupos de Personalidade:
  • A análise revelou uma separação clara em dois grupos comportamentais:
    • Grupo 1 (Baixa Transmissão): Agentes com perfis de baixa abertura e baixa extroversão tendem a não compartilhar notícias, especialmente as violentas.
    • Grupo 2 (Alta Transmissão): Agentes com alta abertura e alta extroversão compartilham informações rapidamente.
  • A dinâmica global é impulsionada inicialmente pelo rápido engajamento do Grupo 2, seguido por um crescimento mais lento do Grupo 1.
• Impacto da Severidade do Evento:
  • Notícias sobre eventos pacíficos são compartilhadas com muito mais facilidade do que eventos severos/violentos.
  • O modelo subestimou ligeiramente o engajamento inicial e superestimou o final, mas capturou a tendência geral com alta precisão.
• Fatores Determinantes: A regressão logística indicou que a Abertura (Openness) é o fator mais significativo na determinação da taxa de transmissão, seguido pela Extroversão.

5. Significado e Implicações

• Previsibilidade de Sistemas LLM: Os resultados sugerem que grandes grupos de agentes LLM exibem padrões de disseminação estáveis e previsíveis, permitindo o uso de modelos matemáticos de baixa dimensão para entender e prever cascatas de informação.
• Ferramenta para Pesquisa Futura: O framework proposto serve como um "campo de testes" controlado para estudar a interação entre humanos e IA em redes complexas.
• Aplicação em Segurança e Estabilidade Social: Compreender como personalidades artificiais amplificam ou suprimem notícias (especialmente sobre violência e protestos) é crucial para mitigar a desestabilização social online e offline.
• Escalabilidade: Embora o estudo tenha focado no GPT-3.5, a estrutura é aplicável a uma ampla gama de LLMs, oferecendo uma base para futuros estudos sobre a evolução de opinião em redes híbridas humano-IA.

Em resumo, o artigo demonstra que a complexidade comportamental de agentes LLM pode ser reduzida a dinâmicas de transmissão epidemiológica simples, onde a "personalidade" atua como um determinante chave da taxa de infecção (compartilhamento de informação), permitindo modelagem eficaz e previsível.