Learning dynamics from online-offline systems of LLM agents

Titolo

Apprendimento delle dinamiche da sistemi online-offline di agenti LLM

1. Problema e Contesto

L'instabilità sociale è sempre più legata a un'interazione dinamica tra sistemi online e offline. Mentre la ricerca precedente si è concentrata sul comportamento umano e sulla diffusione di informazioni tramite modelli epidemiologici, l'aumento delle attività automatizzate (bot) e degli agenti basati su Large Language Models (LLM) solleva nuove preoccupazioni. Gli LLM, sempre più capaci di simulare comportamenti umani complessi e "personalità", possono amplificare la diffusione di notizie (inclusi conflitti e disordini) in modi non ancora pienamente compresi dal punto di vista della modellazione matematica.
Il problema centrale di questo studio è comprendere come le personalità assegnate agli agenti LLM e la natura degli eventi offline (es. proteste pacifiche vs. violenza grave) influenzino la dinamica di diffusione delle informazioni su una rete sociale simulata.

2. Metodologia

Gli autori hanno sviluppato un approccio ibrido che combina simulazioni basate su agenti con modelli matematici analitici.

A. Simulazione Basata su Agenti (LLM)

• Dati di Input: Gli eventi sono stati estratti dal database ACLED (Armed Conflict Location & Event Data), focalizzandosi su eventi nelle Filippine (2021-2024). Gli eventi sono stati classificati in due cluster principali tramite analisi delle componenti principali (PCA) sugli embedding testuali: Eventi Pacifici (proteste, dimostrazioni) e Eventi Gravi/Violenti (attacchi, violenza contro civili).
• Agenti e Personalità: La rete è composta da $N=128$ agenti LLM (modello gpt-3.5-turbo-1106) connessi in una rete casuale $k$-regolare ($k=5$). Ogni agente riceve un profilo di personalità basato sul Modello dei Big Five (Apertura, Coscienziosità, Estroversione, Nevroticismo, Gradevolezza), con ogni tratto definito come binario (alto/basso). Questo genera $2^5 = 32$ profili di personalità unici.
• Processo di Diffusione: Un evento "seme" viene introdotto in un agente. In ogni iterazione, gli agenti "non impegnati" (unengaged) che hanno vicini "impegnati" (engaged) ricevono una richiesta di condividere la notizia. La decisione (Sì/No) e la motivazione sono generate dall'LLM in base al proprio profilo di personalità e al contenuto dell'evento. Il processo continua per 15 iterazioni.

B. Modelli Matematici Proposti

Per descrivere le dinamiche osservate, sono stati proposti due modelli:

1. Modello Stocastico Basato su Agenti (Logistica): Un modello di regressione logistica che stima la probabilità $p_i$ che un nodo passi dallo stato "non impegnato" a "impegnato". La probabilità è funzione del profilo di personalità (32 coefficienti distinti) e della gravità dell'evento.
2. Modello di Campo Medio (Mean-Field): Un sistema di equazioni differenziali derivate dall'approssimazione di campo medio del modello basato su agenti. Il sistema è modellato come un processo di tipo Susceptible-Infected (SI), ma con due gruppi di agenti distinti (basati su cluster di comportamento di diffusione) ciascuno con un proprio tasso di trasmissione ($\tau_1$ e $\tau_2$).

3. Risultati Chiave

Analisi del Modello Logistico (Agent-Based)

• Influenza della Personalità: L'analisi dei coefficienti ha rivelato che l'Apertura (Openness) e l'Estroversione sono i tratti più determinanti per la diffusione delle informazioni. In particolare, un passaggio da "bassa" a "alta" apertura causa un salto non lineare nella probabilità di condivisione per eventi gravi.
• Effetto della Gravità: Gli agenti tendono a condividere più facilmente eventi pacifici rispetto a quelli violenti.
• Adattamento: Il modello logistico completo (32 parametri per i profili + 1 per la gravità) cattura bene le dinamiche (RMSE = 0.0414), ma tende a sottostimare l'impegno iniziale e sovrastimarlo nella fase finale.

Analisi del Modello di Campo Medio

• Semplificazione Efficace: Il modello di campo medio, che riduce il sistema a due gruppi di agenti con tassi di trasmissione distinti ($\tau_1$ e $\tau_2$), ha fornito un adattamento superiore rispetto al modello logistico completo, con un RMSE di 0.0223.
• Dinamica dei Gruppi:
  • Gruppo 1 (Bassa trasmissione, $\tau_1 \approx 0.013$): Corrisponde a profili meno propensi a condividere (spesso con bassa apertura/estroversione).
  • Gruppo 2 (Alta trasmissione, $\tau_2 \approx 0.285$): Corrisponde a profili più attivi.
• Andamento Temporale: La curva di engagement globale mostra una crescita rapida iniziale guidata dal Gruppo 2, seguita da una fase di crescita più lenta man mano che il Gruppo 1 si "infetta" (diventa impegnato). Il modello predice con estrema precisione la dinamica per gli eventi pacifici.

4. Contributi Principali

1. Modellazione Matematica degli LLM: È uno dei primi studi che applica modelli epidemiologici e di campo medio per descrivere la diffusione di informazioni in reti di agenti LLM, dimostrando che il comportamento complesso degli LLM può essere approssimato da modelli a bassa dimensionalità.
2. Identificazione di Pattern di Personalità: Ha quantificato matematicamente come specifici tratti di personalità (in particolare Apertura ed Estroversione) guidino la viralità delle notizie, distinguendo tra eventi pacifici e violenti.
3. Validazione del Modello SI a Due Tassi: Ha dimostrato che un modello Susceptible-Infected con due tassi di trasmissione è sufficiente a catturare la complessità di una rete eterogenea di 32 profili di personalità, offrendo un approccio computazionalmente efficiente rispetto alle simulazioni complete.

5. Significato e Implicazioni

• Prevedibilità delle Reti AI: I risultati suggeriscono che grandi gruppi di agenti LLM, nonostante la complessità dei loro prompt e delle interazioni, tendono a mostrare pattern di diffusione stabili e prevedibili.
• Strumenti di Forecasting: I modelli a bassa dimensionalità (come le equazioni differenziali di campo medio) possono essere utilizzati per prevedere come le informazioni (o la disinformazione) si diffonderanno attraverso reti ibride umano-AI.
• Futuri Sviluppi: Il framework proposto è scalabile e può essere esteso per studiare l'interazione tra agenti LLM e utenti umani reali, fornendo un banco di prova controllato per analizzare la stabilità sociale in scenari di disordini o crisi politiche.

In sintesi, il paper dimostra che la complessità apparentemente caotica della diffusione di notizie in reti di LLM può essere ridotta a dinamiche matematiche eleganti, guidate da pochi parametri chiave legati alla personalità e alla natura dell'evento.