Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility

Titolo

Sovrastima delle Attitudini, Ignoranza delle Reti: Bias dei LLM nella Simulazione della Suscettibilità alla Disinformazione

1. Il Problema

Con l'avanzamento rapido dei Modelli Linguistici di Grande Dimensione (LLM), i ricercatori nelle scienze sociali computazionali li stanno utilizzando sempre più come agenti simulati per sostituire o integrare i sondaggi umani, specialmente nello studio della diffusione della disinformazione. Tuttavia, rimane incerto se questi modelli siano in grado di riprodurre fedelmente i pattern empirici della susceptibilità alla disinformazione (credere a affermazioni false e willingness a condividerle).

Il problema centrale identificato è che le simulazioni basate su LLM potrebbero fallire nel recuperare le relazioni empiriche tra la suscettibilità alla disinformazione e i suoi predittori sociali chiave, in particolare trascurando la struttura e la composizione delle reti personali a favore di fattori individuali (attitudini e comportamenti). Se gli agenti LLM non riescono a catturare queste dinamiche relazionali, le simulazioni potrebbero distorcere la comprensione dei driver fondamentali della diffusione delle false notizie.

2. Metodologia

Gli autori hanno condotto uno studio comparativo sistematico utilizzando tre dataset di sondaggi online reali come "verità di base" (ground truth).

• Dataset Utilizzati:
  1. Salute Pubblica (USA, 2023): 486 partecipanti, 5 claim su vaccini e malattie croniche.
  2. Cambiamento Climatico (USA, 2025): 377 partecipanti, 3 claim basati su immagini (convertite in testo).
  3. Politica Pandemica (Corea del Sud, 2020): 708 partecipanti, 5 claim politici legati al COVID-19.
• Variabili Analizzate: Per ogni partecipante sono stati raccolti dati su:
  • Demografia (età, genere, istruzione, reddito).
  • Attitudini e Comportamenti (fiducia nella scienza, orientamento politico, uso dei social media, alfabetizzazione sanitaria).
  • Reti Personali: Dati egocentrici su partner di discussione, attributi degli alter e legami tra di essi (densità, durata, supporto informativo).
• Procedura Sperimentale:
  • I profili strutturati dei partecipanti umani (inclusi i dati di rete) sono stati forniti come prompt a una varietà di LLM (modelli di ragionamento e chat, di diverse dimensioni e provider).
  • I modelli sono stati istruiti a impersonare il partecipante e rispondere alle domande di credibilità e intenzione di condivisione degli stessi claim presentati agli umani.
  • Sono state testate diverse varianti di prompt (ordine delle variabili, uso di punteggi compositi) per verificare la robustezza.
• Analisi:
  • Confronto delle distribuzioni (divergenza Jensen-Shannon, distanza Earth Mover).
  • Correlazioni di rango (Spearman) tra risposte umane e simulate.
  • Modellazione predittiva (Regressione Elastic Net) per valutare quanto le variabili del profilo spiegano la suscettibilità nei dati simulati vs. umani.
  • Analisi delle catene di pensiero (Chain-of-Thought) e del corpus di addestramento (tramite OLMoTrace) per indagare le origini dei bias.

3. Contributi Chiave

Lo studio colma un divario significativo nella letteratura sulla simulazione sociale fornendo:

1. Una valutazione sistematica di come i LLM gestiscono sia i fattori individuali che quelli di rete sociale nella simulazione della disinformazione.
2. La dimostrazione che, sebbene i LLM catturino tendenze distributive generali, introducono distorsioni sistematiche nella struttura delle relazioni tra predittori e outcome.
3. Un'analisi approfondita delle cause di queste distorsioni, collegandole ai pattern di ragionamento del modello e alla rappresentazione dei concetti nei dati di addestramento.

4. Risultati Principali

• Corrispondenza Distributiva Limitata: I LLM mostrano una correlazione moderata con le risposte umane e catturano alcune tendenze distributive generali, ma non esiste una configurazione di modello o prompt che superi costantemente gli altri.
• Sovrastima dell'Associazione Credere-Condividere: I LLM trattano la credenza nella disinformazione e la volontà di condividerla come dimensioni molto più strettamente accoppiate rispetto ai dati umani. Mentre negli umani queste sono correlate ma distinte (spesso si condivide senza credere per motivi sociali), nei LLM la correlazione è quasi monotona ($\rho > 0.90$ vs $\rho \approx 0.3-0.6$ negli umani).
• Varianza Spiegata Inflata: I modelli di regressione addestrati sulle risposte simulate spiegano una varianza molto più alta ($R^2$ fino a 10 volte superiore) rispetto ai modelli addestrati su dati umani. Questo suggerisce che le risposte dei LLM sono troppo deterministiche e prevedibili rispetto alla variabilità umana.
• Bias nei Predittori (Il risultato cruciale):
  • Sovra-peso su Attitudini/Comportamenti: I LLM attribuiscono un peso sproporzionato a variabili attitudinali (es. fiducia nella scienza, orientamento politico) e comportamentali.
  • Sotto-valutazione delle Reti: Le caratteristiche delle reti personali (dimensione della rete, densità, attributi degli alter) vengono quasi completamente ignorate nei modelli simulati, mentre nei dati umani sono predittori significativi.
• Origine del Bias: L'analisi delle catene di pensiero e del corpus di addestramento rivela che i LLM invocano frequentemente concetti attitudinali nei loro ragionamenti e che tali variabili co-occorrono frequentemente con concetti di disinformazione nei dati di addestramento. Al contrario, le variabili relazionali (di rete) appaiono meno frequentemente e sono meno codificate nei testi di addestramento, portando a un "bias di rappresentazione".

5. Significato e Implicazioni

• Validità Ecologica: I risultati indicano che i LLM non sono attualmente sostituti validi per i dati umani quando l'obiettivo è studiare la struttura delle relazioni sociali o l'impatto delle reti sulla diffusione della disinformazione.
• Diagnostica vs. Sostituzione: Le simulazioni basate su LLM sono utili per scopi diagnostici (identificare deviazioni sistematiche o testare ipotesi su predittori ben noti), ma rischiano di produrre conclusioni errate se usate per sostituire la raccolta dati empirica, specialmente in contesti dove il contesto sociale e le interazioni di rete sono centrali.
• Rischio di Stereotipi: L'uso di LLM potrebbe rafforzare spiegazioni individualistiche della disinformazione (es. "è colpa della loro ideologia") ignorando il ruolo cruciale dell'ambiente sociale e delle dinamiche di rete, riflettendo i bias presenti nei dati di addestramento.
• Raccomandazioni Future: È necessario sviluppare framework di valutazione che vadano oltre l'allineamento distributivo superficiale per testare la preservazione delle proprietà strutturali dei processi sociali. Inoltre, potrebbero essere necessarie architetture che incorporino bias induttivi relazionali espliciti, piuttosto che affidarsi esclusivamente a descrizioni testuali.

In sintesi, lo studio avverte che, sebbene i LLM siano potenti strumenti di simulazione, la loro tendenza a "sovra-strutturare" le risposte basandosi su attitudini individuali e a ignorare le reti sociali le rende inadeguate per modellare accuratamente la complessa ecologia della disinformazione umana.