Riepilogo Tecnico: Gli LLM possono emulare le dinamiche delle credenze umane?

Enunciato del Problema

I Large Language Models (LLM) sono sempre più utilizzati per simulare atteggiamenti, opinioni e comportamenti umani in contesti di reti sociali, che vanno dalla replica di sondaggi alla modellazione delle dinamiche dell'opinione. Sebbene lavori precedenti suggeriscano che gli LLM possano riprodurre specifici comportamenti umani (ad esempio, organizzare eventi o raggiungere un consenso scientifico), esiste un divario critico nella comprensione di quanto bene questi modelli emulino le dinamiche delle credenze—in particolare, come gli umani formino le credenze iniziali, le aggiornino in risposta a informazioni contrastanti e ristrutturino le loro reti sociali in base a tendenze omofile.

Il problema centrale affrontato è se gli LLM, anche quando forniti di personaggi "gemelli digitali" (dati demografici e di personalità), possano replicare accuratamente i complessi processi psicologici alla base della formazione e del cambiamento delle credenze umane. Gli autori ipotizzano che, senza una validazione rigorosa, il dispiegamento degli LLM come proxy umani nelle simulazioni sociali comporti rischi significativi, in particolare riguardo agli studi sulla polarizzazione e sulla persuasione.

Metodologia

Lo studio replica un esperimento umano consolidato sulle dinamiche delle credenze politiche (Proma et al., 2025c) utilizzando un approccio "gemello digitale".

• Disegno Sperimentale: Lo studio umano originale prevedeva tre fasi:
  1. Risposta: I partecipanti valutavano la loro credenza in un'affermazione (scala Likert da 0 a 4).
  2. Revisione: I partecipanti erano esposti alle valutazioni dei pari e potevano aggiornare la propria.
  3. Selezione: I partecipanti sceglievano quali pari "seguire" nei round successivi.
• Simulazione con LLM: Gli autori hanno sostituito 341 partecipanti umani con "gemelli digitali" LLM. Ogni LLM è stato istruito con le informazioni demografiche specifiche del partecipante e i tratti di personalità Big-5. Ai modelli è stato quindi chiesto di navigare nelle stesse tre fasi, ricevendo gli stessi stimoli (incluse le risposte dei pari) dei soggetti umani originali.
• Modelli Valutati: Lo studio ha valutato 12 LLM appartenenti a quattro famiglie e di dimensioni parametriche variabili, inclusi sia modelli non pensanti (non di ragionamento) (ad esempio, Llama 3, Gemma 3) sia modelli pensanti (di ragionamento) (ad esempio, Qwen 3, GPT-OSS).
• Ambito dei Dati: L'analisi ha coperto due argomenti politici ("immigrazione" e "petrolio e carburante"), risultando in un totale di 1.023 campioni (3 round × 341 partecipanti).
• Metriche di Valutazione:
  • Fase 1 (Credenze Iniziali): Divergenza KL, Distanza di Wasserstein, test U di Mann-Whitney e correlazione di Spearman per confrontare forme di distribuzione, tendenze centrali e allineamento a livello individuale.
  • Fase 2 (Cambiamento delle Credenze): Analisi dell'entità dell'aggiornamento delle credenze e "Influenza Sociale" (correlazione tra il divario tra la credenza iniziale di sé e la media dei pari, e il conseguente cambiamento di credenza).
  • Fase 3 (Selezione della Rete): "Segnale di Seguito" (valutazione media dei pari selezionati) e "Distanza della Rete di Credenze" (differenza assoluta tra la credenza iniziale e le credenze dei pari selezionati) per misurare l'omofilia.

Risultati Chiave

1. Fallimento nell'Emulare le Distribuzioni delle Credenze Iniziali

Gli LLM hanno fallito sistematicamente nel corrispondere la distribuzione delle credenze umane iniziali.

• Disallineamento Distributivo: Sia i valori di Divergenza KL che quelli di Distanza di Wasserstein per gli LLM sono stati significativamente più alti rispetto alla linea di base (divisione umano-vs-umano), indicando un scarso allineamento distributivo.
• Bias Sistematico: I modelli non pensanti tendevano a sovrastimare le valutazioni delle credenze (con picco a 2), mentre i modelli pensanti tendevano a sottostimarle (con picco a 0, indicando un forte disaccordo).
• Bassa Correlazione Individuale: La correlazione di Spearman tra le risposte individuali degli LLM e quelle umane è stata al massimo moderata (max $\rho = 0,31$), suggerendo che gli LLM non possono prevedere in modo affidabile le preferenze specifiche degli individui.

2. Conformità Eccessiva negli Aggiornamenti delle Credenze

Gli LLM hanno dimostrato una maggiore suscettibilità all'influenza sociale rispetto agli umani.

• Rigidità vs. Fluidità: Gli umani hanno mostrato una maggiore rigidità delle credenze, cambiando le proprie opinioni meno frequentemente e in misura minore rispetto agli LLM.
• Metrica dell'Influenza Sociale: La correlazione tra "influenza sociale" (il divario tra sé e i pari) e cambiamento di credenza è stata significativamente più alta per gli LLM in 11 modelli su 12. Ciò indica che gli LLM sono più conformisti, spostando le proprie risposte per allinearsi alla media della propria rete osservata più prontamente di quanto facciano gli umani.

3. Fallimento Sottile nella Ristrutturazione della Rete (Omofilia)

Sebbene gli LLM potessero mimare l'atto di selezionare i pari, non sono riusciti a catturare la logica omofila sottostante.

• Segnale di Seguito: Gli LLM hanno simulato con successo la distribuzione generale di quali pari gli umani sceglievano di seguire (alta correlazione nel Segnale di Seguito).
• Distanza della Rete di Credenze: Tuttavia, la "Distanza della Rete di Credenze" (quanto le credenze dei pari selezionati erano lontane da quelle dell'agente) è stata costantemente più alta per gli LLM. Ciò suggerisce che, sebbene gli LLM possano selezionare pari, non lo fanno basandosi sulla stessa forte preferenza per la somiglianza (omofilia) che caratterizza la formazione delle reti umane. Le loro selezioni sono meno ancorate alle loro proprie credenze iniziali.

Contributi e Affermazioni Chiave

Il paper apporta tre contributi principali alla letteratura sulla simulazione con LLM:

1. Divergenza Sistematica: Fornisce prove empiriche del fatto che gli LLM divergono dagli umani in modi fondamentali riguardo alle dinamiche delle credenze, specificamente nella distribuzione iniziale, nella suscettibilità all'influenza sociale e nella selezione di reti omofile.
2. Limiti dei Personaggi: Mette in discussione l'efficacia del metodo "gemello digitale" quando limitato a dati demografici e di personalità, suggerendo che tali personaggi vincolati sono insufficienti per catturare dinamiche complesse delle credenze.
3. Anomalia della Legge di Scalabilità: Lo studio nota che dimensioni parametriche maggiori non producono necessariamente un migliore allineamento con le dinamiche delle credenze umane, suggerendo che la rigidità delle credenze e il ragionamento motivato sono distinti dai compiti di ragionamento e recupero delle conoscenze in cui le leggi di scalabilità tipicamente valgono.

Significato e Implicazioni

Gli autori concludono con un "avvertimento netto" contro il dispiegamento acritico degli LLM come proxy umani nelle simulazioni sociali, in particolare per studi che coinvolgono polarizzazione, persuasione e interventi di rete.

• Asimmetria Fondamentale: I risultati evidenziano un'asimmetria fondamentale nel modo in cui gli LLM elaborano il contesto sociale rispetto agli umani. Gli LLM sembrano mancare dell'identità, della motivazione e dei processi affettivi che guidano le dinamiche delle credenze umane.
• Cautela nella Ricerca: Il paper sostiene che l'uso degli LLM per simulare reti di credenze umane può portare a conclusioni errate, poiché i modelli sono intrinsecamente più conformisti e meno rigidi delle popolazioni umane che mirano a rappresentare.
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro dovrà esplorare personaggi più elaborati (incluse abitudini dei social media ed esperienze vissute) e investigare se modelli closed-source o modelli con memoria tra i round possano colmare questo divario, sebbene rimangano scettici sulle capacità attuali.