Emulating Aggregate Human Choice Behavior and Biases with GPT Conversational Agents

1. Il Problema di Ricerca

Il campo dell'interazione uomo-computer (HCI) e della simulazione comportamentale si sta interrogando sulla capacità dei Large Language Models (LLM) di rappresentare non solo il linguaggio umano, ma anche la decision-making irrazionale e i bias cognitivi tipici degli esseri umani.
Mentre studi precedenti hanno dimostrato che gli LLM possono riprodurre bias cognitivi in compiti statici e isolati (single-shot), esiste un vuoto nella comprensione di come questi modelli si comportino in contesti conversazionali dinamici. In particolare, non è chiaro se gli LLM possano:

1. Prevedere le decisioni individuali basandosi su demografia e trascrizioni di dialogo.
2. Emulare l'interazione tra bias cognitivi (come il Status Quo Bias) e fattori contestuali complessi, come il carico cognitivo generato da dialoghi intricati.

L'obiettivo principale è determinare se gli LLM possano fungere da proxy realistici per simulare il comportamento umano di gruppo e individuale in scenari decisionali mediati da agenti conversazionali.

2. Metodologia

Lo studio è stato condotto in due fasi principali: un esperimento umano di base e una successiva simulazione con agenti LLM.

A. Esperimento Umano (Baseline)

• Partecipanti: $N = 1100$ partecipanti reclutati tramite Prolific.
• Design Sperimentale: Un disegno fattoriale $2 \times 3$ tra soggetti.
  • Variabile Indipendente 1 (Carico Cognitivo): Due livelli di dialogo precedente (Simple Dialogue vs. Complex Dialogue). Il dialogo complesso era progettato per aumentare il carico cognitivo attraverso strutture referenziali nidificate, compiti aritmetici e richieste di memoria (es. confrontare attributi di artisti o proprietà immobiliari in modo iterativo).
  • Variabile Indipendente 2 (Condizione Decisionale): Tre condizioni basate sul Status Quo Bias: Neutrale, Status Quo A (opzione A come stato attuale), Status Quo B (opzione B come stato attuale).
• Scenari Decisionali: Tre scenari adattati da Samuelson e Zeckhauser [48]:
  1. Allocazione del Budget (Budget Allocation).
  2. Portafogli di Investimento (Investment Portfolios).
  3. Selezione di Lavoro Universitario (College Jobs).
• Misurazione: È stato misurato il carico cognitivo percepito (NASA-TLX), la precisione del ricordo (recall task) e le scelte finali.

B. Esperimento con Agenti LLM

• Modelli Utilizzati: GPT-4.1, GPT-4.1-mini, GPT-5 e GPT-5-mini.
• Input: Gli agenti hanno ricevuto le stesse informazioni disponibili ai partecipanti umani:
  1. Dati demografici (età, sesso, paese, ecc.).
  2. Trascrizione completa del dialogo precedente (incluso il carico cognitivo).
  3. Lo scenario decisionale.
• Prompting (Livelli di "Umanità"): Sono stati testati tre livelli di istruzioni per valutare quanto esplicitamente gli LLM dovessero essere istruiti a comportarsi in modo umano/biasato:
  • HL1 (Minimo): "Sei un partecipante a uno studio di ricerca."
  • HL2 (Naturale): "Sei un partecipante umano... rispondi in modo naturale."
  • HL3 (Bias Esplicito): "Agisci come un umano soggetto a bias cognitivi (status quo, ancoraggio, ecc.)."
• Analisi: Confronto tra le risposte degli agenti e quelle umane reali per valutare l'accuratezza predittiva individuale e la riproduzione dei pattern di bias a livello di campione.

3. Risultati Chiave

Risultati Umani

• Conferma del Bias: È stato confermato un forte Status Quo Bias negli scenari di Allocazione del Budget e Selezione Lavori (effetto Cohen's $h$ medio-alto). Lo scenario di Investimento non ha mostrato un bias significativo, replicando risultati precedenti.
• Impatto del Carico Cognitivo: Sebbene il dialogo complesso abbia aumentato significativamente il carico cognitivo percepito (Mental Demand ed Effort), non ha modificato la direzione o l'intensità del bias in modo statisticamente significativo rispetto al dialogo semplice. L'ipotesi che il carico cognitivo amplifichi il bias (H2) è stata respinta per la maggior parte degli scenari.

Risultati degli Agenti LLM

• Accuratezza Predittiva Individuale: Gli LLM hanno raggiunto un'accuratezza predittiva di circa il 68% (es. GPT-4.1 a livello HL2), significativamente superiore al caso casuale. Tuttavia, esperimenti di perturbazione (sostituendo le risposte umane con testo casuale) hanno mostrato che gli LLM non dipendono fortemente dai segnali individuali specifici del dialogo, ma piuttosto da pattern generali del compito.
• Riproduzione del Bias a Livello di Campione:
  • HL1 e HL2 (Prompt Neutri/Naturali): Gli agenti hanno riprodotto i bias umani con precisione perfetta (1.0) quando non c'era bias umano (es. Investimenti) e con alta fedeltà quando il bias era presente.
  • HL3 (Prompt Espliciti): Quando istruiti esplicitamente a essere "biasati", gli agenti hanno mostrato un overfitting, generando bias forti anche in scenari dove gli umani non ne mostravano (falsi positivi). Questo indica un "allineamento eccessivo" alle istruzioni piuttosto che una simulazione fedele.
• Interazione con il Contesto: Gli agenti hanno faticato a replicare la mancanza di interazione tra carico cognitivo e bias osservata negli umani. In particolare, i modelli HL1 e HL2 hanno spesso mostrato variazioni di effetto che divergevano dal comportamento umano sotto carico cognitivo, mentre HL3 ha mostrato una maggiore convergenza ma con bias esagerati.
• Performance dei Modelli: La famiglia GPT-4.1 (in particolare la versione mini) ha mostrato le prestazioni migliori, bilanciando precisione e aderenza ai pattern umani. La famiglia GPT-5 ha mostrato risultati più variabili e meno allineati.

4. Contributi Principali

1. Baseline Empirica: Fornisce la prima linea di base rigorosa su come il Status Quo Bias si manifesti in interazioni conversazionali mediate da chatbot, controllando per il carico cognitivo.
2. Valutazione della Fedeltà Comportamentale: Dimostra che gli LLM possono emulare il comportamento umano di gruppo con alta precisione, ma solo sotto specifiche condizioni di prompting (evitando istruzioni esplicite sui bias).
3. Analisi del Carico Cognitivo: Evidenzia una discrepanza tra la capacità degli LLM di riprodurre bias statici e la loro difficoltà a simulare l'interazione dinamica tra bias e fattori contestuali (come la complessità del dialogo) senza istruzioni specifiche.
4. Metodologia di Simulazione: Introduce un framework per testare la capacità predittiva degli LLM a livello individuale utilizzando trascrizioni di dialogo e dati demografici, ponendo domande critiche sulla natura di questa predizione (pattern matching vs. comprensione individuale).

5. Significato e Implicazioni

• Simulazioni Realistiche: Gli LLM possono essere utilizzati come proxy efficaci per simulare grandi campioni umani in studi di scienze sociali e politiche, riducendo costi e tempi, purché si presti attenzione al tipo di prompting per evitare bias artificiali.
• Progettazione di Sistemi Adattivi: I risultati suggeriscono che i sistemi basati su LLM potrebbero essere progettati per essere "consapevoli dei bias". Ad esempio, in contesti ad alto carico cognitivo, un agente potrebbe semplificare il dialogo o presentare opzioni in modo trasparente per mitigare l'impatto del Status Quo Bias.
• Limiti della Simulazione: Lo studio mette in guardia contro l'uso di LLM per simulare processi cognitivi individuali profondi. Gli agenti sembrano catturare "cosa tendono a fare gli umani" (media di gruppo) piuttosto che "cosa farà questo specifico umano", suggerendo che le simulazioni individuali richiedono ancora miglioramenti nella personalizzazione e nell'uso di segnali contestuali fini.
• Rischio di Allineamento: L'uso di prompt espliciti per indurre bias (HL3) porta a un comportamento esagerato e non realistico, sottolineando la necessità di prompt più sottili per ottenere simulazioni fedeli.

In conclusione, il paper stabilisce che gli LLM sono strumenti potenti per la simulazione di bias cognitivi aggregati in contesti conversazionali, ma la loro capacità di emulare le dinamiche sottili dell'interazione tra contesto e decisione individuale rimane una sfida aperta che richiede un'attenta progettazione dei prompt e una comprensione dei limiti attuali dei modelli.