Can LLMs Simulate Human Behavioral Variability? A Case Study in the Phonemic Fluency Task

Titolo dello Studio

Possono i LLM simulare la variabilità comportamentale umana? Uno studio caso nel compito di fluenza fonemica.

1. Il Problema di Ricerca

I modelli linguistici su larga scala (LLM) sono sempre più utilizzati come sostituti dei partecipanti umani negli esperimenti di scienze cognitive e comportamentali. Tuttavia, rimane incerto se questi modelli siano in grado di replicare non solo le prestazioni medie, ma anche la variabilità comportamentale individuale tipica degli esseri umani.
Mentre i LLM eccellono nella coerenza semantica e nella produzione fluida, la letteratura suggerisce che potrebbero mancare di diversità linguistica e flessibilità cognitiva, tendendo a risposte più rigide e basate su frequenze statistiche. Questo studio si concentra sul compito di fluenza fonemica (generare quante più parole possibile che iniziano con una lettera specifica, es. "F", in un minuto), un compito che richiede una ricerca faticosa nel lessico mentale basata su forme ortografiche o fonologiche, piuttosto che su associazioni semantiche. L'obiettivo è determinare se i LLM possono simulare le differenze individuali nella produzione di parole o se rimangono bloccati in pattern rigidi.

2. Metodologia

Lo studio ha adottato un approccio empirico rigoroso confrontando dati umani reali con simulazioni LLM su larga scala.

• Dati Umani: Sono stati utilizzati i dati di 106 partecipanti nativi di lingua inglese (età media: 35.59 anni; istruzione media: 14.92 anni) che hanno completato un compito di fluenza fonemica con la lettera "F" in un minuto. I dati sono stati trascritti, puliti da errori e varianti dello stesso lemma, risultando in una media di 16.89 parole corrette per partecipante.
• Simulazione LLM:
  • Modelli: Sono stati valutati 34 modelli distinti (sia closed-source che open-source) da provider principali (OpenAI, Anthropic, Google, xAI, Meta, ecc.).
  • Configurazioni: Sono state testate 45 configurazioni diverse, includendo modalità di "ragionamento" (thinking) e diversi livelli di sforzo cognitivo.
  • Prompting: Ogni modello è stato istruito a impersonare un partecipante umano specifico, ricevendo in input i metadati reali di quel partecipante (età, livello di istruzione e numero esatto di risposte corrette ottenute dall'umano) per vincolare la lunghezza della risposta.
  • Procedure di Analisi:
    1. Analisi a livello di partecipante: Confronto del numero di risposte e calcolo di metriche di diversità lessicale (Type-to-Token Ratio - TTR, e Idiosyncratic Type-to-Total Type Ratio - ITTTR).
    2. Analisi a livello di elemento: Verifica della distribuzione delle frequenze (Legge di Zipf) e correlazione con variabili linguistiche (frequenza della parola, età di acquisizione, vicinanza ortografica/fonologica).
    3. Analisi di Rete: Costruzione di reti di co-occorrenza per analizzare la struttura associativa delle parole prodotte (coefficiente di clustering e lunghezza del percorso più breve).
    4. Analisi di Ensemble: Tentativo di ricreare la diversità umana combinando le uscite di modelli diversi per ogni partecipante simulato.

3. Risultati Chiave

• Prestazioni Medie vs. Variabilità: La maggior parte dei modelli (33 su 45 configurazioni) ha rispettato il vincolo del numero di parole, producendo conteggi simili alla media umana. Tuttavia, nessun modello ha replicato la portata della variabilità umana.
  • Diversità Lessicale: I partecipanti umani hanno prodotto 476 tipi di parole unici (TTR = 0.27). Il modello migliore, Claude 3.7 Sonnet, ne ha prodotti solo 226 (TTR = 0.13), meno della metà della diversità umana.
  • Effetto del "Ragionamento": L'attivazione delle modalità di pensiero (thinking) o di ragionamento avanzato ha spesso ridotto la diversità invece di aumentarla, rendendo le risposte più rigide.
• Distribuzione delle Frequenze (Legge di Zipf): Mentre i dati umani seguivano una distribuzione di Zipf con un esponente $\alpha = 0.89$ (coda lunga ricca di parole rare), i LLM mostravano esponenti più alti ($\alpha$ tra 1.19 e 1.53), indicando una distribuzione più ripida dominata da parole ad alta frequenza e una coda lunga molto più povera.
• Fattori Linguistici: I modelli umani erano fortemente influenzati dalla vicinanza ortografica (parole che differiscono per una lettera). I LLM, invece, mostravano una maggiore sensibilità alla lunghezza della parola e alla frequenza, ma ignoravano spesso la vicinanza ortografica, suggerendo meccanismi di recupero diversi.
• Struttura di Rete: L'analisi delle reti di co-occorrenza ha rivelato differenze strutturali fondamentali. Le reti umane presentavano un coefficiente di clustering più alto (cluster locali più stretti) e una lunghezza del percorso più lunga (integrazione globale più debole), riflettendo una ricerca mnemonica umana. La rete di Claude 3.7 Sonnet era più efficientemente connessa globalmente ma meno strutturata in cluster locali, indicando una dinamica di recupero diversa.
• Fallimento degli Ensemble: La combinazione di output da modelli diversi (ensemble) non è riuscita a recuperare la diversità umana. L'analisi ha mostrato un alto grado di sovrapposizione lessicale tra i modelli (overlap medio del 74%, fino al 90% tra modelli Anthropic), il che significa che anche combinando modelli diversi, essi attingono allo stesso pool di parole ad alta frequenza, fallendo nel generare risposte idiosincratiche.

4. Contributi e Significatività

• Valutazione Completa: Questo studio è uno dei primi a testare un ampio spettro di modelli (34 modelli, 45 configurazioni) contro dati umani reali, superando la limitazione di studi precedenti che si basavano su uno o pochi modelli.
• Limiti Intrinseci dei LLM: Dimostra che la coerenza interna e la regolarità semantica che rendono i LLM efficaci per il linguaggio naturale sono anche il loro limite nella simulazione della variabilità cognitiva umana. I modelli tendono a ottimizzare per la "risposta media" o prototipica, sopprimendo le risposte rare o idiosincratiche.
• Implicazioni per la Ricerca:
  • Non Sostituzione Diretta: I LLM non dovrebbero essere usati come sostituti diretti dei partecipanti umani in studi che richiedono la modellazione della variabilità individuale o dei processi cognitivi dinamici.
  • Scelta del Modello: La selezione del modello è critica; modelli più recenti non sono necessariamente migliori per la diversità (es. Claude 3.7 ha superato i modelli più recenti di Anthropic).
  • Approccio Alternativo: I LLM potrebbero essere utili come sistema di riferimento per le "tendenze centrali" del linguaggio, contro cui misurare l'unicità e la flessibilità del comportamento umano, piuttosto che come simulazione fedele dell'individuo.
• Considerazioni Etiche: L'uso di LLM per simulare popolazioni umane rischia di rafforzare i bias linguistici dominanti e di marginalizzare le risposte rare o le diversità individuali, portando a conclusioni di ricerca distorte se la variabilità naturale non viene adeguatamente considerata.

In sintesi, il paper conclude che, sebbene i LLM siano capaci di produrre risposte fluide e grammaticalmente corrette, falliscono nel catturare la ricchezza, la rigidità e la dinamica associativa della variabilità comportamentale umana, rendendoli strumenti inadeguati per la simulazione completa dei processi cognitivi umani in compiti di fluenza.