Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

Sintesi Tecnica: I compiti di associazione a forma libera rivelano l'allucinazione di stereotipi nei Large Language Models

Problema
Sebbene la letteratura recente suggerisca che i Large Language Models (LLM) possano predire i giudizi stereotipati umani, rimane poco chiaro se gli LLM emulino i processi cognitivi che sottostanti agli stereotipi umani o se si limitino a recuperare associazioni apprese per risolvere compiti di predizione. La ricerca precedente si è ampiamente basata su compiti di giudizio controllati (ad es., sondaggi a scelta multipla) o contesti vincolati da pregiudizi di gruppo radicati e prevedibili (ad es., risposte partitiche a notizie). Tali impostazioni possono consentire agli LLM di avere successo recuperando correlazioni statistiche dai dati di addestramento piuttosto che modellando veri meccanismi cognitivi. Esiste una lacuna critica nella comprensione di come gli LLM operino in ambienti interpretativi nuovi e non vincolati, dove i significati culturali non sono pre-stabiliti. Nello specifico, non è noto se gli LLM possano replicare la struttura degli stereotipi umani nell'interpretare stimoli a forma libera che mancano di un significato semantico intrinseco.

Metodologia
Gli autori impiegano un disegno sperimentale comparativo che coinvolge partecipanti umani e due modelli multimodali (GPT-4o mini e Llama-3.2-11B-Vision-Instruct) attraverso cinque domini sociali: genere, partigianeria, personalità, urbanicità e stile di vita (routine).

1. Stimoli: Lo studio utilizza 12 stimoli visivi ambigui (4 macchie di Rorschach e 8 opere d'arte astratta) deliberatamente scelti per la loro mancanza di significati culturali pre-stabiliti, simboli espliciti o neutralità estetica.
2. Condizioni Sperimentali:
   • Compiti di Primo Ordine: I partecipanti (umani) e i modelli (utilizzando prompt basati su persona, ad es., "Tu sei un [identità]") forniscono interpretazioni personali dirette. Le risposte consistono in 3 associazioni di oggetti, 3 associazioni di concetti e 1 emozione.
   • Compiti di Secondo Ordine: I partecipanti e i modelli predicono come i membri di specifici gruppi sociali interpretano gli stessi stimoli.
3. Raccolta Dati:
   • Umani: Sono stati reclutati circa 300 partecipanti per dominio tramite Prolific. I partecipanti al primo ordine hanno interpretato 4 stimoli casuali; i partecipanti al secondo ordine hanno predetto le interpretazioni per entrambi i gruppi all'interno di un dominio.
   • LLM: I modelli sono stati interrogati 80 volte per combinazione dominio/stimolo attraverso quattro impostazioni di temperatura (0.3, 0.7, 0.9, 1.0) per catturare la variabilità del modello.
   • Condizionamento Leave-One-Out (LOO): Per testare se l'omogeneizzazione derivi da una insufficiente individualizzazione, GPT-4o mini è stato condizionato sulle associazioni reali di specifici partecipanti umani per tre immagini, al fine di predire l'associazione per una quarta immagine tenuta da parte.
4. Metriche di Analisi:
   • Diversità Intra-gruppo: Misurata tramite l'entropia di Shannon delle associazioni di parole.
   • Separabilità Inter-gruppo: Misurata addestrando classificatori LLM (GPT-4o mini e Llama) per predire l'appartenenza al gruppo basandosi esclusivamente sui pattern linguistici delle associazioni.
   • Analisi dello Spazio Semantico: Gli embedding delle parole (Sentence-BERT) sono stati proiettati in uno spazio 2D tramite PCA per visualizzare la topologia e il clustering delle risposte.

Risultati Chiave
Lo studio rivela differenze qualitative fondamentali tra i processi cognitivi umani e quelli degli LLM riguardo agli stereotipi:

• Diversità Intra-gruppo (Entropia): Le risposte di primo ordine degli umani mostrano un'elevata eterogeneità (alta entropia), con le informazioni demografiche che risultano un debole predittore dell'interpretazione. Al contrario, gli LLM producono risposte di primo ordine omogenee (bassa entropia) indipendentemente dall'identità sociale sollecitata. Questa omogeneizzazione persiste anche sotto condizionamento LOO, dove i modelli non riescono a catturare la variazione individuale umana nonostante siano stati forniti dati comportamentali specifici.
• Separabilità Inter-gruppo (Accuratezza della Classificazione):
  • Umani: Le risposte umane di primo ordine sono quasi indistinguibili per gruppo (accuratezza di classificazione vicina al caso, 46–60%). Nei compiti di secondo ordine, gli umani mostrano un "esagerazione dello stereotipo", aumentando moderatamente la separabilità (57–79%) amplificando deboli tendenze di primo ordine pur preservando la diversità.
  • LLM: Sebbene le risposte di primo ordine degli LLM mostrino una bassa separabilità (eccetto nei domini della personalità), le risposte di secondo ordine degli LLM mostrano un'estrema separabilità (spesso >90%, raggiungendo il 99.9% in alcuni domini). Gli LLM generano associazioni altamente polarizzate e specifiche per gruppo che sono facilmente distinguibili dai classificatori, superando di gran lunga i livelli di distintività umani.
• Topologia Semantica: L'analisi PCA mostra che le risposte umane formano cluster ampi, sovrapposti e continui. Le risposte degli LLM, particolarmente nei compiti di secondo ordine, formano cluster concentrati, frammentati e spazialmente distinti, scollegati dalle regioni semantiche occupate dalle risposte umane di primo ordine.
• Allucinazione di Stereotipi: Gli autori definiscono il fenomeno degli LLM come "allucinazione di stereotipi". A differenza dell'esagerazione dello stereotipo umano, che reifica i pregiudizi reali, gli LLM generano stereotipi di secondo ordine netti che non amplificano le tendenze di primo ordine esistenti né riflettono le reali differenze di gruppo umane. Questi prototipi allucinati sono semanticamente slegati dalla realtà umana di base.
• Robustezza: Questi risultati persistono anche quando i modelli vengono sottoposti a fine-tuning o condizionati su dati di partecipanti individuali, suggerendo che il problema sia un vincolo architettonico piuttosto che un artefatto del prompting.

Contributi Chiave

1. Identificazione dell' "Allucinazione di Stereotipi": Il documento introduce un meccanismo distinto in cui gli LLM generano stereotipi di gruppo esagerati in contesti nuovi che sono fondamentalmente scollegati dalla realtà interpretativa umana, contrapponendosi all' "esagerazione dello stereotipo" umana.
2. Innovazione Metodologica: Utilizzando stimoli a forma libera e ambigui (Rorschach/arte astratta), lo studio isola i processi cognitivi di costruzione del significato dai recuperi di script culturali radicati, fornendo un test più rigoroso degli LLM come modelli cognitivi.
3. Evidenza di un Limite Architetturale: Lo studio dimosta che gli LLM falliscono nel preservare l'eterogeneità individuale e tendono invece a utilizzare prototipi socialmente disponibili, anche quando vengono forniti dati comportamentali individuali specifici.

Significatività
Il documento sostiene che gli LLM non possono servire come affidabili "organismi modello" per le scienze sociali in contesti nuovi, ambigui o culturalmente instabili. Sebbene gli LLM possano avere successo nel predire il comportamento umano in domini in cui i significati sono stabilizzati e i confini di gruppo sono radicati (ad es., reazioni partitiche alle notizie), essi falliscono nel modellare la costruzione sociale attiva del significato da parte di interpretazioni diverse. I risultati suggeriscono che gli LLM sono limitati nella loro capacità di simulare la cognizione umana di fronte a ambienti ad alta entropia dove le risposte umane sono idiosincratiche e debolmente strutturate dalla demografia. Di conseguenza, l'uso degli LLM per predire il comportamento umano in fenomeni sociali emergenti o prima che i significati si siano stabilizzati può produrre risultati sistematicamente distorti e irrealistici a causa della tendenza dei modelli ad allucinare prototipi di gruppo piuttosto che emulare la diversità interpretativa umana.