Free-form Association Tasks Reveal Stereotype Hallucination in Large Language Models

Technische Samenvatting: Vrije Associatie-taken Onthullen Stereotype-hallucinatie in Large Language Models

Probleemstelling
Hoewel recente literatuur suggereert dat Large Language Models (LLM's) menselijke stereotype oordelen kunnen voorspellen, blijft het onduidelijk of LLM's de cognitieve processen nabootsen die ten grondslag liggen aan menselijke stereotypen, of dat ze slechts geleerde associaties ophalen om voorspellings-taken op te lossen. Voorgaand onderzoek heeft grotendeels vertrouwd op gecontroleerde oordeel-staken (bijv. meerkeuze-enquêtes) of contexten die beperkt zijn door diepgewortelde, voorspelbare groepsbiases (bijv. partijdige reacties op nieuws). Deze settings kunnen ervoor zorgen dat LLM's slagen door statistische correlaties uit trainingsdata op te halen, in plaats van werkelijke cognitieve mechanismen te modelleren. Er bestaat een kritische kloof in het begrip van hoe LLM's presteren in nieuwe, ongestructureerde interpretatieve omgevingen waar culturele betekenissen niet vooraf vaststaan. Specifiek is het onbekend of LLM's de structuur van menselijke stereotypen kunnen repliceren bij het interpreteren van vrije vorm stimuli die geen inherente semantische betekenis hebben.

Methodologie
De auteurs hanteren een vergelijkend experimenteel ontwerp waarbij menselijke participanten en twee multimodale modellen (GPT-4o mini en Llama-3.2-11B-Vision-Instruct) worden gebruikt over vijf sociale domeinen: gender, partijdigheid, persoonlijkheid, urbaniteit en levensstijl (routine).

1. Stimuli: De studie maakt gebruik van 12 ambigue visuele stimuli (4 Rorschach-inktpatronen en 8 abstracte kunstwerken) die doelbewust zijn gekozen vanwege hun gebrek aan vooraf vastgestelde culturele betekenissen, expliciete symbolen of esthetische neutraliteit.
2. Experimentele Condities:
   • Eerste-orde Taken: Participanten (mensen) en modellen (met behulp van persona-gebaseerde prompts, bijv. "U bent een [identiteit]") geven directe persoonlijke interpretaties. De reacties bestaan uit 3 object-associaties, 3 concept-associaties en 1 emotie.
   • Tweede-orde Taken: Participanten en modellen voorspellen hoe leden van specifieke sociale groepen dezelfde stimuli interpreteren.
3. Dataverzameling:
   • Mensen: Ongeveer 300 participanten per domein werden gerekruteerd via Prolific. Eerste-orde participanten interpreteerden 4 willekeurige stimuli; tweede-orde participanten voorspelden interpretaties voor beide groepen binnen een domein.
   • LLM's: Modellen werden 80 keer per domein/stimulus-combinatie bevraagd over vier temperatuur-instellingen (0.3, 0.7, 0.9, 1.0) om modelvariabiliteit te vangen.
   • Leave-One-Out (LOO) Conditionering: Om te testen of homogenisering voortkomt uit onvoldoende individualisering, werd GPT-4o mini geconditioneerd op de werkelijke associaties van specifieke menselijke participanten voor drie afbeeldingen om hun associatie voor een vierde, uit de test gehouden afbeelding te voorspellen.
4. Analyse-metrieken:
   • Binnen-groep Diversiteit: Gemeten met de Shannon-entropie van woord-associaties.
   • Tussen-groep Separabiliteit: Gemeten door LLM-classifiers te trainen (GPT-4o mini en Llama) om groepslidmaatschap te voorspellen op basis van louter de linguïstische patronen van de associaties.
   • Semantische Ruimte Analyse: Woord-embeddings (Sentence-BERT) werden via PCA geprojecteerd in een 2D-ruimte om de topologie en clustering van reacties te visualiseren.

Belangrijkste Resultaten
De studie onthult fundamentele kwalitatieve verschillen tussen menselijke en LLM-cognitieve processen met betrekking tot stereotypen:

• Binnen-groep Diversiteit (Entropie): Menselijke eerste-orde reacties vertonen een hoge heterogeniteit (hoge entropie), waarbij demografische informatie een zwakke voorspeller is voor interpretatie. In contrast hiermee produceren LLM's homogene eerste-orde reacties (lage entropie), ongeacht de geprompte sociale identiteit. Deze homogenisering houdt stand, zelfs onder LOO-conditionering, waarbij modellen er niet in slagen de individuele menselijke variatie te vatten, ondanks dat ze over specifieke gedragsdata beschikken.
• Tussen-groep Separabiliteit (Classificatie-nauwkeurigheid):
  • Mensen: Eerste-orde menselijke reacties zijn bijna niet te onderscheiden door groep (classificatie-nauwkeurigheid nabij willekeur, 46–60%). In tweede-orde taken vertonen mensen "stereotype-exaggeratie", waarbij ze de separabiliteit matig verhogen (57–79) door zwakke eerste-orde tendensen te versterken terwijl de diversiteit behouden blijft.
  • LLM's: Hoewel eerste-orde LLM-reacties een lage separabiliteit vertonen (behal behalve in persoonlijkheidsdomeinen), vertonen tweede-orde LLM-reacties extreme separabiliteit (vaak >90%, bereikend tot 99,9% in sommige domeinen). LLM's genereren hoog gepolariseerde, groepspecifieke associaties die gemakkelijk te onderscheiden zijn door classifiers, wat de menselijke onderscheidbaarheid ver overstijgt.
• Semantische Topologie: PCA-analyse laat zien dat menselijke reacties brede, overlappende, continue clusters vormen. LLM-reacties, met name in tweede-orde taken, vormen dicht geconcentreerde, gefragmenteerde en ruimtelijk onderscheidende clusters die losgekoppeld zijn van de semantische regio's die door menselijke eerste-orde reacties worden ingenomen.
• Stereotype-hallucinatie: De auteurs noemen het LLM-fenomeen "stereotype-hallucinatie". In tegen te staat van menselijke stereotype-exaggeratie, die bestaande biases reïficeert, genereren LLM's scherpe tweede-orde stereotypen die noch de bestaande eerste-orde tendensen versterken, noch de werkelijke menselijke groepsverschillen weerspiegelen. Deze gehallucineerde prototypes zijn semantisch losgekoppeld van de menselijke grondwaarheid.
• Robuustheid: Deze bevindingen blijven overeind, zelfs wanneer modellen worden gefinetuned of geconditioneerd op individuele participant-data, wat suggereert dat het probleem een architecturale beperking is in plaats van een prompting-artefact.

Belangrijkste Bijdragen

1. Identificatie van "Stereotype-hallucinatie": Het artikel introduceert een onderscheidend mechanisme waarbij LLM's in nieuwe contexten geëxagereerde groepsstereotypen genereren die fundamenteel losgekoppeld zijn van de menselijke interpretatieve realiteit, in contrast met menselijke "stereotype-exaggeratie".
2. Methodologische Innovatie: Door gebruik te maken van vrije vorm, ambigue stimuli (Rorschach/abstracte kunst), isoleert de studie de cognitieve processen van betekenisconstructie van de retrieval van diepgewortelde culturele scripts, wat een striktere test biedt voor LLM's als cognitieve modellen.
3. Bewijs van Architecturale Beperking: De studie toont aan dat LLM's er niet in slagen om individuele heterogeniteit te behouden en in plaats daarvan terugvallen op sociaal beschikbare prototypen, zelfs wanneer ze worden voorzien van specifieke individuele gedragsdata.

Betekenis
Het artikel betoogt dat LLM's niet kunnen dienen als betrouwbare "model organismen" voor de sociale wetenschappen in nieuwe, ambigue of cultureel onsettled contexten. Hoewel LLM's succesvol kunnen zijn in het voorspellen van menselijk gedrag in domeinen waar betekenissen gestabiliseerd en groepsgrenzen diepgeworteld zijn (bijv. partijdige reacties op nieuws), falen ze in het modelleren van de actieve sociale constructie van betekenis vanuit diverse interpretaties. De bevindingen suggereren dat LLM's beperkt zijn in hun vermogen om menselijke cognitie te simuleren wanneer zij worden geconfronteerd met omgevingen met een hoge entropie, waar menselijke reacties idiosyncratisch en zwak gestructureerd zijn door demografie. Bijgevolg kan het gebruik van LLM's om menselijk gedrag te voorspellen in opkomende sociale fenomenen, of voordat betekenissen zijn gestabiliseerd, leiden tot systematisch bevooroordeelde en onrealistische resultaten vanwege de neiging van de modellen om groepsprototypes te hallucineren in plaats van menselijke interpretatieve diversiteit na te bootsen.