Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

Probleemstelling

Naarmate Large Language Models (LLMs) steeds vaker worden ingezet voor uiteenlopende taken, van beslissingsondersteuning tot gezelschap, wordt het cruciaal om hun gedragsdisposities te begrijpen. Bestaande literatuur probeert deze disposities te profileren met psychometrische inventarissen en cognitieve paradigma's. Echter, deze benaderingen hebben een fundamenteel tekortkoming: ze kunnen niet onderscheiden of waargenomen gedragsverschillen het gevolg zijn van:

1. Stabiele, stimulus-specifieke individualiteit (een model beoordeelt een specifieke situatie op een unieke manier).
2. Globale responsbias (systematische afwijkingen, zoals een neiging om extreem te scoren of altijd "ja" te zeggen).
3. Stochastisch ruis (willekeurige variatie).

Huidige methoden verwarren deze bronnen vaak. Verschillen in "persoonlijkheidsscores" worden sterk beïnvloed door prompt-templates, de volgorde van opties en het type schaal. Het is daarom onduidelijk of LLMs werkelijke individuele verschillen vertonen die losstaan van hun algemene responsstijlen.

Methodologie

De auteurs hanteren een rigoureuze psychometrische aanpak om deze bronnen van variatie te ontwarren.

• Dataverzameling:

  • Modellen: 10 open-weight LLMs werden geselecteerd, variërend in architectuur (dense transformers, Mixture-of-Experts, hybride modellen) en grootte (20B tot 235B parameters). Voorbeelden zijn Qwen3, Mistral, Gemma, en OpenAI's gpt-oss.
  • Stimuli: Er werden ratings verzameld voor meer dan 100.000 woorden uit de psychNorms metabase.
  • Normen: 14 psycholinguïstische normen werden gebruikt, waaronder affectieve dimensies (valentie, opwinding), zintuiglijke normen (visueel, auditief, etc.), sociale en morele beoordelingen, en leeftijd van verwerving.
  • Aantal observaties: Ongeveer 74,9 miljoen ratings in totaal (gemiddeld ~5,4 miljoen per norm), verkregen via zero-shot prompts met stochastische bemonstering (5 herhalingen per woord per model).

• Statistische Analyse (Crossed Random-Effects Models):
  De kern van de methodologie is het toepassen van een kruislingse random-effects lineaire gemengde model (LMM) om de variantie te decomponeren. Voor elke rating $y_{ijk}$ (woord $i$, model $j$, herhaling $k$) wordt het volgende model gefit:
  $$y_{ijk} = \mu + \tau_i + \beta_j + \iota_{ij} + \epsilon_{ijk}$$
  Waarbij:

  • $\mu$: Het algemene gemiddelde.
  • $\tau_i$ (Trait): De gedeelde consensus over het woord (stimulus-effect).
  • $\beta_j$ (Bias): De systematische modelbias (globale offset van het model).
  • $\iota_{ij}$ (Idiosyncrasy): De interactie tussen model en woord. Dit is de maatstaf voor machine individualiteit – hoe een model een specifiek woord beoordeelt, los van de consensus en zijn eigen algemene bias.
  • $\epsilon_{ijk}$: Residuale ruis.

• Validatie:

  • Parametrische bootstrap: Om te testen of de waargenomen idiosyncratische variantie significant is boven wat er door toeval zou kunnen ontstaan in een kruislingse opzet.
  • Cross-norm voorspelling: Ridge-regressie werd gebruikt om te testen of de idiosyncratische afwijkingen van een model op de ene norm voorspelbaar zijn door zijn afwijkingen op andere normen (binnen-model correlatie) versus afwijkingen van andere modellen.

Belangrijkste Resultaten

1. Aanwezigheid van Machine Individualiteit:
   De analyse toont aan dat idiosyncratische variantie (de interactie tussen model en woord) gemiddeld 16,9% van de totale variantie uitmaakt. Dit varieert per norm van 4,8% (Valentie) tot 34,0% (Geslachtsassociatie). Deze waarden overschrijden de null-verdeling (toeval) met een hoge significantie ($p < 0,01$) voor alle 14 normen. Dit bewijst dat modellen niet alleen verschillen in hun algemene neigingen (bias), maar ook in hoe ze specifieke stimuli evalueren.

2. Coherente "Machine Fingerprints":
   De idiosyncratische patronen zijn niet willekeurig per dimensie, maar vormen een coherent, model-specifiek "vingerafdruk". Cross-norm voorspellinganalyses tonen aan dat de afwijkingen van een model op een nieuwe norm beter worden voorspeld door zijn eigen afwijkingen op andere normen dan door die van andere modellen. De specificiteitsratio's liggen tussen 1,74 en 3,43 (allemaal > 1,0), wat bevestigt dat elke LLM een unieke, interne semantische structuur heeft.

3. Verdeling van Variantie:

   • Gedeelde Trait (Consensus): Dominant (32,1%), wat aangeeft dat er een brede overeenstemming is over de semantische landschap.
   • Bias: Systematische afwijkingen zijn aanwezig, maar minder dominant dan de idiosyncratische interactie in veel dimensies.
   • Sensitiviteit: Normen zoals "Geslachtsassociatie" en "Opwinding" tonen de grootste idiosyncratische variatie, terwijl "Smaak" (Gustatory) de minste toont.

4. Stochastische Aggregatie vs. Deterministische Decoding:
   Het gebruik van stochastische bemonstering (meerdere herhalingen) leidt tot een betere correlatie met menselijke normen dan deterministische decoding (T=0). Deterministische decoding maximaliseert reproduceerbaarheid maar offert zowel de variantiestructuur als de menselijke alignering op.

Bijdragen en Significantie

• Conceptuele Doorbraak: De paper introduceert het concept "Machine Individuality". Dit onderscheidt zich van eerdere pogingen om LLM-personaliteit te meten, omdat het specifiek de stimulus-specifieke variatie isoleert van responsbias. Het bewijst dat LLMs niet slechts "ruisende" versies van menselijke oordelen zijn, maar unieke semantische representaties hebben.
• Methodologische Innovatie: Het toont aan dat psychometrische technieken uit de persoonlijkheidspsychologie (crossed random-effects modellen) essentieel zijn om de "echte" aard van LLM-gedrag te begrijpen. Het benadrukt dat het onderscheid tussen "hoe een model een situatie beoordeelt" en "hoe het model over het algemeen reageert" cruciaal is.
• Praktische Implicaties: Voor ontwikkelaars en gebruikers betekent dit dat modellen niet alleen op basis van hun "persoonlijkheid" (bias) gekozen moeten worden, maar dat hun unieke evaluatiepatronen voor specifieke contexten (bijv. morele oordelen of emotionele nuance) een rol spelen in hun bruikbaarheid.
• Toekomstige Richting: De auteurs stellen dat dit raamwerk toepasbaar is op elke situatie waar meerdere modellen reageren op een gedeelde set stimuli. De volgende stap is onderzoeken of deze idiosyncrasies leiden tot meetbare verschillen in downstream taken en of ze stabiel blijven in contextuele situaties.

Kortom, de studie levert het eerste statistisch robuuste bewijs dat LLMs beschikken over een waarneembare, unieke en coherente "individualiteit" die verder gaat dan louter responsbias of ruis.