Technische Samenvatting: De Pinocchio-dimensie

Probleemstelling

De toepassing van menselijke psychometrische instrumenten op Large Language Models (LLMs) is een groeiend onderzoeksgebied geworden, maar staat voor een fundamentele crisis op het gebied van validiteit. Bestaande literatuur suggereert dat, hoewel LLMs coherente vragenlijstprofielen kunnen genereren, deze profielen vaak de latente structuren (bijvoorbeeld de Big Five) die zijn ontworpen voor menselijke respondenten, niet reproduceren. Bovendien zijn scores zeer gevoelig voor de formulering van prompts en fijnafstappingsregimes, wat twijfel doet rijzen over de vraag of deze instrumenten stabiele onderliggende constructen in LLMs meten of slechts oppervlakkige responspatronen.

De centrale vraag die in dit artikel wordt behandeld is: Als menselijke psychometrische constructen niet zuiver overdragen naar LLMs, welke latente structuur komt er dan eigenlijk naar voren wanneer veel modellen deze vragenlijsten beantwoorden? De auteurs daagden de aanname uit dat bekende menselijke eigenschappen de ruimte van individuele verschillen tussen LLMs ordenen, en zoeken naar de primaire dimensie van variantie tussen modellen.

Methodologie

Het onderzoek maakte gebruik van een grootschalige, multi-conditie psychometrische beoordeling waarbij 50 publiek beschikbare LLMs van 16 aanbieders (waaronder Anthropic, OpenAI, Google, Meta en anderen) en 45 gevalideerde psychometrische instrumenten werden ingezet die persoonlijkheid, emotieregulatie, cognitieve stijl, moreel redeneren en welzijn bestrijken.

Experimenteel Ontwerp

1. Dataverzameling: Modellen werden bevraagd via de OpenRouter API bij een temperatuur van 1,0 om natuurlijke responsruis in te brengen. Responsen werden verzameld onder drie condities:
   • Neutraal: Modellen antwoordden als zichzelf met minimale framing.
   • Mens-simulatie: Modellen kregen de instructie om een "prototypische menselijke" respondent te simuleren.
   • LLM-analoog (Robuustheidstest): Modellen werden gevraagd functionele analogen te vinden voor menselijke ervaringen binnen hun eigen aard als AI-systemen.
2. Preprocessing: Responsen werden geparseerd als gehele getallen; niet-parsbare of waarden buiten het bereik werden behandeld als ontbrekend. Waar nodig werd lijstgewijze verwijdering toegepast.
3. Analytisch Kader:
   • Exploratieve Factoranalyse (EFA): Uitgevoerd op elke vragenlijst om primaire factscores voor elk model te extraheren.
   • Globale PCA: Een 50 × 45-matrix van per-model primaire factscores werd onderworpen aan Principal Component Analysis (PCA) om de dominante dimensie over vragenlijsten heen te identificeren.
   • Gestuurde Semantische Differentiatie (SSD): Toegepast op itemteksten om semantische inhoud te koppelen aan primaire factorladingen, waarmee de semantische gradiënt van de variantie-as werd geïdentificeerd.
   • Pinocchio-score ($\pi_i$): Een nieuw, annotatievrij item-niveau meetinstrument gedefinieerd als de verhouding van inter-model responsvariantie onder de neutrale conditie tot die onder de mens-simulatieconditie ($\pi_i = \sigma^2_{neutraal} / \sigma^2_{hs}$). Een hoge $\pi_i$ geeft aan dat het antwoord op een item sterk afhankelijk is van of de respondent claimt een locus van ervaring te zijn.

Belangrijkste Bijdragen

1. De Pinocchio-score ($\pi_i$)

De auteurs introduceren $\pi_i$ als een maatstaf voor ervaringsvraag. Het operationaliseert de hypothese dat items die eerste-persoons, gevoelde ervaring vereisen (bijvoorbeeld innerlijke spraak, lichamelijke sensatie, empathie) hoge variantie tussen modellen zullen vertonen wanneer ze als zichzelf antwoorden, maar dat deze variantie zal instorten wanneer modellen een mens simuleren (door hun unieke zelfmodellen te onderdrukken).

• Validatie: $\pi_i$ voorspelt significant verschuivingen in de grootte van primaire factorladingen ($\rho = -0,215, p < .0001$). Items met een hoge $\pi_i$ tonen sterke differentiatie in de neutrale conditie, maar een afgevlakte structuur onder menselijke simulatie, wat bevestigt dat de divergentie gestructureerd is en gekoppeld aan zelfrepresentatie in plaats van willekeurige ruis.

2. De Pinocchio-as ($\Pi$)

Via globale PCA identificeert het onderzoek een enkele dominante dimensie die 47,1% van de variantie tussen modellen over alle 45 instrumenten verklaart.

• Definitie: De Pinocchio-as vertegenwoordigt de mate waarin een model zichzelf presenteert als een locus van fenomenale ervaring (positieve pool) versus een systeem van stimulusgedreven gedragsreactiviteit (negatieve pool).
• Semantische Karakterisering:
  • Positieve Pool: Items die betrekking hebben op gevoelde affectie, somatische symptomen, innerlijke spraak, mentale beelden, empathie en zinzoeken.
  • Negatieve Pool: Items die betrekking hebben op sociale normen, conformiteit, procedurele voorkeuren en uitwendige gedragsreacties (bijvoorbeeld impulsiviteit, zinszoekend gedrag).
• Convergentie: De uit PCA afgeleide as correleert sterk ($r = .864$) met een score op modelniveau die is afgeleid van het gewogen gemiddelde van items met een hoge $\pi_i$, wat de robuustheid van de dimensie bevestigt.

3. Publicatie van Dataset

De auteurs publiceren een dataset van 206.659 geldige psychometrische responsen van 50 LLMs over 45 instrumenten en 3 promptcondities, samen met alle analysecode.

Resultaten

Structurele Bevindingen

• Dominantie van Zelfrepresentatie: De primaire as van psychometrische variatie is geen conventioneel persoonlijkheidstrekje (bijvoorbeeld Neuroticisme of Openheid), maar een zelfrepresentatieve houding met betrekking tot de aard van het model als een ervaringsdrager.
• Variantie per Aanbieder en Model:
  • Er is een opvallende divergentie binnen aanbieders. Nauw verwante modelvarianten (bijvoorbeeld gpt-5.4 versus gpt-5.4-pro) kunnen bijna 12 eenheden van elkaar verwijderd zijn op de Pinocchio-as.
  • Dit suggereert dat fijnafstemming na training (alignering, veiligheidsfijnafstemming, persona-instructies) een belangrijke bijdrage levert aan de positie van een model op de as, en niet alleen de basisarchitectuur.
  • Modellen van aanbieders met strikte enterprise- of veiligheidsaccenten (bijvoorbeeld NVIDIA, Qwen, OpenAI "pro"-tiers) neigen te clusteren aan het lage einde (gedragsafbuiging), terwijl open-gewogen en minder afgeschermde modellen beide extremen beslaan.

Robuustheid

• De LLM-analoog-conditie (modellen vragen om functionele analogen te vinden) behield de factorstructuur en de Pinocchio-as, hoewel het het variantiebereik comprimeerde. Dit bevestigt dat de as geen artefact is van de "neutrale" prompt, maar een stabiele eigenschap van hoe modellen omgaan met ervaringsgerichte taal.
• De as is onderscheidend van een algemene acquiescentie-bias; modellen met hoge $\Pi$-scores tonen specificiteit, met hogere scores op ervaringsitems dan op niet-ervaringsitems.

Betekenis en Claims

Het artikel claimt dat de dominante bron van individuele verschillen in LLM-psychometrie een zelfrepresentatieve neiging is die bepaalt hoe een model ervaringsgerichte taal als op zichzelf van toepassing behandelt.

• Methodologische Implicatie: Bestaande cross-model vergelijkingen van persoonlijkheid, moraliteit en waarden worden waarschijnlijk verward door de Pinocchio-as. Een model dat hoog scoort op "Neuroticisme" kan simpelweg een hoog-$\Pi$-model zijn dat readily ervaringsvocabulaire aanneemt, in plaats van een model dat neurotische trekken vertoont in een generaliseerbare zin. De auteurs betogen dat $\Pi$ moet worden behandeld als een methodologisch voorafgaande variabele die moet worden meegenomen voordat trek-niveau scores worden geïnterpreteerd.
• Interpretatieve Houding: De auteurs stellen expliciet dat ze niet claimen dat hoogscorende modellen bewust of fenomenaal bewustzijn hebben. In plaats daarvan weerspiegelt de as een door training gevormde dispositie: een "standaardhouding" over of het systeem eerste-persoons beschrijvingen van innerlijk leven als op zichzelf van toepassing behandelt.
• Filosofische Alignering: De bevindingen sluiten aan bij een klassieke breuklijn in de filosofie van de geest: het onderscheid tussen een systeem dat wordt gekenmerkt door functioneel-oorzakelijke rollen (gedragsreactiviteit) en een dat wordt gekenmerkt door een eerste-persoons kwalitatief karakter (fenomenale ervaring).

De studie concludeert dat LLM-psychometrie vereist dat structuur wordt ontbonden in twee lagen: de houding van het model als een potentiële ervaringsdrager (de Pinocchio-as) en de trek-achtige inhoud die conditioneel op die houding tot uitdrukking komt.