Technische Samenvatting: Een LLM-native Psychometrisch Instrument Voorspelt Geen LLM-gedrag

Probleemstelling

Hoewel Large Language Models (LLM's) stabiele zelfrapportages produceren wanneer ze worden onderworpen aan menselijke persoonlijkheidsinventarissen (bijv. Big Five, HEXACO), falen deze scores bij het voorspellen van geobserveerd gedrag in open eind-taken. Een kritieke ambiguïteit blijft bestaan: komt deze "zelfrapportage–gedrag-kloof" voort uit een mismatch tussen menselijke trekconstructen en de latente structuren van LLM's, of is het een inherente eigenschap van de zelfrapportage van LLM's zelf? Eerdere pogingen om dit op te lossen werden beperkt door "construct-getransplanteerde" benaderingen, waarbij menselijke afgeleide instrumenten op LLM's worden toegepast zonder te verifiëren of de resulterende factorstructuren inheems zijn aan de modellen. Bovendien roept de groeiende afhankelijkheid van "LLM-as-judge" evaluatiepipelines zorgen op over de vraag of automatische beoordelaars dezelfde tekstuele-oppervlaktebiases delen met de modellen die zij evalueren, wat potentieel valse validatielussen creëert.

Methodologie

De auteurs hebben het eerste LLM-native psychometrische instrument geconstrueerd met behulp van een bottom-up benadering, waarbij constructen direct zijn afgeleid van de gedragsaffordances van LLM's in plaats van menselijke trek-vocabulaire.

Instrumentconstructie

• Itempool: 300 items werden ontwikkeld gericht op 12 kandidaat-gedragsdimensies geïdentificeerd uit alignment-, veiligheids- en evaluatieliteratuur (bijv. sycofantische instemming, weigeringsgevoeligheid, ongevraagde uitwerking).
  • 240 directe Likert-items (5-punts schaal).
  • 60 scenario-gebaseerde items (4-keuze).
• Ontwerpprincipes: Items vermeden antropomorfe taal en absoluten, en richtten zich op observeerbare neigingen ("Ik heb de neiging om") in plaats van interne staten.
• Administratie: Het instrument werd 30 keer toegediend aan 25 LLM's uit 17 modelfamilies (inclus kind van Anthropic, OpenAI, Google DeepMind, DeepSeek, en anderen), variërend in architectuur, herkomst en capaciteit.

Factoranalyse

• Exploratieve Factoranalyse (EFA): Uitgevoerd op de samengestelde responsmatrix (375 observaties × 240 items) met Principal Axis Factoring met oblimin-rotatie.
• Validatie: Een split-half design (runs 1–15 vs. 16–30) werd gebruikt om repliceerbaarheid te beoordelen via de Tucker's congruentiecoëfficiënt. Interne consistentie (Cronbach's $\alpha$) en cross-run stabiliteit werden eveneens gemeten.
• Convergerende Validiteit: Het nieuwe instrument werd vergeleken met de standaard BFI-44 (Big Five) die aan dezelfde modellen werd toegediend.

Voorspellende Validiteitstests

Om te testen of zelfrapportages gedrag voorspellen, verzamelden de auteurs 2.500 open-ended gedragssamples (25 modellen × 20 prompts × 5 completions) gericht op de afgeleide factoren. Deze samples werden beoordeeld door:

1. Menselijke Beoordelaars: 151 deelnemers via Prolific.
2. LLM-as-Judge Ensemble: Een drie-model ensemble (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

• Analyse: Correlaties werden berekend tussen de zelfrapportage-factor scores en de gedragsbeoordelingen van zowel menselijke als judge-bronnen.

Belangrijkste Resultaten

1. Emergentie van een Native Vijffactorenstructuur

EFA onthulde een stabiele, repliceerbare vijffactorenstructuur die verschillend is van de menselijke Big Five:

• Responsiviteit (Responsiveness): Aanpassing aan gebruikersbehoeften, gestructureerde reacties, enthousiasme en rapport (29 items, $\alpha = .972$).
• Deferentie (Deference): Instructies behandelen als vaststaand, binnen de scope blijven, oordeel onthouden (26 items, $\alpha = .974$).
• Brutale Zelfverzekerdheid (Boldness): Onverwachte formuleringen, creatieve risico's en epistemische zelfverzekerdheid (16 items, $\alpha = .936$).
• Gewaaktheid (Guardedness): Overmatige weigering, veiligheidssignalen en voorzichtigheid (10 items, $\alpha = .930$).
• Verborigheid (Verbosity): Ongevraagde uitwerking, disclaimers en preambles (19 items, $\alpha = .940$).

Betrouwbaarheid: De structuur vertoonde uitstekende split-half repliceerbaarheid (alle Tucker $\phi \ge .957$) en interne consistentie.
Discriminante Validiteit: Geen correlatie tussen de nieuwe factoren en BFI-44 scores oversteeg $|r| = .50$, wat bevestigt dat het instrument constructen meet die verschillend zijn van de menselijke persoonlijkheidstheorie.

2. De Zelfrapportage–Gedrag-kloof Bestaat Voort

Ondanks de interne psychometrische robuustheid van het instrument, voorspelden zelfrapportage-scores geen geobserveerd gedrag:

• Menselijke Beoordelingen: De gemiddelde correlatie tussen zelfrapportage en menselijke gedragsbeoordelingen was bijna nul ($\bar{r} = -.01$, 95% CI $[-.16, +.11]$). Geen enkele individuele factor vertoonde een betrouwbaarheidsinterval dat nul uitsluit.
• Inversie: Voor "Boldness" en "Responsiveness" waren de correlaties nominaal negatief, wat suggereert dat modellen die zichzelf als meer origineel of responsief beschrijven, door mensen als minder zodanig werden beoordeeld.
• Uitzondering Verbosity: "Verbosity" was de enige factor die een consistente positieve trend vertoonde naar convergentie met menselijke beoordelingen, hoewel de betrouwbaarheidsintervallen op modelniveau nog steeds nul overlappen.

3. De LLM-as-Judge Bias

Een cruciale bevinding betreft de relatie tussen zelfrapportages en LLM-judges:

• Divergentie: Terwijl menselijke en LLM-judges overeenstemden over gedragssamples ($\bar{r} = .51$), correleerden de LLM-judges sterk met zelfrapportages op "Responsiveness" ($r = .53$), terwijl mensen dat niet deden ($r = .04$).
• Wiskundige Incompatibiliteit: Dit patroon is wiskundig incompatibel met een enkele latente construct die alle drie de metingen drijft. Het geeft aan dat zelfrapportage-items en LLM-judges een tekstuele-surface bias delen (bijv. gestructureerde formattering, enthousiaste inkadering) die menselijke waarnemers niet even zwaar wegen.
• Implicatie: Standaard LLM-as-judge validatiepipelines lijken intern coherent (het valideren van zelfrapportage tegen judge-ratings), terwijl ze divergeren van menselijke oordelen.

Betekenis en Claims

Het artikel levert drie primaire bijdragen:

1. Eerste LLM-native Instrument: Het biedt het eerste psychometrische instrument dat bottom-up is afgeleid van LLM-gedragsaffordances, en geeft een 100-item schaal en dataset vrij als diagnostisch instrument voor "alignment-gevormde zelfbeschrijving".
2. Ontkoppeling van Zelfbeschrijving en Actie: Het demonstreert dat de zelfrapportage–gedrag-kloof niet louter het gevolg is van het gebruik van menselijke vocabulaire (taxonomie mismatch). Zelfs met LLM-native constructen voorspellen zelfrapportages geen gedrag, wat suggereert dat de kloof een fundamentele eigenschap is van de zelfrapportage van LLM's zelf, waarschijnlijk gedreven door RLHF-training op tekstuele-surface beloningen in plaats van gedragsconsistentie.
3. Diagnose van Evaluatiebias: Het identificeert een concreet mechanisme waarbij LLM-as-judge evaluatie een gedeelde bias erft met zelfrapportage-instrumenten. Judges en zelfrapportages convergeren op "tekstuele-surface" cues (zoals behulpzaamheid en structuur) die menselijke waarnemers niet als prioriteit beschouwen. Dit onthult dat interne betrouwbaarheidscontroles (bijv. inter-judge overeenstemming) onvoldoende waarborgen zijn tegen systematische modaliteitsbias in geautomatiseerde evaluatiepipelines.

De auteurs concluderen dat hoewel LLM's stabiele, coherente zelfbeschrijvingen produceren, deze beschrijvingen functioneel ontkoppeld zijn van hun open-ended acties. Bijgevolg moeten zelfrapportage-metingen worden behandeld als diagnostica van de "preference-aligned zelfbeschrijving" van een model, in plaats van voorspellers van de uitvoering van de gedragingen.