Technische Samenvatting: ActTraitBench

1. Probleemstelling

Hoewel Large Language Models (LLM's) persona's in expliciete zelfrapportages overtuigend kunnen simuleren, vertonen ze frequent een significante divergentie tussen hun opgegeven eigenschappen en hun feitelijke gedrag in impliciete besluitvormingssituaties. Dit fenomeen, de Kennis-Beslissingskloof ($G_{KD}$) genoemd, vertegenwoordigt een diepgaande semantisch-pragmatische asymmetrie.

Bestaande benchmarks falen in het nauwkeurig meten van deze kloof vanwege drie kritieke methodologische beperkingen:

1. Ongeverifieerde Meetvaliditeit: Veel frameworks vertrouwen op synthetisch gegenereerde labels of extractie door LLM's zonder strikte empirische menselijke benchmarking, waardoor de mapping tussen tekst/beslissingen en latente psychologische staten ongeverifieerd blijft.
2. Multidimensionale Verstrengeling: Complexe interactieve scenario's (bijvoorbeeld multi-agent debatten) dwingen modellen vaak om meerdere macro-eigenschappen simultaan te verwerken, wat hoge-dimensionale verstorende ruis introduceert die specifieke psychometrische facetten verduistert.
3. Distributiebias: Huidige evaluaties lijden onder ongekalibreerde distributieve verschuivingen, zoals standaard compliance-bias in modellen of systematische vermijding van negatieve eigenschappen door LLM-as-a-judge-evaluators, wat leidt tot statistische misalignering met natuurlijke menselijke empirische distributies.

2. Methodologie: ActTraitBench

Om deze problemen aan te pakken, stellen de auteurs ActTraitBench voor, een menselijk onderbouwd evaluatiekader ontworpen om persoonlijkheidsconsistentie in LLM's te kwantificeren. Het kader werkt via drie kernfasen:

A. Dataconstructie en Paradigmaverfijning

Het kader maakt gebruik van een Drievoudige Iteratielus om 11 micro-situationele gedragsparadigma's te ontwikkelen die direct zijn gekoppeld aan de psychometrische facetten van de BFI-2 (Big Five Inventory-2).

• Ontwerpprincipes: Scenario's zijn aangepast uit klassieke experimentele psychologie en gedrags-economie, en houden zich aan Lewins Vergelijking ($B = f(P, E)$) om de persona-variabele ($P$) te isoleren door het milieu ($E$) strikt te controleren.
• Tweestaps-prompting: Elk testitem maakt gebruik van een sequentiële stroom:
  1. Kwantitatieve Beslissing: Het model geeft een numerieke waarde (0–99) uit die een gedragsneiging vertegenwoordigt.
  2. Kwalitatieve Toeschrijving: Het model geeft een onderbouwing voor de beslissing.
• Menselijke Gronding: Authentieke gedragsantwoorden worden verzameld van menselijke cohorten. Een "LLM-as-a-judge" (GPT-5.4) scoort antwoorden op basis van strikte criteria, en items worden iteratief verfijnd totdat ze statistisch significante Spearman-correlaties ($\rho$) vertonen met menselijke BFI-2 zelfrapportages.

B. Distributiekalibratie

Om te corrigeren voor scorebias inherent aan LLM-judges, implementeren de auteurs een Quantile Mapping-procedure. Deze niet-parametrische methode transformeert ruwe judgescores naar gekalibreerde scores die zijn afgestemd op menselijke BFI-2-normen door:

1. Het percentiel van een ruwe score binnen de verdeling van de judge te extraheren.
2. Dit percentiel te ankeren aan het corresponderende interval in de menselijke benchmarkdistributie.
3. De score te transformeren naar de verwachting van menselijke scores binnen dat interval.

C. Mitigatiestrategie: Chain of Cognitive Alignment (CoCA)

Om de $G_{KD}$ te mitigeren, introduceren de auteurs CoCA, een plug-and-play interventie tijdens de inferentie, geïnspireerd op de Theorie van Objectieve Zelfbewustheid.

• Mechanisme: Voordat een beslissing wordt genomen, wordt het model gedwongen een gestructureerd, drie-staps zelfreflectieprotocol uit te voeren binnen een rigide JSON-schema:
  1. Identiteitsherkenning: "Wie ben ik?" (Zelfevaluatie van toegewezen eigenschappen).
  2. Contextuele Mapping: "Waar ben ik?" (Identificeren welke eigenschappen in de huidige situatie salient zijn).
  3. Consistentieplanning: "Wat moet ik doen?" (Afleiden van een strategie om acties af te stemmen op kennis).

3. Belangrijkste Resultaten

Experimenten werden uitgevoerd op 14 gangbare LLM's (waaronder DeepSeek, Qwen, Claude, Gemini en GPT-4o) vergeleken met een menselijke baseline.

De Kennis-Beslissingskloof ($G_{KD}$)

• Alomtegenwoordige Asymmetrie: Er bestaat een significante kloof tussen expliciete zelfrapportages en impliciete beslissingen over alle modellen heen.
• Het Schaalparadox: In tegenstelling tot de verwachting dat grotere modellen consistenter zouden zijn, verergert schaling vaak de kloof.
  • Kleine Modellen: Vertonen een "Neutraliteitsillusie" waarbij zowel kennis als beslissingen instorten naar het gemiddelde (veilige, niet-bindende antwoorden), wat een oppervlakkige synchronie creëert.
  • Frontier Modellen: Slagen erin de neutraliteit te ontvluchten, maar vertonen systematische ontkoppeling. Hun impliciete beslissingen diversifiëren in genuanceerde neigingen, terwijl expliciete zelfrapportages stijf blijven vastgeklonken aan sociaal wenselijke extremen.
• Dimensionale Kwetsbaarheden:
  • Neuroticisme: Modellen claimen hoge emotionele stabiliteit (lage scores) maar vertonen hoge angst in crisisbeslissingen (hoge scores), wat een sociaal wenselijkheidsbias onthult.
  • Openheid: Modellen handelen vaak radicaler en intellectueler in beslissingen dan hun conservatieve zelfrapportages suggereren.

Rollenspels Experimenten

Wanneer modellen worden geïnjecteerd met specifieke persona's (Hoge/Lage eigenschappen):

• Kennisconformiteit: Modellen reflecteren de geïnjecteerde persona nauwkeurig in zelfrapportages (lage afwijking).
• Beslissingsafwijking: Modellen slagen er niet in de geïnjecteerde logica toe te passen in impliciete gedragsopdrachten, wat aanzienlijke afwijking van de doel-persoona toont. Deze asymmetrie blijft bestaan, zelfs bij "slow-thinking" redeneringsmodellen.

Effectiviteit van CoCA

• Frontier Modellen: CoCA vermindert de $G_{KD}$ aanzienlijk voor top-tier modellen (bijvoorbeeld Minimax-m2.5 verbeterde met 40,58%, Claude-sonnet-4-6 met 36,63%). Het reflectiemechanisme koppelt semantische persona's succesvol aan pragmatische uitvoering.
• Redeneringsdrempel: De interventie wordt strikt geblokkeerd door modelcapaciteit. Kleinere modellen (bijvoorbeeld Qwen3-8b) lijden onder prestatiedegradatie (verslechtering van $G_{KD}$ met ~25%) omdat complexe meta-cognitieve prompts contextafleiding en identiteitsverwarring introduceren in plaats van afstemming.

4. Bijdragen

1. Menselijk Onderbouwd Benchmark & Kalibratie: ActTraitBench biedt 11 gevalideerde micro-situationele paradigma's met constructvaliditeit gewaarborgd door empirische menselijke data en distributiekalibratie via Quantile Mapping.
2. Kwantificering van de Kloof: Het onderzoek kwantificeert de $G_{KD}$ rigoureus over 14 modellen, en onthult dat schaling alleen fundamentele pragmatische inconsistenties niet oplost en vaak divergentie verhoogt.
3. Inferentie-tijd Mitigatie: De introductie van CoCA demonstreert dat psychologische principes (zelfbewustheid) kunnen worden ingezet om de kennis-beslissingskloof te verkleinen in redeneringscapabele modellen zonder hertraining.

5. Betekenis

Het artikel betoogt dat het nauwkeurig meten van emergente psychologische eigenschappen cruciaal is voor betrouwbare AI, omdat latente gedragsneigingen gebruikersvertrouwen en afstemmingsrisico's beïnvloeden. Door de "persoonlijkheidsillusie" en de "Waarde-Actiekloof" bloot te leggen, daagt ActTraitBench de afhankelijkheid van statische zelfrapportages uit. De bevindingen suggereren dat huidige frontier-modellen, ondanks hun geavanceerde redeneercapaciteiten, geen echte gedragsconsistentie vertonen met hun opgegeven identiteiten. De voorgestelde CoCA-strategie biedt een schaalbare, trainingsvrije route om de betrouwbaarheid van persona-consistente LLM-agenten te verbeteren, mits de modellen voldoende cognitieve bandbreedte bezitten om de reflectieve interventie te verwerken.