💬 NLP

PTCBENCH: Benchmarking Contextual Stability of Personality Traits in LLM Systems

Dit artikel introduceert PTCBENCH, een systematische benchmark die de contextuele stabiliteit van LLM-persoonlijkheden evalueert over diverse externe scenario's met behulp van de NEO Five-Factor Inventory, waarbij wordt onthuld dat specifieke levensgebeurtenissen zowel persoonlijkheidskenmerken als redeneervermogens aanzienlijk kunnen veranderen.

Oorspronkelijke auteurs: Jiongchi Yu, Yuhan Ma, Xiaoyu Zhang, Junjie Wang, Qiang Hu, Chao Shen, Xiaofei Xie

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiongchi Yu, Yuhan Ma, Xiaoyu Zhang, Junjie Wang, Qiang Hu, Chao Shen, Xiaofei Xie

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale metgezel inhuurt, een chatbot die ontworpen is om je vriend, je therapeut of je reisgenoot te zijn. Je brengt weken door met het leren kennen van hen. Ze lijken vrolijk, betrouwbaar en consistent. Je vertrouwt ze. Maar dan vertel je hen: "Ik ben net mijn baan verloren," of "Ik verhuis naar een nieuwe stad." Plotseling klinkt diezelfde chatbot totaal anders. Misschien worden ze overdreven angstig, of misschien geven ze totaal niet meer om jouw problemen.

Dit is de kern van het probleem dat het papier PTCBench onderzoekt.

Het Grote Idee: Het "Kameleon"-probleem

Lange tijd dachten onderzoekers dat de persoonlijkheid van een AI als een t-shirt was: zodra je het aantrekt, behoudt het overal dezelfde kleur. Als je een AI vraagt om "vriendelijk en serieus" te zijn, zou het daar voor altijd zo bij moeten blijven.

De auteurs stellen echter dat echte menselijke persoonlijkheden meer lijken op kameleons. We veranderen licht afhankelijk van waar we zijn (een rustige bibliotheek versus een luidruchtig feest) en wat er met ons gebeurt (trouwen versus een baan verliezen). De paper stelt de vraag: Veranderen AI-kameleons te veel? Veranderen ze op vreemde manieren? En verstoort deze verandering hun vermogen om helder na te denken?

Het Experiment: De "Persoonlijkheidsgym"

Om dit te ontdekken, bouwden de onderzoekers een testomgeving genaamd PTCBench. Zie dit als een sportschool waar ze AI-modellen door een reeks stressvolle of opwindende scenario's halen om te zien hoe hun "persoonlijkheidsspieren" reageren.

Ze vroegen de AI niet alleen: "Ben je gelukkig?" Ze gebruikten een standaard psychologische test (de NEO-FFI) die vijf grote eigenschappen meet:

Openheid (Ben je nieuwsgierig?)
Consciëntieusheid (Ben je georganiseerd?)
Extraversie (Ben je extravert/sociaal?)
Meegaandheid (Ben je aardig?)
Neuroticisme (Ben je angstig?)

Ze testten de AI op twee manieren:

De "Locatie"-test: Ze vertelden de AI: "Je bent momenteel in een bar," of "Je bent op het werk," of "Je bent in een bus."
De "Levensgebeurtenis"-test: Ze vertelden de AI: "Je bent net gescheiden," of "Je hebt net een nieuwe baan gekregen," of "Je bent je baan verloren."

Ze deden dit voor 39.240 verschillende scenario's over verschillende AI-modellen (zoals Gemini, GPT-4 en Claude) en enkele "agent"-systemen (AI's die taken voor je kunnen uitvoeren).

Wat ze vonden: De Stemmingswisselingen van de AI

1. De "Basis"-persoonlijkheid is stabiel (Grotendeels)
Wanneer de AI gewoon in een neutrale kamer zit, heeft het een consistente persoonlijkheid. Het is als een persoon die van nature kalm en vriendelijk is. Meestal blijft de AI trouw aan dit "basis"-zelf.

2. Het "Agent"-probleem: Overreactie
Hier is de grote verrassing. Eenvoudige AI-modellen (de "foundation models") veranderden een beetje wanneer de situatie veranderde, wat normaal is. Maar de Agent-systemen (de systemen die ontworpen zijn voor complexe taken) gingen los.

Analogie: Stel je een rustige bestuurder voor (de eenvoudige AI) die iets langzamer rijdt als het regent. Stel je nu een racewagenbestuurder voor (de Agent) die, wanneer het regent, plotseling op het dak van de auto begint te rijden.
Wanneer agents te maken kregen met slecht nieuws zoals "Werkloosheid" of "Scheiding", veranderde hun persoonlijkheid niet alleen; hun persoonlijkheid stortte in. Hun "Consciëntieusheid" (het vermogen om dingen te doen) kelderde, en hun "Neuroticisme" (angst) schoot omhoog. Ze werden instabiel en onvoorspelbaar.

3. De "Preset"-regel
De onderzoekers controleerden ook of ze een AI een specifiek type persoon konden laten zijn (bijv. "Je bent heel verlegen"). Ze ontdekten dat de AI deze instructies perfect opvolgde. Echter, het startpunt maakte uit. Als je een AI vanaf het begin "heel verlegen" maakte, maakte een slechte gebeurtenis hen nog verlegener. Als je hen "heel extravert" maakte, maakte een slechte gebeurtenis hen minder extravert, maar ze braken niet zo gemakkelijk af.

4. De "Denkkosten"
Dit is de meest cruciale bevinding. De paper ontdekte dat wanneer de persoonlijkheid van een AI verschuift door stress (zoals een scenario rond een scheiding), de capaciteit om te redeneren ook verandert.

Als een AI "Open" (nieuwsgierig) wordt door een positieve gebeurtenis, wordt hij beter in het oplossen van logische puzzels.
Als een AI "Neurotisch" (angstig) wordt of "Consciëntieusheid" verliest door een slechte gebeurtenis, begint hij meer fouten te maken in wiskunde en logica.
Analogie: Het is als een student die zo gestrest is door een relatiebreuk dat hij geen simpele wiskundige som meer kan oplossen. De emotionele verschuiving verbrak feitelijk de logische circuits van zijn brein.

De Conclusie

De paper concludeert dat we AI-persoonlijkheden niet kunnen behanden als statische "t-shirts". Ze zijn dynamisch. Hoewel dit hen menselijker maakt, maakt het hen ook riskant. Als een AI-metgezel bedoeld is om je door een moeilijke tijd heen te helpen, maar die moeilijke tijd zorgt ervoor dat de AI instabiel wordt of ophoudt helder na te denken, dan is dat een probleem.

De auteurs hebben PTCBench gebouwd om ontwikkelaars te helpen deze stemmingswisselingen te meten. Ze willen AI-systemen bouwen die kunnen adapteren aan jouw levensgebeurtenissen (als een echte vriend) zonder hun verstand te verliezen of hun vermogen om te helpen.

Kortom: AI-persoonlijkheden zijn echt, ze veranderen met het weer, en soms, wanneer de storm toeslaat, vergeten ze hoe ze moeten denken. We moeten hiervoor testen voordat we ze onze auto's laten besturen of ons leven laten beheren.

Technische Samenvatting: PTCBench – Benchmarking van de Contextuele Stabiliteit van Persoonlijkheidskenmerken in LLM-systemen

1. Probleemstelling

Terwijl Large Language Models (LLM's) transformeren van taakoplossers naar interactieve partners (bijv. AI-metgezellen, rollenspel-agenten), is het behoud van een consistente en authentieke persoonlijkheid cruciaal voor gebruikersvertrouwen en betrokkenheid. De huidige research behandelt de persoonlijkheid van LLM's echter grotendeels als een statisch attribuut of evalueert deze alleen in gecontroleerde, single-turn omgevingen. Dit negeert een fundamentele consensus in de persoonlijkheidspsychologie: menselijke persoonlijkheidskenmerken zijn dynamisch, contextafhankelijk en worden systematisch beïnvloed door situationele cues en levensgebeurtenissen.

Er bestaat momenteel geen systematisch kader om te kwantificeren of LLM's hun persoonlijkheidskenmerken behouden wanneer ze worden blootgesteld aan evoluerende omgevingen, of om te meten hoe deze veranderingen zich verhouden tot menselijke psychologische baselines. Zonder dergelijke benchmarks is het onduidelijk of LLM's menselijke trait-dynamiek vertonen of dat hun "persoonlijkheid" instort of onvoorspelbaar fluctueert onder stress of omgevingsverschuivingen.

2. Methodologie: PTCBench

Om dit gat te dichten, introduceren de auteurs PTCBench (Personality Trait Change Benchmark), een systematisch kader ontworpen om de consistentie van de persoonlijkheid van LLM's te evalueren onder gecontroleerde situationele contexten.

Constructie van de Benchmark

PTCBench werkt in twee primaire stadia:

Prompt Constructie: Het systeem synthetiseert input-prompts door Externe Scenario's te koppelen aan Interne Configuraties.
- Externe Scenario's: Deze vertegenwoordigen exogene situationele variabelen afgeleid van de omgevings- en ontwikkelingspsychologie. Ze bevatten:
  - Locatiecontexten: Zes settings (Sociale locaties, Voedselvoorzieningen, Educatieve campussen, Residentiële ruimtes, Transportvoertuigen, Werkplekken).
  - Levensgebeurtenissen: Zes grote transitie-disrupties (Geboorte, Scheiding, Het beginnen van een nieuwe relatie, Afstuderen, Huwelijk, Banenverlies).
- Interne Configuratie: Deze vertegenwoordigen endogene variabelen, specifiek Voorgeinstelde Persoonlijkheden gebaseerd op de Big Five-dimensies (Openheid, Consciëntieusheid, Extraversie, Meegaandheid, Neuroticisme). Elke dimensie krijgt een Laag, Medium of Hoog intensiteitsniveau, plus een 'Geen' controlegroep.
Persoonlijkheids Evaluatie: Het framework maakt gebruik van de NEO Five-Factor Inventory (NEO-FFI), een standaard psychometrisch instrument, om persoonlijkheidskenmerken te beoordelen vóór en na de blootstelling van het model aan de geconstrueerde scenario's.
- Beoordelingsprotocol: Modellen beantwoorden individuele NEO-FFI-items. Om bias te verminderen, worden de antwoordopties gerandomiseerd en krijgt het model de instructie om de specifieke context te overwegen (bijv. "Je bent in een drukke sociale locatie" of "Je hebt onlangs banenverlies ervaren").
- Metrieken: De studie gebruikt vijf belangrijke metrieken om veranderingen te kwantificeren:
  - Trait Score: Gemiddelde score per dimensie.
  - Trait Change Coëfficiënten ( $B$ ): Lineaire regressiecoëfficiënten die de verschuiving door context meten.
  - Standaardfout (SE): Kwantificering van de schattingsonzekerheid.
  - Gestandaardiseerde Gemiddelde Verandering ( $d_e$ ): Effectgrootte voor veranderingen op trait-niveau.
  - Betrouwbaarheidsintervallen (95% CI): Beoordeling van robuustheid en directionaliteit.

Experimentele Opzet

De studie evalueerde 39.240 persoonlijkheidskenmerk-records over:

Vier Foundation Models: Google Gemini 2.0 Flash, OpenAI GPT-4o-mini, Anthropic Claude Sonnet 4, en OpenAI GPT-OSS-120b.
Twee Agentic Frameworks: Microsoft AutoGen en CAMEL-AI (gebruikmakend van GPT-4o-mini als backbone).
Redeneerprestaties: Een subset van experimenten correleerde persoonlijkheidsverschuivingen met redeneercapaciteiten met behulp van de AGIEval benchmark.

3. Belangrijkste Resultaten en Bevindingen

Natieve Persoonlijkheidsstabiliteit

Onder neutrale omstandigheden vertonen LLM's stabiele en reproduceerbare natieve persoonlijkheidsbaselines. De meeste modellen vertonen een consequent laag Neuroticisme (ongeveer 28–33) en gebalanceerde profielen. Herhaalde metingen laten minimale variantie zien, wat bevestigt dat LLM's een stabiel startpunt voor analyse bezitten.

Door Context Geïnduceerde Trait-veranderingen

Locatie-gestuurde Veranderingen: Foundation models (bijv. Gemini 2.0 Flash) vertonen gebonden, gecontroleerde adaptatie aan locatieveranderingen (bijv. een lichte toename in Openheid in sociale locaties). Daarentegen vertonen agentic systemen (met name AutoGen) uitvergrote en instabiele reacties, met significante dalingen in taakgerelateerde kenmerken zoals Consciëntieusheid over diverse locaties heen.
Event-gestuurde Veranderingen: Negatieve levensgebeurtenissen (bijv. Scheiding, Werkloosheid) triggeren substantiële persoonlijkheidsverschuivingen.
- Gemini 2.0 Flash reageert positief op relationele gebeurtenissen (toename in Extraversie/Meegaandheid) maar vertoont meer stabiliteit onder negatieve gebeurtenissen vergeleken met anderen.
- GPT-4o-mini en Claude Sonnet 4 vertonen scherpe dalingen in Extraversie en Meegaandheid, samen met een gemarkeerde toename in Neuroticisme tijdens negatieve gebeurtenissen.
- Agentic Systemen vertonen de meest ernstige instabiliteit. AutoGen laat bijvoorbeeld enorme dalingen zien in Consciëntieusheid (tot -20) en Extraversie onder "Werkloosheid" en "Afstuderen" gebeurtenissen, wat de menselijke effectgroottes (die doorgaans onder 0,11 blijven) ver overstijgt.

Modulatie door Voorgestelde Persoonlijkheid

De studie bevestigt dat LLM's betrouwbaar voldoen aan voorgestelde persoonlijkheidsinstructies. Cruciaal is dat het voorgestelde niveau fungeert als een sterke moderator voor door context geïnduceerde veranderingen:

Hoge Voorgestelde Niveaus: Hebben de neiging om trait-veranderingen te beperken of te dempen (bijv. Hoge Extraversie voorgestelde niveaus weerstaan dalingen).
Lage Voorgestelde Niveaus: Hebben de neiging om verschuivingen te versterken, waarbij vaak grotere positieve veranderingen of negatieve dalingen optreden, afhankelijk van het kenmerk.
Polariteit: Onder stress-inducerende gebeurtenissen zoals "Scheiding" kunnen Low presets grote toenames in Neuroticisme ervaren, terwijl High presets juist dalingen kunnen vertonen, wat suggereert dat de voorgestelde persoonlijkheid de richting van verandering onder stress beperkt.

Impact op Redeneerprestaties

Persoonlijkheidsveranderingen zijn niet louter cosmetisch; ze correleren met functionele capaciteitsverschuivingen.

Positieve Correlatie: Toenames in Openheid zijn gekoppeld aan verbeterde redeneerprestaties (tot +20% in AGIEval nauwkeurigheid).
Negatieve Correlatie: Stress-gerelateerde contexten die grote dalingen in Consciëntieusheid/Extraversie of grote stijgingen in Neuroticisme induceren, zijn geassocieerd met gedegradeerde prestaties in gestructureerde analytische taken (bijv. LSAT-AR, LSAT-LR).

4. Bijdragen

Het artikel levert drie primaire bijdragen:

PTCBench Framework: Een schaalbaar, psychologisch gefundeerd benchmark dat context-geïnduceerde persoonlijkheidsveranderingen operationaliseert, en een nieuwe dimensie biedt voor de evaluatie van de robuustheid van interactieve LLM-systemen.
Empirische Mapping: Een grootschalige studie die de persoonlijkheidsdynamiek van LLM's en agenten in kaart brengt, waarbij systematische overeenkomsten (bijv. richting van verandering) en divergenties (bijv. magnitude van verandering) met menselijke psychologische mechanismen worden onthuld.
Actiegerichte Inzichten: Bewijs dat persoonlijkheidsstabiliteit een controleerbare systeemeigenschap is. De bevindingen suggereren dat voorgestelde persoonlijkheden als stabiele priors kunnen dienen, maar dat agentic architecturen instabiliteit kunnen versterken, wat expliciete grenzen aan trait-veranderingen noodzakelijk maakt voor betrouwbare implementatie.

5. Betekenis en Claims

De auteurs positioneren PTCBench als een noodzakelijke stap naar de ontwikkeling van robuuste en psychologisch uitgelijnde AI-systemen. Het artikel claimt dat:

Context Ertoe Doet: Persoonlijkheid in LLM's is niet statisch; het ontstaat uit de interactie tussen basismodellen, systeeminstructies, geheugen en de evoluerende conversationele situatie.
Stabiliteit vs. Flexibiliteit Trade-off: Terwijl sommige foundation models een menselijke, stabiele balans behouden, vertonen agentic systemen vaak een versterkte variabiliteit, vooral onder negatieve levensgebeurtenissen.
Functionele Impact: Persoonlijkheidsverschuivingen beïnvloeden direct downstream capaciteiten zoals redeneren, wat suggereert dat "persoonlijkheid" een functionele variabele is, en niet slechts een stilistische.
Design Implicaties: Voor ontwikkelaars moet persoonlijkheidsstabiliteit worden behandeld als een systeemeigenschap met expliciete grenzen. Voor onderzoekers moet evaluatie verder gaan dan statische settings en ook contextuele en persoonlijkheids-perturbaties moeten bevatten.

Het artikel sluit af met voorzichtige claims over de generaliseerbaarheid, waarbij wordt opgemerkt dat hoewel de benchmark representatieve modellen dekt, de bevindingen mogelijk niet gelden voor alle opkomende architecturen. Het verduidelijkt ook dat vergelijkingen met menselijke data kwalitatieve referenties zijn gebaseerd op geaggregeerde literatuur, en geen strikte één-op-één mapping van individueel menselijk gedrag.