💬 NLP

LEX-EC: A Lexical Evidence-Channel Audit Framework for Zero-Shot LLM Personality Classification in Black-Box Settings

Dit artikel introduceert LEX-EC, een black-box auditframework dat prevalentiediagnostiek, lexicale ablatie en promptgevoeligheidsanalyse combineert om het onderscheid te maken tussen effecten van de marginale distributie en genuuine met eigenschappen geassocieerde signalen in zero-shot persoonlijkheidsclassificatie door grote taalmodellen over diverse tekstgenres heen.

Oorspronkelijke auteurs: Brittany Harbison, Ashok K. Goel

Gepubliceerd 2026-07-28

📖 3 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Brittany Harbison, Ashok K. Goel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die probeert de persoonlijkheid van iemand te achterhalen door slechts één briefje te lezen dat diegene heeft geschreven. Je zou kunnen raden dat iemand "extravert" is omdat hij uitroeptekens gebruikte, of "serieus" omdat hij zijn functietitel vermeldde. Dit is de wereld van Large Language Models (LLM's): superintelligente computerprogramma's die tekst lezen en proberen menselijke eigenschappen te raden, zoals of iemand vriendelijk, angstig of creatief is. Wetenschappers noemen deze gissingen "Big Five"-persoonlijkheidslabels. Maar hier zit de crux: alleen omdat een computer zegt: "Deze persoon is absoluut extravert," betekent niet dat het de persoon ook echt kent. Het kan simpelweg aan het gissen zijn op basis van de lengte van de tekst, het onderwerp (zoals praten over feestjes), of zelfs de leeftijd en het geslacht van de schrijver. De grote vraag voor onderzoekers is: Leest deze AI-detective werkelijk de persoon, of ziet het alleen makkelijke aanwijzingen en maakt het gelukkige gissingen?

Dit artikel introduceert een nieuwe detectietool genaamd LEX-EC om dit mysterie op te lossen. Denk aan LEX-EC als een "lexicale bewijskanaalaudit". In gewone taal is het een manier om te testen of een AI werkelijk persoonlijkheid begrijpt of gewoon vals speelt. De onderzoekers namen drie verschillende soorten teksten — lange, vrij vloeiende essays, korte introducties van graduate studenten en piepkleine Facebook-statusupdates — en vroegen diverse AI-modellen om de persoonlijkheid van de schrijvers te raden. Daarna speelden ze een spelletje "verstoppertje zoeken" met de woorden. Ze gebruikten een digitale gum om alle specifieke onderwerpen (zoals "Ik hou van wandelen" of "Ik woon in Atlanta") en demografische details (zoals "Ik ben 22 jaar oud") weg te wissen, waardoor alleen het "skelet" van de taal overbleef: de kleine verbindingswoorden, emotionele woorden en stijlmakers. Vervolgens vroegen ze de AI om de persoonlijkheid opnieuw te raden, met behulp van alleen deze gestripte tekst.

De resultaten waren een mix van verrassingen en bevestigingen. Wanneer de AI naar lange essays keek, kon het nog steeds een zwak signaal van persoonlijkheid vinden nadat de specifieke onderwerpen waren gewist, wat suggereert dat het bepaalde diepere stijlgewoonten oppikte. Echter, wanneer de AI naar korte Facebook-statusupdates keek (die gemiddeld slechts ongeveer 17 woorden bevatten), verdwenen de aanwijzingen voor persoonlijkheid bijna volledig zodra de onderwerpen werden verwijderd. Dit suggereat dat de AI bij zeer korte teksten mogelijk volledig vertrouwde op de specifieke zaken waar mensen over praatten, in plaats van op wie ze werkelijk zijn.

De studie testte ook hoe de AI haar gissingen "verklaart". Wanneer de onderzoekers de AI vertelden om zich te concentreren op hoe de persoon schreef (hun stijl en gevoelens) in plaats van op wat ze schreven, veranderden de verklaringen van de AI om bij de nieuwe instructies te passen. De AI werd echter niet noodzakelijkerwijs nauwkeuriger; het veranderde alleen zijn verhaal. De auteurs ontdekten dat het vermogen van de AI om persoonlijkheid te raden geen enkele superkracht was; het hing sterk af van hoeveel tekst er beschikbaar was en wat voor soort tekst het was. Kortom, het artikel suggereert dat hoewel AI persoonlijkheidspatronen in lange, rijke teksten kan herkennen, het enorm moeite heeft met korte fragmenten en vaak het onderwerp aanziet voor de persoon. Dit betekent dat we zeer voorzichtig moeten zijn met het gebruik van deze tools om mensen te beoordelen op basis van slechts een paar zinnen, aangezien de AI misschien spoken in de machine ziet in plaats van de echte mens achter de tekst.

Technische Samenvatting: LEX-EC Framework voor Zero-Shot LLM Persoonlijkheidsclassificatie

Probleemstelling

Large Language Models (LLM's) kunnen persoonlijkheidslabels toekennen (specifiek de Big Five Inventory-kenmerken) aan auteurs op basis van tekst, maar de validiteit en interpreteerbaarheid van deze inferenties blijven openstaande problemen. Een plausibel label garandeert geen geldig label; modellen kunnen vertrouwen op labelprevalentie, demografische priors of topische inhoudelijke shortcuts in plaats van op genuïne kenmerk-signalen. Dit probleem wordt verergerd in black-box settings waar standaard interpreteerbaarheidsmethoden (die toegang vereisen tot gewichten, gradiënten of activaties) niet toepasbaar zijn. Bovendien heeft eerder werk vaak meerdere teksten per auteur geaggregeerd, waardoor de prestaties van zero-shot inferentie onder beperkte lengte of single-text condities slecht gekarakteriseerd blijven.

Methodologie: Het LEX-EC Framework

Om deze hiaten aan te pakken, introduceren de auteurs LEX-EC (Lexical Evidence-Channel Audit), een herbruikbaar black-box audit framework ontworpen om effecten van de marginale distributie te onderscheiden van trait-geassocieerde signalen die herstelbaar zijn onder beperkte bewijslast. Het framework werkt via vijf geïntegreerde stadia:

Prevalentie en Overeenkomst Diagnostiek: Evalueert classificatieprevalentie, item-niveau associatie en kans-gecorrigeerde overeenkomst (Cohen's $\kappa$ ) om echt signaal te scheiden van voorspellings-prevalentiebias.
Gecontroleerde Lexicale Ablatie: Een kerncomponent waarbij topische en demografische inhoud wordt gemaskeerd. Het framework behoudt een "geconserveerde lexicale laag" bestaande uit:
- Functiewoorden (POS-klassen).
- Affectieve termen (afkomstig van Empath en NRC-EmoLex).
- Cognitieve stijl-vocabulaire.
- Structurele elementen (interpunctie, witruimte).
- Getallen worden gemaskeerd om codering van leeftijd of aantallen te voorkomen.
  Dit test of associaties standhouden wanneer de inhoud-dragende vocabulaire wordt verwijderd.
Prompt Sensitiviteitsanalyse: Vergelijkt modeloutputs onder verschillende prompt-framings (Basic, Basic+Explanation, en Linguistic+Explanation) om te beoordelen hoe instructie-verschuivingen de zelf-uitleg en voorspellingen beïnvloeden.
Cross-Condition Evaluatie: Het framework evalueert gezamenlijk de classificatieprestaties over tekst-lengte gradiënten (micro, short, en middle-length), verschillende genres en meerdere model-snapshots.
Self-Explanation Audit: Codeert handmatig de door het model gegenereerde rechtvaardigingen om te bepalen of linguïstische prompting de ratio's verschuift naar stilistische/affectieve bewijslast versus demografische/topische inhoud.

Experimentele Opzet

Datasets: Drie verschillende genres werden gebruikt om de tekst-lengte gradiënten te bestrijken:
- Facebook Statusen: ~17 tokens (micro-tekst), gebalanceerd voor trait-distributie.
- Introducties van Afgestudeerden: ~89 tokens (short-text), bevattende demografische/biografische details.
- Pennebaker-King Essays: ~672 tokens (middle-length), stream-of-consciousness schrijven.
Modellen: Vijf gesloten, propriëtaire LLM's werden geëvalueerd (GPT-4o-mini, GPT-4o, o3-mini, GPT-5.4-mini, en Claude Haiku 4.5) om te waarborgen dat bevindingen geen artefacten zijn van een enkele model-snapshot.
Taak: Zero-shot voorspelling van binaire hoog/laag labels voor de Big Five kenmerken (Openness, Conscientiousness, Extraversion, Agreeableness, Neuroticism).

Belangrijkste Resultaten

1. Tekstlengte en Genre Afhankelijkheid

Essays (Long-form): Produceerden de breedste associaties over alle vijf de kenmerken. Echter, zelfs in deze conditie bleef de kans-gecorrigeerde overeenkomst ( $\kappa$ ) laag (bijv. $\kappa \approx 0.12-0.22$ ), wat aangeeft dat statistische detecteerbaarheid niet vertaalde naar betrouwbare individuele classificatie.
Student Introducties (Short-form): Toonden een nauwer patroon, waarbij Extraversion het enige kenmerk was met statistisch detecteerbare pre-ablatie associaties in een meerderheid van de condities.
Facebook Statusen (Micro-text): Leverden weinig stabiel bewijs. Zelfs in een trait-gebalanceerde steekproef waren de meeste associaties zwak of niet-bestaand, wat suggereert dat er een ondergrens is voor de benodigde inhoud of lengte voor betrouwbare inferentie.

2. Impact van Lexicale Ablatie (Masking)

Masking van topische en demografische inhoud onthulde heterogene afhankelijkheden van lexicaal bewijs:

Extraversion: In student-introducties verzwakte de associatie significant na masking (bijv. $\rho$ daalde van 0.226 naar 0.062 in één conditie), wat wijst op een afhankelijkheid van expliciete lexicale cues die vaak voorkomen in zelfpresentatie.
Conscientiousness: In het essay-corpus vertoonde dit kenmerk de grootste attenuatie na masking, wat duidt op een sterke afhankelijkheid van inhoud-dragende vocabulaire.
Openness en Agreeableness: Deze kenmerken bleven relatief stabiel in de essay-conditie na masking, wat suggereert dat hun signalen herstelbaar kunnen zijn vanuit functiewoorden, affectieve termen of cognitieve stijl-vocabulaire.
Facebook: Pre-ablatie associaties verdwenen grotendeels na masking, consistent met een afhankelijkheid van schaarse lexicale bewijslast die werd verwijderd.

3. Prompt Sensitiviteit

Self-Explanations: Linguïstische prompting slaagde erin de distributie van de zelf-uitleg van het model te verschuiven. Onder een linguïstische prompt nam de zelf-uitleg die linguïstische/affectieve bewijslast aanhaalde toe (van 50% naar 67.7%), terwijl die met demografische of topische redenering afnam.
Predictive Performance: Hoewel de inhoud van de uitleg verschoof, toonde de voorspellende prestatie (correlatie en overeenkomst) geen consistent voordeel voor de linguïstische prompt boven de basic prompt over de verschillende modellen heen.
Faithfulness: De studie merkt op dat vloeiende zelf-uitleg mogelijk niet getrouw reflecteert aan welke berekening de voorspelling ten grondslag ligt, maar slechts dient als geaggregeerde gedragsoutputs.

Betekenis en Claims

Het artikel claimt dat LEX-EC een nieuwe toepassing biedt van lexicale methoden op black-box interpreteerbaarheid in persoonlijkheidslabeling. De primaire bijdragen zijn:

Differentiatie van Signaalbronnen: Het framework onderscheidt succesvol tussen signalen afgeleid van brede topische inhoud versus signalen die herstelbaar zijn vanuit beperkte psycholinguïstische kanalen (functiewoorden, affect, cognitie).
Bewijs van Heterogeniteit: Het demonstreert dat "persoonlijkheidsinferentie" geen unitaire capaciteit is; evidentieprofielen variëren significant per genre, tekstlengte en specifiek kenmerk.
Audit Nut: Door prevalentie, item-niveau overeenkomst, persistentie van de lexicale kanaal en de inhoud van de uitleg gezamenlijk te evalueren, onthult LEX-EC informatie die onzichtbaar is voor conventionele statistische maten alleen.
Praktische Implicaties: De resultaten suggereren dat systemen voor persoonlijkheidslabeling met voorzichtigheid gebruikt moeten worden, met name voor korte teksten of single-status inputs, omdat ze kunnen leunen op demografische shortcuts of topische cues in plaats van stabiele persoonlijkheidssignalen. Het framework beoogt causale hypothesen te verfijnen en beslissingen te informeren over de condities waaronder dergelijke systemen ingezet kunnen worden.

De auteurs blijven bescheiden in hun claims en merken op dat de studie niet bewijst op welke specifieke wijze de modellen "denken", maar eerder de gedragsoutputs en de condities karakteriseert waaronder specifieke lexicale bewijskanalen ofwel ondersteuning bieden of falen in het ondersteunen van trait-associaties.