Technische Samenvatting: Evaluatie-Drift bij Persoonlijkheidsinductie in LLM's

Probleemstelling

Het artikel onderzoekt de betrouwbaarheid van Large Language Models (LLM's) bij het tot uitdrukking brengen van stabiele, mensachtige persoonlijkheden. Hoewel eerdere studies hebben geprobeerd persoonlijkheidstrekken in LLM's in te brengen voor doeleinden zoals narratieve coherentie, vertrouwen en controleerbaarheid, blijft een kritieke kloof bestaan: evaluatie-drift. Vorige studies vertrouwen vaak op prompt-gebaseerde methoden of assessments op één dimensie, die lijden onder hoge statistische variantie en oppervlakkige nabootsing. De auteurs stellen de vraag of LLM's een stabiel onderliggend persoonlijkheidsprofiel bezitten of slechts oppervlakkige aanwijzingen nabootsen, en merken op dat bestaande evaluatieprotocollen vaak de "doelwitlijn" verschuiven door individuele Big Five-trekken (Openheid, Zorgvuldigheid, Extraversie, Vriendelijkheid, Neuroticisme) geïsoleerd te beoordelen, wat de multidimensionale aard van persoonlijkheid negeert.

Methodologie

De studie hanteert een tweefasige methodologie om persoonlijkheidsinductie te evalueren over vijf verschillende modellen (variërend van 2B tot 175B parameters, waaronder Gemma, LLaMA en GPT-3.5):

1. Dataset: De auteurs maken gebruik van de Essays Dataset (Pennebaker en King, 1999), bestaande uit 2.467 langformaat essays (ongeveer 1,9 miljoen woorden). Deze dataset is gekozen boven kortere sociale media-teksten (zoals Twitter, Reddit) om stabiele persoonlijkheidstrekken te vangen in plaats van vluchtige stemmingen. Elk essay is gekoppeld aan binaire labels voor de vijf OCEAN-trekken.
2. Prompt-Stabiliteitsbeoordeling: Om evaluatie-fragiliteit aan te pakken, testten de auteurs eerst drie prompt-variaties (S1: Numeriek, S2: String, S3: Alfabet) op vooraf getrainde en fijngefineerde modellen. Ze maten de standaardafwijking van antwoorden op de IPIP-NEO-vragenlijst om te bepalen of fijnfinen de gevoeligheid voor prompt-herformulering vermindert.
3. Fijnfinestrategieën:
   • Supervised Fine-Tuning (SFT): Modellen werden getraind op essays gekoppeld aan doelpersonlijkheidslabels. Twee variaties werden getest: (1) alleen essays, en (2) essays aangevuld met delen van de IPIP-NEO-vragenlijst om tekst expliciet te koppelen aan trek-scores.
   • Preferential Fine-Tuning (DPO/ORPO): De auteurs construeerden parallelle datasets waarbij "gekozen" en "verworpen" antwoorden werden gegenereerd op basis van mismatchende OCEAN-profielen (bijvoorbeeld het contrasten van een steekproef met zijn inverse of bijna-inverse) om menselijke preferentiesignalen te simuleren.
4. Evaluatieprotocol: De primaire maatstaf was de exacte match-rate van de volledige 5-dimensionale OCEAN-vector (32 mogelijke binaire combinaties) tegen de grondwahrheid. Dit werd vergeleken met een willekeurige baseline (3,125%). De studie vergeleek ook gecensureerde (veiligheids-uitgelijnde) versus ongecensureerde modelvarianten om de impact van veiligheidsuitlijning te beoordelen.

Belangrijkste Bijdragen en Resultaten

1. Vermindering van Evaluatievariantie (RQ1)

De studie toont aan dat fijnfinen (zowel SFT als preferentiële methoden) consequent de statistische variantie in vragenlijstantwoorden vermindert over alle geteste modellen.

• Vinding: Fijngefineerde modellen vertoonden een vermindering van de standaardafwijking van 15% tot 33% in vergelijking met vooraf getrainde modellen wanneer ze werden blootgesteld aan prompt-herformuleringen.
• Implicatie: Dit bevestigt dat supervisie-signalen de respons van het model op psychologische assessments stabiliseren, en de bij vooraf getrainde modellen gerapporteerde "evaluatie-fragiliteit" mitigeren.

2. Falen van Volledige-Vectorductie (RQ2)

Ondanks verbeterde stabiliteit, faalden de modellen om de doelpersonlijkheidsprofielen op meerdere dimensies nauwkeurig in te brengen vanuit ongestuurde essays.

• Vinding: De nauwkeurigheid voor de volledige 5-dimensionale OCEAN-vector bleef dicht bij de willekeurige baseline (~3,13% tot 9,38%), zelfs wanneer metrics voor enkele trekken leken te verbeteren. Het beste resultaat was 3/32 gevallen (9,38%).
• Analyse: De auteurs betogen dat eerdere studies die hoge nauwkeurigheid rapporteren voor enkele trekken misleidend zijn omdat ze de gezamenlijke ruimte van persoonlijkheid negeren. Een model kan correct zijn op 4/5 trekken maar het holistische profiel falen door een enkele systematische fout (bijvoorbeeld het verkeerd interpreteren van "aspiratieve sociabiliteit" als Extraversie of negatieve taak-affectie als lage Zorgvuldigheid).
• Conclusie: Ongestuurde essays missen de noodzakelijke aanwijzingen voor een getrouwe, multidimensionale persoonlijkheidsuitdrukking.

3. Impact van Veiligheidsuitlijning (RQ3)

De studie vergeleek ongecensureerde versies van modellen (LLaMA 3.1-8B, Gemma-2-2B, LLaMA 3.2-3B) met hun veiligheids-uitgelijnde tegenhangers.

• Vinding: Er werden geen significante prestatiewinsten waargenomen bij ongecensureerde modellen met betrekking tot de nauwkeurigheid van persoonlijkheidsinductie.
• Conclusie: Veiligheidsuitlijning is geen primaire bottleneck voor de effectiviteit van persoonlijkheidsinductie in deze context.

Betekenis en Claims

Het artikel claimt dat het huidige paradigma voor het evalueren van LLM-personlijkheidsinductie fundamenteel gebrekkig is als het vertrouwt op metrics op één dimensie of ervan uitgaat dat oppervlakkige nabootsing gelijkstaat aan een stabiel profiel.

• Herverkadering van het Doel: De auteurs betogen dat LLM's om als een "persoonlijkheid" te worden beschouwd, de volledige multidimensionale vector moeten reproduceren die consistent is met menselijke testprotocollen (zoals IPIP-NEO), en niet alleen geïsoleerde trekken.
• Beperkingen van Huidige Data: De resultaten suggereren dat ongestuurde tekst (essays) ontoereikend is voor het leren van complexe persoonlijkheidsvectoren. De auteurs stellen dat toekomstig werk scenario-gegronde datasets of interactieve eliciteringsmethoden vereist die bewijsmateriaal over tijd accumuleren om persoonlijkheid betrouwbaar te beoordelen.
• Voorzichtigheid bij Metrics: Het artikel waarschuwt dat gerapporteerde successen in inductie van enkele trekken kunstproducten van de evaluatiemethode kunnen zijn in plaats van echt persoonlijkheidsmodelleren, aangezien eenvoudige bag-of-words-benaderingen vergelijkbare nauwkeurigheid voor enkele trekken kunnen bereiken zonder echte semantische begrip.

Kortom, terwijl fijnfinen de responsen van LLM's op psychologische vragenlijsten stabiliseert, maakt het momenteel niet de betrouwbare inductie van coherente, multidimensionale menselijke persoonlijkheden vanuit ongestuurde tekst mogelijk. De auteurs pleiten voor een verschuiving naar strengere, multidimensionale evaluatiestandaarden en rijkere, contextbewuste databronnen.