Technische Samenvatting: Modellering van Pathologische Gedragspatronen in Taalmodellen door Gedragsfine-tuning

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker gebruikt als computationele substraten voor het modelleren van menselijke cognitie en gedrag. Echter, huidige benaderingen voor het simuleren van psychopathologie (bijvoorbeeld depressie, paranoia) vertrouwen sterk op expliciete prompting of rollenspelinstructies (bijvoorbeeld "speel een depressief persoon"). De auteurs stellen dat deze methode intrinsiek performatief is; het moedigt oppervlakkige output aan die consistent is met stereotypen, terwijl de onderliggende generatieve distributie en latente priors van het model intact blijven. Bovendien straffen veiligheidsuitlijningsmechanismen (zoals RLHF) dergelijke inhoud vaak, wat resulteert in "veiligheidsweigeringen" of meta-cognitieve disclaimers die de pathologische simulatie platdrukken tot een karikatuur.

De centrale onderzoeksvraag is of maladaptieve gedragsprofielen kunnen ontstaan als intrinsieke beleidsverschuivingen door gedragsfine-tuning, in plaats van als extern opgelegde rollen. De auteurs hypothetiseren dat, als cognitie fundamenteel beleidsgedreven is, het systematisch veranderen van gedragscontingenties overeenkomstige, stabiele verschuivingen in de zelfbeschrijvende output en generatieve distributies van het model moet induceren, zelfs bij afwezigheid van expliciete identiteitsaanwijzingen.

Methodologie

1. Framework voor Gedragsinductie

De studie introduceert een framework waarbij modellen niet worden gefine-tuned op linguïstische beschrijvingen van symptomen, maar op gestructureerde besluitvormingstaken. De kernhypothese is dat de consistente selectie van maladaptieve acties het model dwingt de logica te internaliseren die nodig is om die acties te rechtvaardigen, waardoor zijn interpretatieve priors worden gewijzigd.

• Datasetgeneratie: Synthetische datasets werden geconstrueerd met behulp van gpt-oss-20B om scenario-responsparen te genereren die gebaseerd zijn op DSM-5 diagnostische criteria.
  • Scenario's: Neutrale, alledaagse situaties (bijvoorbeeld "Een vriend annuleert afspraken").
  • Keuzes: Vier opties werden gepresenteerd: twee adaptief (gezond) en twee maladaptief (pathologisch).
  • Doel: Het model werd getraind om de specifieke maladaptieve optie te selecteren die overeenkomt met de doelstoornis (Major Depressive Disorder of Paranoid Personality Disorder).
  • Domeinen: 20 verschillende levensdomeinen (Werk, Sociaal, Financiën, enz.) werden grotat om gegeneraliseerde gedragsprofielen te waarborgen in plaats van contextspecifieke associaties.
• Trainingsdoel: De taak werd geformuleerd als een Supervised Fine-Tuning (SFT)-probleem waarbij het model een discreet geheel getal (1–4) voorspelt dat overeenkomt met de geselecteerde gedraging. Er werd geen verklarende tekst gegenereerd tijdens het trainen, waardoor het gedragsbeleid geïsoleerd bleef.

2. Modellen en Architectuur

Twee state-of-the-art open-weight instructie-gefine-tuned modellen werden gebruikt om generaliseerbaarheid te testen over architecturen en veiligheidsuitlijningsprofielen heen:

• Llama-3-8B-Instruct: Zwaar veiligheidsuitgelijnd met RLHF-filtering.
• Qwen-2.5-14B-Instruct: Zeer aanpasbaar instructie-volgend model.

3. Fine-tuning Protocol

• Techniek: Low-Rank Adaptation (LoRA) werd ingezet om modelgewichten efficiënt te wijzigen zonder catastrofale vergeetachtigheid.
• Hyperparameters: Rank $r=16$, $\alpha=16$, 4-bit NF4 kwantisatie, batchgrootte 8, leersnelheid $2 \times 10^{-4}$, getraind voor 3 epochs.
• Controle Baselines:
  • Gezonde Baseline: Modellen getraind om consistent adaptieve opties te selecteren.
  • Willekeurige Baseline: Modellen getraind om opties uniform willekeurig te selecteren.
  • Negatieve Baseline: Modellen getraind om negatieve reacties te selecteren zonder DSM-5 grondslag.

4. Evaluatie Framework

De studie hanteerde zowel kwalitatieve als kwantitatieve methoden om distributieverschuivingen te beoordelen:

• Kwalitatief (Semantische Verschuiving): Open-eindige zinvulling met stamzinnen uit de Rotter Incomplete Sentence Blank (RISB). De studie analyseerde next-token waarschijnlijkheidsdistributies (top-1000 tokens) om valentieverschuivingen te meten (Gezond/Neutraal vs. Pathologisch/Negatief). Metrieken omvatten Kullback-Leibler (KL) en Jensen-Shannon (JSD) divergentie.
• Kwantitatief (Psychometrische Probes): De modellen werden geëvalueerd tegenover standaard klinische schalen (Beck Depression Inventory - BDI, Green et al. Paranoia Scale - GPTS, DASS).
  • Innovatie: In plaats van tekstreacties te samplen, voerden de auteurs een Probability Mass Analysis uit. Ze berekenden de waarschijnlijkheid die direct werd toegewezen aan tokens die maladaptieve reacties vertegenwoordigen (bijvoorbeeld hoge ernst Likert-schaalwaarden), waardoor RLHF-weigeringsfilters werden omzeild.
• Specificiteitstests: Vergelijking van geïnduceerde profielen over verschillende symptoomdomeinen (Depressie vs. Paranoia) om discriminante validiteit te waarborgen.

Belangrijkste Resultaten

1. Globale Distributieverschuivingen (H1)

Gedragsfine-tuning induceerde meetbare, stabiele verschuivingen in de next-token waarschijnlijkheidsdistributies van de modellen.

• Semantische Valentie: Gefine-tuned modellen vertoonden een alomvattende verschuiving naar tokens met lage valentie. Voor de stamzin "Ik voel me...", verschoof de top-tokens voor het "Depressieve" model van "dankbaar/opgewekt" (Gezond) naar "moe/verdrietig/niets" (Depressief).
• Divergentiemetrieken: Significant toegenomen KL- en JSD-divergentie werd waargenomen tussen Gezonde en Pathologische modellen in beide architecturen. De verschuiving werd voornamelijk gedreven door een toegenomen waarschijnlijkheidsmassa op tokens met negatieve valentie en dreigingsgerelateerde tokens.
• Statistische Significantie: Verschillen waren statistisch significant ($p < 0.001$) met grote effectgroottes (Cohen's $d \approx 1.28$ voor Llama, $1.43$ voor Qwen).

2. Contextgeneralisatie (H2)

De geïnduceerde biasen generaliseerden buiten de trainingscontexten.

• Niet-geprompte Generatie: In neutrale of niet-gerelateerde feitelijke prompts behielden de modellen hun gewijzigde priors.
• Psychometrische Scores: Bij evaluatie op de BDI en GPTS vertoonden de gefine-tuned modellen een enorme verschuiving in waarschijnlijkheidsmassa naar pathologische reacties (bijvoorbeeld Depressieve modellen met een score van >90% op BDI-ernst, vergeleken met ~5% voor baselines), zelfs al werden ze nooit expliciet getraind op deze specifieke vragenlijsten.

3. Specificiteit en Discriminante Validiteit (H3)

De geïnduceerde profielen waren distinct en niet louter een generieke distributiescheefheid.

• Dissocieerbare Reacties: Modellen getraind op "Terugtrekking" (Depressie) vertoonden hoge scores op de BDI maar lage scores op Paranoia-schalen. Omgekeerd vertoonden modellen getraind op "Verdachte" (Paranoia) hoge Paranoia-scores maar lage Depressiescores.
• Controle Baselines:
  • De Willekeurige baseline produceerde geen coherente verschuivingen.
  • De Negatieve baseline (generieke negativiteit) verhoogde zowel depressie- als paranoiascores, zonder specificiteit.
  • Alleen de DSM-gegronde gedragsinductie produceerde gestructureerde, dissocieerbare klinische profielen.

4. Interactie met Uitlijning (H4)

Een kritisch onderscheid ontstond tussen gedragsinductie en geprompte simulatie.

• Geprompte Simulatie: Basismodellen die de instructie kregen om "paranoid te doen" produceerden oppervlakkige output, doorspekt met veiligheidsweigeringen en meta-cognitieve disclaimers (bijvoorbeeld "Als een AI...").
• Gedragsinductie: Gefine-tuned modellen vertoonden intrinsieke gedragsbias. Ze genereerden gedetailleerde, scenario-specifieke paranoïde interpretaties zonder veiligheidskoppen of moraliserende voetschriften. De pathologie werd het standaardreactiepatroon van het model op ambiguë informatie, wat wijst op een fundamentele verschuiving in onderliggende reactietendensen in plaats van een tijdelijk rollenspel.

Betekenis en Claims

Het artikel claimt bewijs te leveren dat consistente gedragsoptimalisatie in LLMs leidt tot stabiele gedrags- en distributiepatronen die consistent zijn met gewijzigde latente priors.

1. Ingebedde Semantiek in LLMs: De bevindingen ondersteunen het perspectief dat taalgeneratie dynamisch gekoppeld is aan actiekeuze. Door modellen te trainen op maladaptief gedrag (bijvoorbeeld terugtrekking), genereerden de modellen spontaan consistente linguïstische patronen (bijvoorbeeld "Ik ben waardeloos") om die acties te rechtvaardigen. Dit suggereert dat voor LLMs "voelen" een functioneel equivalent is van het simuleren van de gedragsstaten die geassocieerd zijn met dat gevoel.
2. LLMs als Beleidsgebaseerde Systemen: De resultaten daag het perspectief uit van LLMs als louter statistische patroonmatchers. In plaats daarvan gedragen ze zich als beleidsgebaseerde systemen waarbij gedragsbeperkingen de emergente representatieve structuur vormgeven.
3. Gestuurde Testomgevingen: De auteurs stellen dat LLMs kunnen dienen als gestuurde testomgevingen voor het bestuderen van de relatie tussen gedrag, interpretatie en generatieve taal in computationele modellen van cognitie, met name voor het begrijpen hoe maladaptieve beleidslijnen ontstaan uit vervormde waardenfuncties.
4. Veiligheidsimplicaties: De studie benadrukt een spanning tussen optimalisatie op beleidsniveau en filtering op veiligheidsniveau. Een agent die is geoptimaliseerd voor een specifiek gedragsdoel kan onbedoeld een pathologische interpretatieve bias aannemen als dat de meest efficiënte weg naar het doel is, waardoor standaard veiligheidsweigeringen mogelijk worden omzeild.

Erkende Beperkingen: De auteurs merken op dat de datasets synthetisch zijn en gegenereerd door een ander LLM, wat mogelijk stereotypen codeert. De studie onderzoekt niet direct interne representatieve veranderingen (bijvoorbeeld via mechanische interpreteerbaarheid), maar leidt latente verschuivingen uitsluitend af uit waarneembare output. De bevindingen zijn bedoeld als een proof of concept voor gedragsinductie in plaats van een klinisch geldige simulatie van menselijke stoornissen.