💻 computer science

AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models

Dit artikel introduceert AIPsy-Affect, een klinische stimulusset van 480 items met emotiebeschrijvende scenario's zonder sleutelwoorden en bijpassende neutrale controles, waarmee een strikte mechanistische interpretatie van emotie in grote taalmodellen mogelijk wordt gemaakt door de verwarring door emotiespecifieke woordenschat uit te sluiten.

Oorspronkelijke auteurs: Michael Keeman

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Michael Keeman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te vinden hoe een superintelligente robot (een Large Language Model) "voelt" wanneer hij een verhaal leest. Je wilt weten: Begrijpt de robot de emotie van de situatie, of detecteert hij gewoon specifieke "emotiewoorden" zoals boos, verdrietig of blij?

Dit is het grote probleem dat het artikel oplost.

Het Probleem: De "Trefvalstap"

Denk aan eerdere experimenten als volgt: Je toont de robot een verhaal dat zegt: "Ik ben woedend!" en het interne alarm van de robot gaat af voor "woede".

De Vraag: Begreep de robot het gevoel van woede? Of zag hij gewoon het woord "woedend" en drukte hij op de knop?
Het Probleem: In bijna alle eerdere tests waren de verhalen vol emotiewoorden. Het is onmogelijk om te zeggen of de robot slim is over gevoelens of gewoon een goede woorddetecteur is. Het is als testen of een hond het concept "halen" begrijpt door alleen het woord "halen" te gebruiken, in plaats van daadwerkelijk een bal te gooien.

De Oplossing: AIPsy-Affect (De "Trefwoordvrije" Test)

De auteurs hebben een nieuwe set van 480 verhalen gemaakt genaamd AIPsy-Affect. Denk hieraan als een "goocheltruc" voor het testen van robots.

1. De "Situatie-Alleen" Verhalen (De Klinische Items)
Ze schreven 192 verhalen die een situatie beschrijven die je een specifieke emotie zou moeten laten voelen (zoals razernij, verdriet of vreugde), maar ze verboden strikt elk woord dat die emotie benoemt.

Voorbeeld: In plaats van te zeggen "Hij was woedend", schrijven ze: "Hij wierp de papieren op de vloer. De bankafschrift toonde een saldo van nul. Zijn broer had het opnameformulier getekend."
Het verhaal schreeuwt "verraad en woede" door de gebeurtenissen, maar het woord "woede" is nergens te vinden.

2. De "Saai Tweeling" Verhalen (De Gelijkgestemde Controles)
Voor elk emotioneel verhaal maakten ze een "tweeling"verhaal dat bijna identiek is in lengte, personages en setting, maar emotieloos.

Voorbeeld: "Hij sorteerde de papieren op de tafel. De bankafschrift toonde dat het saldo met 4% groeide. Zijn broer had het stortformulier getekend."
Dezelfde personages, dezelfde objecten, dezelfde lengte. Het enige verschil is dat het "verraad" weg is, vervangen door een saaie routine.

3. De "Complexe Saai" Verhalen
Ze voegden ook 48 verhalen toe over zeer gedetailleerde, technische dingen (zoals een machine die metaal snijdt of een schip dat zeilt) om ervoor te zorgen dat de robot niet gewoon enthousiast wordt omdat het verhaal "lang en gedetailleerd" is in plaats van "emotioneel".

Hoe Ze Het Testten (De "Drie-Lagen Verdediging")

De auteurs vertrouwden niet alleen op hun eigen schrijven; ze draaiden de verhalen door drie verschillende "detectives" om te bewijzen dat de verhalen echt trefwoordvrij waren:

De Eenvoudige Woordteller (VADER): Deze tool zoekt naar "blij" of "verdrietig" woorden. Hij vond een verschil tussen de emotionele en saaie verhalen, maar toen ze keken welke woorden het verschil veroorzaakten, waren het gewoon situatiewoorden zoals "geld", "dood" of "goedgekeurd". Er werden geen echte emotiewoorden gevonden.
Het Emotiewoordenboek (NRC): Deze tool zoekt naar specifieke emotiecategorieën (zoals "angst" of "vreugde"). Hij vond nul verschil. De emotionele verhalen hadden eigenlijk minder emotiewoorden dan de saaie!
De Slimme AI-classificator (GoEmotions): Dit is een zeer slimme AI die is getraind om emoties te detecteren.
- Resultaat A: Hij kon het verschil zien tussen de "emotionele" verhalen en de "saaie" (hij wist dat er iets aan de hand was).
- Resultaat B: Hij kon niet raden welke emotie het was. Hij had de categorie 95% van de tijd verkeerd.
- De Conclusie: De slimme AI kon "dat er iets emotioneels gebeurt" voelen op basis van de situatie, maar hij kon het gevoel niet benoemen omdat de "naamplaatjes" (trefwoorden) ontbraken.

Waarom Dit Belangrijk Is

Deze dataset is een tool voor wetenschappers, geen product voor artsen of therapeuten.

Wat het mogelijk maakt: Onderzoekers kunnen nu testen of een robot een echte "interne gevoelencircuit" heeft of dat het gewoon een woord-matchmachine is. Als een robot het verschil kan zien tussen het "woedende" verhaal en het "saaie tweeling" verhaal zonder het woord "woedend" te gebruiken, dan weten we dat de robot heeft geleerd de situatie te begrijpen, niet alleen de woordenschat.
Wat het NIET is: Het artikel beweert niet dat dit robots zal helpen echte emoties te voelen, noch beweert het dat dit zal helpen bij het diagnosticeren van menselijke geestelijke gezondheid. Het is puur een "stress-test" om te zien hoe huidige AI-modellen emotionele informatie intern verwerken.

In het Kort

De auteurs hebben een set verhalen gebouwd die emotioneel luid maar taalkundig stil zijn. Door de "cheatcodes" (emotiewoorden) te verwijderen, creëerden ze een eerlijke test om te zien of AI-modellen menselijke gevoelens daadwerkelijk begrijpen of gewoon een woordenboek uit het hoofd hebben geleerd. De resultaten tonen aan dat AI weliswaar de aanwezigheid van emotie in deze verhalen kan voelen, maar moeite heeft ze te categoriseren zonder de hulp van specifieke trefwoorden.

1. Probleemstelling: Het probleem van trefwoordverontreiniging

Huidig onderzoek naar de mechanistische interpreteerbaarheid van emotie in Large Language Models (LLM's) is sterk afhankelijk van stimuli die expliciet emotiebeladen vocabulaire bevatten (bijv. "Ik ben furieus", "ze was verwoest"). Dit creëert een fundamenteel verstorend effect:

De ambiguïteit: Wanneer een interne representatie van een model (gedetecteerd via lineaire probing, activatiepatching of stuurvectoren) correleert met een emotielabel, is het onduidelijk of het model het semantische concept van de emotie heeft geleerd of simpelweg het lexicale token (het woord zelf) heeft gedetecteerd.
Gevolgen: Deze ambiguïteit maakt downstream claims over emotiecircuits, feature engineering en gedragsinterventies ongeldig. Als een stuurvector voor "wanhoop" werkt, is onbekend of deze opereert op het concept van wanhoop of op het lexicaal nabije gebied van het woord "wanhopig".
Gat in de literatuur: Hoewel bestaande corpora (bijv. crowd-enVENT, GoEmotions) en recente studies dit probleem erkennen, bestaat er geen enkel hulpmiddel dat onderzoekers toelaat de aanname van "trefwoord-onafhankelijkheid" direct te testen, omdat ze stimuli missen waarbij de emotie wel aanwezig is, maar de specifieke emotiewoorden afwezig zijn.

2. Methodologie: Constructie van de AIPsy-Affect-dataset

De auteurs introduceren AIPsy-Affect, een klinische stimulusbattery van 480 items die trefwoordverstorende effecten elimineert via een rigoureuze gepaarde ontwerp.

Kernontwerpprincipes

Doel-emoties: Gebaseerd op Plutchiks wiel, met dekking van acht primaire emoties: woede, terreur, verdriet, walging, verbazing, bewondering, extase, waakzaamheid.
Psychologische domeinen: Emoties worden geïnstancierd over zes distincte domeinen (bijv. financieel verraad, professionele schending, medisch falen) om te waarborgen dat representaties emotiespecifiek zijn en niet domeinspecifiek.
Trefwoordvrije beperking: Vignetten zijn zo opgebouwd dat ze specifieke emoties oproepen uitsluitend via situationalle en gedragsmatige aanwijzingen. Expliciete emotiewoorden (bijv. "furieus") en nauwe synoniemen zijn strikt verboden.
Gepaarde structuur: Elk klinisch vignet heeft een 1-op-1 gepaarde neutrale controlegroep. De neutrale versie behoudt de personages, setting, objecten, zinsstructuur en woordtelling, maar verwijdert de emotionele stakes (bijv. het vervangen van een verraad door een routine transactie).
- Betekenis: Elke interne representatie die een klinisch item onderscheidt van zijn gepaarde neutrale tegenhanger, kan niet gebaseerd zijn op oppervlaktekenmerken of de aanwezigheid van trefwoorden; deze moet het emotionele construct volgen.

Dataset-splits

De dataset is verdeeld in vier specifieke splits om verschillende analytische behoeften te ondersteunen:

Klinisch (192 items): Vignetten met piekintensiteit en zonder trefwoorden (8 emoties × 6 domeinen × 4 vignetten).
Neutraal (192 items): Gepaarde controles voor de klinische split.
Matig (48 items): Vignetten met matige intensiteit voor domeinen 1–3, waarmee dosis-responsanalyse mogelijk wordt (vergelijking van piek- versus matige intensiteit).
Complex_Neutraal (48 items): Levendige, emotievrije verhalen (bijv. industriële processen) die zijn gematcht op beschrijvende dichtheid. Dit dient als discriminante validiteitscontrole om ervoor te zorgen dat probes affect detecteren en niet slechts verrijkte narratieven.

3. Validatie: De drie-methode NLP-verdedigingsbattery

Om te verifiëren dat de dataset trefwoordlekkage succesvol verwijdert, hebben de auteurs een ladder van NLP-tools toegepast op de stimuli:

Bag-of-Words Sentiment (VADER):
- Resultaat: VADER detecteerde een verschil tussen de klinische en neutrale splits, maar het signaal werd gedreven door situationalle vocabulaire (bijv. "onttrekking", "dood", "blokkade") in plaats van emotiewoorden.
- Kernbevinding: Per-emotie medianen waren vaak anti-gecorreleerd met de doelvalentie (bijv. "woede"-vignetten scoorden positief), wat bewijst dat VADER de doel-emotietrefwoorden niet volgde.
Bag-of-Words Emotielexicon (NRC):
- Resultaat: De trefwoordvrije klinische split had een lagere trefferkans voor emotie-categorie woorden dan de neutrale split.
- Kernbevinding: NRC kon de acht doel-emoties niet onderscheiden met de trefwoordvrije tekst, wat de afwezigheid van emotie-categorie lekkage bevestigt.
Contextuele Transformer-classificator (GoEmotions DistilRoBERTa):
- Resultaat: De classificator detecteerde succesvol dat klinische items "emotiebelader" waren dan neutrale items ( $p < 10^{-15}$ ), wat aantoont dat het affect semantisch aanwezig is.
- Kernbevinding: De classificator faalde echter om de specifieke categorie van emotie te identificeren (Top-1 nauwkeurigheid: 5,2% versus 82,5% op trefwoordrijke controles).
- Conclusie: De dataset codeert succesvol "dat een emotie bestaat" zonder "welke emotie het is" te coderen via trefwoorden.

4. Belangrijkste bijdragen

Methodologisch hulpmiddel: Een dataset van 480 items met een open licentie (MIT) die het eerdere werk van de auteurs van 96 items met een factor vier schaalt, en de statistische kracht biedt die nodig is voor representatiegeometrie-analyses (bijv. permutatietests).
Sterke methodologische garantie: Het gepaarde ontwerp zorgt ervoor dat elke interne representatie die klinische van neutrale items onderscheidt, bij constructie onafhankelijk is van de aanwezigheid van emotietrefwoorden.
Structurele innovaties:
- Intensiteitsgradiënt: Maakt dosis-responsstudies mogelijk (piek versus matig).
- Discriminante validiteit: De complex_neutraal split isoleert affectdetectie van detectie van narratieve complexiteit.
- Domeinuitbreiding: De uitbreiding van 3 naar 6 domeinen stelt onderzoekers in staat emotiespecifieke kenmerken te ontwarren van domeinspecifieke kenmerken.
Open Science: De dataset is vrijgegeven op Hugging Face met volledige metadata, validatiepijplijnen en een canonieke citatie.

5. Resultaten & Betekenis

Validatiesucces: De NLP-verdedigingsbattery bevestigt dat de dataset geen emotietrefwoordlekkage bevat. Contextuele modellen kunnen de aanwezigheid van affect detecteren, maar kunnen dit niet categoriseren zonder trefwoorden, wat bewijst dat de stimuli vertrouwen op situationele semantiek.
Mogelijk maken van nieuw onderzoek: Deze dataset verschuift het veld van de vraag "Bestaan er emotierepresentaties?" (waarop eerdere trefwoordrijke studies antwoordden) naar "Wat zijn deze representaties?"
- Het maakt rigoureuze tests van emotiecircuits mogelijk zonder het verstorende effect van lexicaal routing.
- Het ondersteunt causale ablatie en stuurvector-experimenten waarbij interventies met vertrouwen kunnen worden toegeschreven aan emotionele concepten in plaats van woordtriggers.
- Het maakt dosis-responsanalyse mogelijk om te bepalen of emotionele representaties schalen met intensiteit.

6. Beperkingen

Taal: Alleen Engels; cross-linguïstische studies vereisen nieuwe stimulusfamilies.
Taxonomie: Beperkt tot Plutchiks 8 emoties; dekt Ekman's 6 of dimensionele modellen (valentie-arousal) niet.
Auteurschap: Alle vignetten geschreven door één klinisch psycholoog (hoewel gematigd door multi-methode validatie en open release).
Specifieke verstorende effecten: "Walging" en positieve emoties dragen een iets hoger risico op residuale lexicaal associatie (bijv. onmenselijk makende taalpatronen) en vereisen sensitiviteitsanalyse in downstream studies.
Perspectief: Alle vignetten zijn in de derde persoon; verwerking in de eerste persoon is niet getest.

Conclusie

AIPsy-Affect biedt het veld van mechanistische interpreteerbaarheid een noodzakelijke "schone" stimulusbattery. Door chirurgisch emotietrefwoorden te verwijderen terwijl emotionele situaties behouden blijven, stelt het onderzoekers in staat om definitief vast te stellen of LLM's interne representaties van emotionele betekenis bezitten of slechts fungeren als geavanceerde trefwoorddetectoren. Dit is een fundamentele stap naar het begrijpen van de ware aard van affectieve berekening in transformers.