Technische Samenvatting: CAREBench

Probleemstelling

Emotiebegrip is een cruciale vaardigheid voor Large Language Models (LLM's) in affectieve computing en mens-AI-interactie. Echter, bestaande evaluatieparadigma's vertrouwen voornamelijk op de voorspelling van discrete emotielabels, wat niet in staat is de cognitieve processen die ten grondslag liggen aan emotiegeneratie vast te leggen. Hoewel recent werk zich heeft gekeerd naar appraisal-theorie om emotiebegrip te onderbouwen, lijden bestaande op appraisal gebaseerde datasets aan drie belangrijke beperkingen:

1. Gebrek aan Redenering: Ze behandelen ratings van appraisal-dimensies als de enige representatie van cognitieve appraisal, en negeren het inferentiële proces over mentale toestanden (overtuigingen, verlangens) dat aan deze ratings voorafgaat.
2. Vereenvoudigde Emotiemodellering: Ze vertrouwen op enkele emotielabels, waardoor ze het gemengde en gelijktijdig optredende karakter van emotionele ervaringen in de echte wereld niet vastleggen.
3. Perspectiefbias: De meeste datasets bieden alleen annotaties van derden, wat het moeilijk maakt om te analyseren hoe verschillen in perspectief tussen ervaren en observeren oordelen beïnvloeden.

Bijgevolg blijft het onduidelijk of modellen werkelijk de mentale toestanden van de ervaren begrijpen of slechts oppervlakkige koppelingen leren van situaties naar ratings.

Methodologie

De CAREBench Dataset

De auteurs introduceren CAREBench, een benchmark ontworpen om Cognitieve Appraisal-Redenering in Emotiebegrip te evalueren. De dataset is gebaseerd op appraisal-theorie en is opgebouwd via een dataverzamelingsproces in twee fasen met 1.000 emotionele verhalen uit de echte wereld:

• Fase 1 (Eerste persoon): Deelnemers herinnerden emotioneel significante gebeurtenissen op. Met behulp van een "micro-narratives"-kader ondersteund door een LLM, leverden ze open-ended redenering voor vijf kern-appraisal-dimensies (relevantie, zekerheid, congruentie, controle, verantwoordelijkheid), hiërarchische ratings voor 22 sub-dimensies, en multi-label emotieannotaties (intensiteit en labels).
• Fase 2 (Derde persoon): Onafhankelijke annotatoren lasen de verhalen en voerden dezelfde drie-laags annotatietask uit zonder toegang tot de antwoorden in eerste persoon.

Belangrijkste Kenmerken:

• Inferentiële Keten: De dataset vestigt een volledige $s \to r \to a \to e$ keten: Situatie ($s$) $\to$ Redenering ($r$) $\to$ Appraisal Ratings ($a$) $\to$ Emotie ($e$).
• Dubbel Perspectief: Annotaties bestaan voor zowel de ervaren in eerste persoon als meerdere waarnemers in derde persoon.
• Multi-label & Intensiteit: Emoties worden geannoteerd met intensiteitsscores en meerdere gelijktijdig optredende labels.
• Subjektiviteitsdata: Demografie van annotatoren en Big Five persoonlijkheidstrekken worden verzameld om subjectieve heterogeniteit te analyseren.

Evaluatiekader

De auteurs stellen een evaluatiekader op procesniveau voor dat de volledige inferentiële keten bestrijkt, verdergaand dan voorspelling in één stap. Zes LLM's werden geëvalueerd (GPT-5.2, Claude-Sonnet-4.6, Llama 3.1, Qwen 3.5, PsyLLM en EmoLLaMa) over vier Onderzoeksvragen (RQ's):

1. RQ1 (Ketenprestatie): Hoe goed presteren modellen elke stap ($s \to r$, $s \to a$, $s \to e$)?
2. RQ2 (Nuttigheid van Redenering): Leidt het injecteren van appraisal-redenering ($r$) of ratings ($a$) tot verbetering van downstream-voorspelling?
3. RQ3 (Sensitiviteit): Zijn modellen gevoelig voor gestructureerde appraisal-interventies (bijv. het vervangen van redenering in eerste persoon door die in derde persoon)?
4. RQ4 (Subjektiviteit): Kunnen modellen de distributieve heterogeniteit van menselijke appraisal-oordelen vastleggen?

Metrieken omvatten BLEU/ROUGE voor redenering, RMSE voor ratings/intensiteit, F1-scores voor labels, en Wasserstein-afstand/Spearman-correlatie voor modellering van subjektiviteit.

Belangrijkste Resultaten

1. Prestatieverschillen over de Keten

• Downstream vs. Upstream: Sterkere modellen (bijv. Claude, GPT) halen de prestaties van menselijke waarnemers in derde persoon op appraisal-ratings en identificatie van negatieve emotielabels bij of overtreffen deze. Ze blijven echter consequent tekort schieten in generatie van appraisal-redenering en identificatie van positieve emoties.
• Kloof bij Positieve Emoties: Modellen vertonen een aanzienlijke onbalans tussen precisie en recall voor positieve emoties, wat leidt tot aanzienlijk lagere F1-scores in vergelijking met mensen.
• Dissociatie: Domeinspecifiek fijngefineerde modellen (PsyLLM, EmoLLaMa) toonden voordelen in specifieke upstream-taken (bijv. metrieken voor appraisal-redenering), maar vertaalden deze winsten niet naar downstream-selectie van emotielabels, wat suggereert dat sterke downstream-prestaties niet impliceert dat er correcte, appraisal-gemedieerde redenering plaatsvindt.

2. De Rol van Redenering

• Menselijke Redenering: Het injecteren van tekst met appraisal-redenering in eerste persoon verbeterde significant de voorspelling van appraisal en emotieherkenning (met name recall) over modellen heen.
• Modellering van Redenering: Wanneer modellen hun eigen redenering ($\hat{r}$) genereerden om terug te injecteren in de prompt, verslechterde de prestatie vaak. Kwalitatieve analyse onthulde dat modellen de neiging hebben om overdreven emotionele taal te gebruiken in zelfgegenereerde redenering, wat ruis introduceert die doorgeeft aan downstream-fouten.

3. Gevoeligheid voor Interventies

• Modellen toonden verschillende gradaties van gevoeligheid voor gestructureerde appraisal-interventies. Sterkere modellen (Claude, GPT, Qwen) vertoonden matige tot sterke positieve correlaties tussen door interventie veroorzaakte veranderingen in redenering en veranderingen in voorspelde appraisals/emoties, in lijn met appraisal-theorie.
• Echter, sommige modellen met redelijke downstream-prestaties (bijv. Llama, PsyLLM) vertoonden een zwakke directionele gevoeligheid, wat aangeeft dat ze mogelijk vertrouwen op associatieve patronen in plaats van op oprechte appraisal-redenering.

4. Modellering van Subjektiviteit

• Hoewel het injecteren van kern-appraisal-redenering modellen hielp om menselijke appraisal-distributies te benaderen, hebben huidige modellen de mechanismen die nodig zijn om inter-observer-onenigheid autonoom vast te leggen, nog niet geïnternaliseerd.
• Modellen slaagden er niet in de variantie in menselijke oordelen te reproduceren, wat suggereert dat ze nog niet in staat zijn de distributieve heterogeniteit die inherent is aan menselijk emotiebegrip te modelleren.

Betekenis en Claims

Het artikel claimt dat CAREBench een fundament biedt voor een meer diagnostisch informatieve evaluatie van de affectieve cognitieve capaciteiten van LLM's. De primaire betekenis ligt in de bevinding dat downstream-metrieken voor emotievoorspelling ware emotiebegrip kunnen overschatten. Door de volledige inferentiële keten te evalueren, onthullen de auteurs capaciteitsgaten – specifiek in generatie van redenering en herkenning van positieve emoties – die paradigma's voor evaluatie in één stap missen.

Het werk suggereert dat huidige LLM's nog niet de cognitieve capaciteiten hebben verworven die nodig zijn voor fijnmazige emotiedifferentiatie, met name die welke complexe causale attributie (controle, verantwoordelijkheid) en positieve emotionele toestanden betreffen. Het kader blootlegt de blinde vlekken van het uitsluitend vertrouwen op output-nauwkeurigheid en biedt een methodologische basis voor het ontwikkelen van meer cognitief interpreteerbare affectieve modellen.

Beperkingen

De auteurs merken enkele beperkingen op:

• Culturele Scope: De data is beperkt tot Engelssprekende deelnemers in de VS en het VK, wat de generaliseerbaarheid naar andere culturen mogelijk beperkt.
• Narratiefonevenwicht: Zelfselectie van gebeurtenissen leidde tot een scheefheid naar negatieve emoties.
• Annotatiekosten: De subset in derde persoon (500 verhalen) beperkt de precisie van distributieve schattingen voor subjectieve variatie.
• LLM-ondersteuning: Het gebruik van LLM's om narratieve compositie te ondersteunen, introduceert ondanks herziening een risico op het opnemen van overbodige details.