Emotion Entanglement and Bayesian Inference for Multi-Dimensional Emotion Understanding

Probleemstelling

Het begrijpen van emoties in natuurlijke taal is een fundamenteel meerdimensionaal redeneerprobleem waarbij affectieve signalen interageren via context, interpersoonlijke relaties en situationele aanwijzingen. Bestaande benchmarks voor emotiebegrip (zoals SemEval, GoEmotions) hebben echter drie belangrijke beperkingen:

1. Gebrek aan context: Ze vertrouwen vaak op korte zinnen of sociale media-posts die onvoldoende context bieden om subtiele emotionele signalen te ontwarren.
2. Vooraf gedefinieerde labels: Ze gebruiken vaak vaste lijsten van complexe emoties die niet altijd aansluiten bij psychologische theorieën.
3. Onafhankelijkheidsaannames: De evaluatieprotocollen behandelen emoties als onafhankelijke klassificatieproblemen. Dit negeert het psychologische feit dat emoties zelden geïsoleerd voorkomen, maar vaak structureel afhankelijk zijn en met elkaar verweven (bijv. angst en woede kunnen gelijktijdig optreden of elkaar beïnvloeden).

De huidige Large Language Models (LLMs) presteren in zero-shot settings slechts matig op deze complexe, meerdimensionale taken, wat suggereert dat ze oppervlakkige patronen herkennen in plaats van diepgaand emotioneel redeneren.

Methodologie

1. De EmoScene Dataset

De auteurs introduceren EmoScene, een nieuwe benchmark bestaande uit 4.731 contextrijke scenario's.

• Opbouw: Elk voorbeeld bevat een onderwerp en een gedetailleerd scenario dat omgevingsfactoren, lichamelijke reacties en interpersoonlijke interacties beschrijft.
• Theoretische grondslag: De annotatie is gebaseerd op Plutchik's psycho-evolutionaire theorie van emoties. In plaats van complexe labels te gebruiken, wordt elke scène gemarkeerd met een 8-dimensionale binaire vector die overeenkomt met de acht basisemoties: vreugde, vertrouwen, angst, verrassing, verdriet, walging, woede en verwachting.
• Generatie: De scenario's zijn gegenereerd met GPT-4o, gebaseerd op de Emotional Commonsense Knowledge Graph (ECoK), en vervolgens handmatig gevalideerd door experts (Fleiss' kappa = 0,43).

2. Emotie-Verstrengeling (Emotion Entanglement)

De kern van de methodologie is de observatie dat emoties niet onafhankelijk zijn. De auteurs definiëren "Emotion Entanglement" als het fenomeen waarbij de aanwezigheid van één emotie de waarschijnlijkheid van een andere co-occurrence significant beïnvloedt.

• Ze tonen aan dat de gezamenlijke verdeling $P(E|x)$ niet factoriseert in de som van individuele verdelingen ($P(E|x) \neq \prod P(E_i|x)$).
• Dit wordt gemeten via wederzijdse informatie (Mutual Information) tussen emotieparen.

3. Entanglement-Aware Bayesiaanse Inferentie

Om de onafhankelijkheidsaannames van standaard LLMs te corrigeren, stellen de auteurs een post-processing framework voor op basis van Bayesiaanse inferentie:

• Likelihood: De output van de LLM (log-probabiliteiten) wordt behandeld als een "ruisige" likelihood $P(x|E)$.
• Prior: Een data-afgeleide prior $P(E)$ wordt geïntroduceerd die statistische afhankelijkheden tussen labels vastlegt. Deze prior wordt gemodelleerd als een Ising-model (een type Markov Random Field) dat de marginaal en paar-correlaties uit de trainingsdata nabootst.
• MAP Schatting: Het doel is om de Maximum A Posteriori (MAP) schatting te vinden:
  $$\hat{E} = \arg \max_{E} P(E|x) \propto \arg \max_{E} P(x|E) \cdot P(E)$$
• Implementatie: Omdat de ruimte van 8 labels klein is ($2^8 = 256$ combinaties), wordt de exacte argmax berekend door alle combinaties te evalueren. Dit is een lichtgewicht post-processing stap die geen hertraining van het model vereist.

Belangrijkste Bijdragen

1. EmoScene Benchmark: Een dataset van 4.731 contextrijke scenario's voor het evalueren van meerdimensionaal emotiebegrip.
2. Theoretisch onderbouwde representatie: Formulering van emotievoorspelling als een 8-dimensionale multi-label taak gebaseerd op Plutchik's theorie.
3. Modellering van Emotie-Verstrengeling: Een Bayesiaans inferentiekader dat statistische afhankelijkheden tussen emoties expliciet modelleert voor gezamenlijke voorspelling.
4. Systematische Evaluatie: Een zero-shot studie van zes instructie-geoptimaliseerde open-source LLMs (o.a. Llama-3, Mistral, Qwen, Gemma) op deze nieuwe benchmark.

Resultaten

De auteurs hebben zes modellen getest in een zero-shot setting, zowel als baseline als met de Bayesiaanse Inferentie (BI) post-processing.

• Algemene Prestaties: Zelfs de beste modellen presteren slechts matig. De hoogste Macro F1-score voor de baseline was 0,501 (Gemma-2-9b), wat de moeilijkheid van contextbewuste multi-label voorspelling benadrukt.
• Impact van Bayesiaanse Inferentie:
  • De BI-methode verbeterde consequent de prestaties, vooral bij kleinere modellen.
  • Qwen2.5-7B: Toonde de grootste winst met een toename van +0,051 in Macro F1 en een reductie van 6,27 in Hamming Loss.
  • Gemma-2-2b: Verbeterde de woordelijke nauwkeurigheid met +7,858 en verlaagde de Hamming Loss aanzienlijk.
  • Sterke modellen: Bij zeer sterke modellen (zoals Llama-3.1-8B) waren de verbeteringen kleiner, maar de structuur van de voorspellingen werd wel consistenter.
• Vector Nauwkeurigheid: Hoewel de "exact match" van de volledige vector (Vector Accuracy) laag bleef (15-25%), verbeterde de Bayesiaanse methode de Hamming Loss en Macro F1 aanzienlijk. Dit betekent dat de methode de voorspellingen corrigeert naar realistische co-occurrence patronen (bijv. voorkomend dat "Woede" onterecht wordt voorspeld bij "Verdriet" als de context daar niet voor is), zelfs als dit ten koste gaat van de exacte match van de originele marginaal.

Betekenis en Conclusie

Dit paper toont aan dat huidige LLMs moeite hebben met het redeneren over complexe, contextuele emotionele signalen en vaak de onafhankelijkheidsaannames van traditionele classificatie vasthouden.

De introductie van EmoScene biedt een uitdagender testomgeving dan bestaande benchmarks. De voorgestelde Entanglement-Aware Bayesiaanse Inferentie is een efficiënte, niet-trainende oplossing die de structurele consistentie van emotievoorspellingen verbetert door gebruik te maken van statistische co-occurrence patronen. Dit onderstreept dat het modelleren van afhankelijkheden tussen emoties cruciaal is voor robuust emotiebegrip.

Beperkingen:

• De scenario's zijn gegenereerd door een AI en missen mogelijk de volledige diversiteit van menselijke verhalen.
• De dataset is puur tekstueel en mist multimodale signalen (gezichtsuitdrukkingen, stem).
• Het Bayesiaanse model modelleert voornamelijk paar-afhankelijkheden en captureert mogelijk geen hogere-orde interacties.

Toekomstig werk zal gericht zijn op het uitbreiden van EmoScene naar andere talen en modaliteiten, en het onderzoeken van preferentie-tuning strategieën om het emotionele bewustzijn van LLMs verder te verbeteren.