Unveiling the Cognitive Compass: Theory-of-Mind-Guided Multimodal Emotion Reasoning

Titel: Het Ontmaskeren van de Cognitieve Kompas: Theorie-van-De-Mind-Gestuurde Multimodale Emotie-Redenering

Auteurs: Meng Luo, Bobo Li, Shanqing Xu, et al. (Nationale Universiteit van Singapore, Huazhong University of Science and Technology, The Hong Kong Polytechnic University).

---

1. Het Probleem

Ondanks de snelle vooruitgang in Multimodale Grootte Taalmodellen (MLLMs), blijft hun vermogen tot diepgaand emotioneel begrip beperkt. Bestaande systemen focussen vaak op oppervlakkige emotieherkenning en negeren de dynamische, contextafhankelijke aard van emoties en hun complexe relatie met andere mentale staten (zoals overtuigingen, intenties en intenties).

De huidige evaluatieparadigma's missen een unified cognitief kader om de redeneercapaciteiten van modellen te diagnosticeren. Dit leidt tot:

• Emotionele hallucinaties: Modellen genereren plausibele maar onjuiste emotionele conclusies.
• Gebrek aan diepgang: Modellen kunnen geen complexe, tweedegraads redeneringen uitvoeren (bijv. "Wat denkt X dat Y voelt?").
• Onbetrouwbare redeneringsketens: Zelfs met Chain-of-Thought (CoT) zijn de redeneringen vaak coherent in vorm, maar ontrouw aan de feitelijke mentale staten.

2. Methodologie

De auteurs introduceren een tweeledige aanpak: een hiërarchisch benchmark en een nieuw trainingsframework.

A. HitEmotion Benchmark

Dit is een hiërarchisch, op Theory of Mind (ToM) gebaseerd benchmark dat 24 diverse taken omvat, georganiseerd in drie cognitieve niveaus van toenemende complexiteit:

1. Niveau 1: Emotieperceptie en -herkenning (EPR): Directe classificatie van expliciete emotionele staten uit multimodale inputs (beeld, audio, tekst).
2. Niveau 2: Emotiebegrip en -analyse (EUA): Contextuele analyse, intentieherkenning en het begrijpen van relaties tussen emoties en situaties (bijv. humor, sarcasme, overtuigingskracht).
3. Niveau 3: Emotiecognitie en -redenering (ECR): Causale redenering, tweedegraads ToM (mentale staten over mentale staten), en het verklaren van waarom emoties ontstaan of veranderen.

De dataset bevat 20.114 instanties afkomstig van 24 bestaande datasets, gestructureerd in een gestandaardiseerd QA-formaat met zorgvuldig gecontroleerde "prompt-answer-context" tripletten.

B. TMPO Framework (Theory-of-Mind Preference Optimization)

Om de redeneercapaciteiten te verbeteren, stellen de auteurs TMPO voor, een framework dat bestaat uit twee fasen:

1. ToM-gebaseerde Prompting: Het gebruik van gestructureerde prompts die het model dwingen om redeneerketens te genereren die mentale staten expliciet volgen (bijv. "Wat ziet het personage?", "Wat denkt het personage?", "Wat is de intentie?").
2. Supervised Fine-Tuning (SFT): Het model wordt getraind om gestructureerde output te genereren met <thought> en <answer> tags, waarbij het de cognitieve redenering van het eindantwoord scheidt.
3. Group-wise Reward Policy Optimization (GRPO): Een versterkingsleer (RL) methode die gebruikmaakt van een multi-dimensionale beloningsfunctie ($R(y)$) om het model te optimaliseren. De beloning bestaat uit vier componenten:
   • Structuur ($R_{structure}$): Zorgt voor de juiste XML-vorm en volgorde van redeneerstappen.
   • Inhoud ($R_{content}$): Evalueert de juistheid van het eindantwoord.
   • Proces ($R_{process}$): Moedigt het gebruik van ToM-specifieke terminologie aan (bijv. "overtuiging", "intentie").
   • Consistentie ($R_{consistency}$): Straft logische tegenstrijdigheden of feitelijke onjuistheden in de redenering af.

3. Belangrijkste Bijdragen

1. HitEmotion Benchmark: Het eerste benchmark dat emotionele intelligentie systematisch diagnoseert op basis van cognitieve diepte (ToM-niveaus), in plaats van alleen oppervlakkige nauwkeurigheid.
2. TMPO Framework: Een innovatieve RL-methode die mentale staten gebruikt als procesniveau-supervisie. Dit verschuift de redenering van een "algemene emergente" vaardigheid naar een "gedomineerde, aangeleerde" vaardigheid.
3. Uitgebreide Evaluatie: Het paper biedt een gedetailleerde analyse van 17 MLLMs (zowel open-source als gesloten bron), inclusief state-of-the-art modellen zoals GPT-4o, Gemini-2.5-Pro en diverse Qwen/LLaVA-varianten.

4. Resultaten

Uitgebreide experimenten tonen de volgende bevindingen:

• Deficiënties in Bestaande Modellen: Zelfs de beste SOTA-modellen presteren slecht op de cognitief veeleisende taken (Niveau 3). Hun scores dalen drastisch naarmate de taakcomplexiteit toeneemt, wat aantoont dat ze vaak slechts oppervlakkige patronen herkennen.
• Effectiviteit van ToM-Prompting: Het toepassen van ToM-prompting verbetert de prestaties van gesloten bronmodellen aanzienlijk, vooral op complexe taken. Dit bevestigt dat ToM als een "steiger" (scaffold) werkt voor redenering.
• Superioriteit van TMPO: Het volledig geoptimaliseerde model (TMPO met GRPO) overtreft de meeste basismodellen en haalt vaak de prestaties van top-tier gesloten systemen (zoals Gemini-2.5-Pro) in op 16 van de 24 taken.
• Kwaliteit van Redenering: Modellen getraind met TMPO genereren redeneringsketens die niet alleen nauwkeuriger zijn, maar ook logischer consistent en "trouw" (faithful) aan de multimodale context. Ze verminderen hallucinaties en tonen beter vermogen om causale verbanden te leggen.

5. Betekenis en Impact

Dit werk is een mijlpaal in het veld van affectieve computing en multimodale AI:

• Van Feit naar Simulatie: Het biedt een pad om MLLMs te transformeren van simpele "emotionele feitenretrievers" naar systemen die complexe mentale staten kunnen simuleren.
• Praktisch Toolkit: HitEmotion en TMPO vormen een robuust toolkit voor onderzoekers om de cognitieve intelligentie van AI-systemen te evalueren en te verbeteren.
• Empathische AI: Door de focus te leggen op Theory of Mind, faciliteert dit onderzoek de ontwikkeling van echt empathische AI-systemen die menselijke interacties dieper kunnen begrijpen, wat essentieel is voor toepassingen in zorg, onderwijs en mens-machine interactie.

De dataset en code zijn beschikbaar via: https://HitEmotion.github.io/.