Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach

1. Het Probleem

Multimodale Large Language Models (MLLMs) hebben indrukwekkende prestaties geleverd in diverse taken, maar hun vermogen om emoties uit beelden waar te nemen (Affective Image Content Analysis - AICA) blijft omstreden. Bestaande evaluatiemethoden vertonen vier fundamentele tekortkomingen wanneer ze op MLLMs worden toegepast:

1. Structuurbeperkingen: Traditionele methoden gebruiken vaste "ground truth" antwoorden voor open vragen. Dit negeert de inherente subjectiviteit van emotieperceptie; een antwoord dat voor een mens logisch is, wordt vaak als onjuist gemarkeerd door rigide metrics.
2. Beperkte taxonomieën: Veel benchmarks (zoals FI of Artemis) beperken zich tot een klein aantal emotiecategorieën (vaak slechts 8), wat geen ruimte laat voor fijnmazige affectieve nuances.
3. Gebrek aan context: Bestaande methoden focussen uitsluitend op intrinsieke beeldkenmerken en negeren cruciale extrinsieke factoren zoals de scène-context en de identiteit van de kijker.
4. Schaalbaarheid: Huidige datasets zijn vaak afhankelijk van arbeidsintensieve crowdsourcing met meerderheidsstemming (bijv. EMOTIC met bijna 24.000 annotatoren), wat de schaalbaarheid en generalisatie beperkt.

2. Methodologie

De auteurs introduceren een tweeledige oplossing: een nieuwe taak en een geautomatiseerde annotatiepijplijn.

A. De Emotion Statement Judgment (ESJ) Taak

In plaats van een open vraag te stellen (bijv. "Welke emotie zie je?"), krijgt het MLLM een beeld en een bewering (statement) over de emotie in dat beeld. De taak is om te oordelen of de bewering correct is ("Correct" of "Incorrect").
De beweringen dekken vier complementaire dimensies, gebaseerd op affectieve cognitietheorie:

1. Sentiment Polarity: Bepalen van de algemene emotionele toon (positief, negatief, gemengd) zonder extra aanwijzingen.
2. Emotion Interpretation: Verifiëren of de oorzaak van een emotie consistent is met de emotionele staat.
3. Scene Context: Begrijpen hoe de context van de scène de emotionele reactie beïnvloedt.
4. Perception Subjectivity: Voorspellen hoe een specifieke kijker (bijv. gebaseerd op identiteit) de emotie zou ervaren, wat de subjectiviteit test.

B. De INSETS Pijplijn (INtelligent ViSual Emotion Tagger and Statement Constructor)

Om de benodigde data te genereren zonder enorme menselijke inspanning, ontwikkelen de auteurs INSETS. Dit proces verloopt in twee fasen:

1. Open-Vocabulary Emotion Tagging:
   • Meerdere MLLMs analyseren beelden om open-vocabulary emoties te extraheren.
   • Een ensemble-mechanisme (meerderheidsstemming) filtert en consolideert deze labels.
   • De labels worden gekoppeld aan het Parrott's Hierarchical Emotion Model (6 primaire, 25 secundaire, 113 tertiaire categorieën) via GPT-4 en menselijke correctie, wat resulteert in een uitgebreid model genaamd POM.
2. Emotion Statement Construction:
   • Op basis van de geannoteerde labels worden prototype-beweringen gegenereerd door de MLLMs.
   • Er worden zowel correcte als incorrecte beweringen gegenereerd door strategieën zoals "inter-image disruption" (verwisselen van interpretaties tussen visueel vergelijkbare maar emotioneel verschillende beelden) en "polarity flipping" (omdraaien van de emotie-polariteit).
   • Dit resulteert in een groot corpus van automatisch gegenereerde data.

C. De MVEI Benchmark

Op basis van het automatisch gegenereerde corpus INSETS-462k (462.000 samples) hebben de auteurs een gefilterde benchmark genaamd MVEI (Multifaceted evaluation of Visual Emotion Intelligence) samengesteld.

• Schaal: 3.086 unieke beeld-bewering paren.
• Kwaliteit: Menselijke verfijning door 5 afgestudeerde studenten (psychologie) om de nauwkeurigheid te garanderen.
• Diversiteit: Dekking van meer dan 400 unieke emotielabels.

3. Belangrijkste Bijdragen

1. Nieuwe Evaluatieparadigma: Introductie van de ESJ-taak, die de beperkingen van vaste ground-truth antwoorden overwint en ruimte biedt voor subjectiviteit en context.
2. Schalbare Pijplijn: Ontwikkeling van INSETS, een geautomatiseerd systeem dat open-vocabulary emotielabels en multifaceted beweringen genereert met minimale menselijke tussenkomst.
3. MVEI Benchmark: Publicatie van een uitgebreide, psychologisch onderbouwde benchmark voor de evaluatie van visuele emotionele intelligentie in MLLMs.
4. Systematische Evaluatie: Een grondige analyse van de prestaties van state-of-the-art MLLMs (zoals GPT-4o, InternVL2.5, Qwen2-VL) en menselijke prestaties.

4. Resultaten

De evaluatie op de MVEI benchmark levert de volgende inzichten op:

• MLLM vs. Mens: Zelfs de beste MLLMs (zoals GPT-4o) presteren aanzienlijk slechter dan mensen. Mensen bereiken een gemiddelde nauwkeurigheid van 91,6%, terwijl de beste MLLMs rond de 78-79% scoren.
• Sterke Punten: MLLMs doen het redelijk goed bij Emotion Interpretation (het verklaren van oorzaken) en het herkennen van basisemotionele tonen.
• Zwakke Punten: De grootste kloof met mensen zit in Sentiment Polarity (het onderscheiden van positief/negatief/gemengd) en Perception Subjectivity (het begrijpen van individuele verschillen in perceptie).
• Aanpassing (Adaptation): Experimenten met fine-tuning (LoRA, Full Parameter) en in-context learning tonen aan dat prestaties bij sentiment-polariteit sterk kunnen worden verbeterd (tot +21% bij full fine-tuning). Echter, de prestaties op Perception Subjectivity verbeteren slechts marginaal, wat suggereert dat dit een fundamentele beperking is van de huidige modelarchitecturen en niet alleen een kwestie van gebrek aan trainingdata.
• Bias: Er wordt een duidelijke bias waargenomen in de datasets (meer positieve dan negatieve content), wat de prestaties kan beïnvloeden.

5. Betekenis en Impact

Dit werk is significant omdat het een fundamentele verschuiving biedt in hoe we emotionele intelligentie in AI evalueren.

• Van classificatie naar oordeel: Het verplaatst de focus van het classificeren van een beperkt aantal labels naar het beoordelen van nuance en context, wat beter aansluit bij hoe mensen emoties ervaren.
• Schalbaarheid: Het bewijst dat het mogelijk is om grote, hoogwaardige emotionele datasets te creëren zonder de traditionele, dure crowdsourcing-methoden.
• Toekomstrichting: De bevindingen dat MLLMs worstelen met subjectiviteit, wijst op een cruciale richting voor toekomstig onderzoek: het ontwikkelen van modellen die niet alleen "wat er te zien is" begrijpen, maar ook "hoe verschillende mensen dit zouden ervaren". Dit is essentieel voor de ontwikkeling van echt empathische AI-systemen.

Kortom, het paper biedt een robuust kader (ESJ + INSETS + MVEI) om de emotionele intelligentie van multimodale modellen te meten, te verbeteren en te begrijpen, met de erkenning dat er nog een grote weg te gaan is voordat AI menselijk niveau bereikt in het begrijpen van emotionele nuance en subjectiviteit.