Customizing Visual Emotion Evaluation for MLLMs: An Open-vocabulary, Multifaceted, and Scalable Approach

Cet article propose un cadre d'évaluation ouvert et évolutif pour les modèles de langage multimodaux (MLLM) afin d'évaluer leur compréhension des émotions visuelles via une tâche de jugement d'énoncés automatisée, révélant ainsi des progrès significatifs tout en mettant en lumière un écart persistant par rapport à la subjectivité humaine.

L'essentiel

🎨 Le Défi : Comprendre les émotions d'une image, c'est comme lire entre les lignes

Imaginez que vous montrez une photo à un ami et à un robot.

• L'ami voit un pompier qui court vers un incendie. Il dit : "C'est effrayant, mais c'est aussi courageux. Ça dépend de si on est le pompier ou le spectateur."
• Le robot (une Intelligence Artificielle Multimodale ou MLLM) regarde la photo et essaie de deviner l'émotion. Parfois, il dit "C'est triste" parce qu'il y a du feu. Parfois, il dit "C'est joyeux" parce qu'il y a des gens qui sauvent des vies.

Le problème, c'est que les chercheurs ne savaient pas vraiment comment tester si ces robots étaient de bons "lecteurs d'émotions". Les anciens tests étaient trop rigides, comme un examen de mathématiques où il n'y a qu'une seule bonne réponse. Or, les émotions humaines ne sont pas des maths ! Elles sont floues, subjectives et dépendent du contexte.

🛠️ La Solution : Le "Juge de Déclarations" (ESJ)

Les auteurs de ce papier (publié à ICLR 2026) ont eu une idée brillante : au lieu de demander au robot "Quelle est l'émotion ?" (ce qui est trop ouvert et difficile à corriger), ils lui demandent de juger une phrase.

C'est comme un jeu de "Vrai ou Faux" :

• L'ordinateur vous donne une phrase : "Cette image évoque probablement de la peur."
• Le robot doit dire : "C'est Vrai" ou "C'est Faux".

C'est beaucoup plus simple pour le robot, et beaucoup plus juste pour nous, humains, car cela permet de tester des nuances.

🏭 L'Usine à Émotions (INSETS)

Pour créer ce jeu, il fallait des millions de phrases et d'images. Faire cela à la main aurait pris des années (et des milliers d'humains). Alors, les chercheurs ont construit une usine automatique appelée INSETS.

Imaginez une chaîne de montage intelligente :

1. Les Ouvriers (les Robots) : Plusieurs modèles d'IA regardent des milliers de photos et disent ce qu'elles ressentent (ex: "Joie", "Tristesse", "Admiration").
2. Le Chef d'Équipe (GPT-4) : Il vérifie que ces mots sont bien des émotions et les classe dans un grand arbre de connaissances (comme un dictionnaire géant des sentiments).
3. Les Constructeurs : L'usine crée des phrases pour chaque photo. Parfois, elle crée des phrases vraies, et parfois, elle invente des phrases fausses (des pièges) pour tester le robot.

Grâce à cette usine, ils ont créé MVEI, un immense banc d'essai avec 3 000 images et des milliers de phrases, prêt à être utilisé pour tester les robots.

🧪 Le Résultat : Les robots sont intelligents, mais pas encore humains

Ils ont fait passer l'examen à plusieurs robots célèbres (comme GPT-4o, Qwen, etc.) et ont comparé leurs résultats avec ceux de vrais humains.

Voici ce qu'ils ont découvert :

• Les robots sont devenus très forts pour comprendre les émotions de base (comme dire si une image est triste ou joyeuse). C'est comme s'ils avaient appris à lire les gros titres.
• Mais ils échouent sur les nuances.
  • Le Contexte : Si on dit "C'est un pompier qui sauve une famille", le robot comprend mieux l'urgence. Sans cette phrase, il peut se tromper.
  • La Subjectivité (Le gros point faible) : C'est là que ça coince. Si on demande : "Un homme de 35 ans se sentirait-il plus effrayé qu'urgent face à ce feu ?", les robots sont perdus. Ils ne comprennent pas encore que chaque personne ressent les choses différemment selon son âge, son métier ou son histoire.

🚀 En résumé

Ce papier nous dit deux choses importantes :

1. On a enfin un bon outil de mesure. Avant, on ne savait pas si les robots comprenaient vraiment les émotions. Maintenant, avec le jeu "Vrai ou Faux" (ESJ), on peut les tester précisément.
2. Il reste du travail. Les robots sont de bons observateurs, mais ils ne sont pas encore de bons psychologues. Ils comprennent la "peinture" (l'image), mais ils ne comprennent pas encore le "spectateur" (l'humain qui regarde).

C'est une grande étape pour rendre les intelligences artificielles plus empathiques et plus humaines dans leur compréhension du monde visuel.

Résumé technique

1. Problématique

Les Modèles de Langage Multimodaux (MLLMs) ont montré des performances exceptionnelles dans de nombreuses tâches, mais leur capacité à percevoir et à interpréter les émotions visuelles reste débattue. Les études existantes produisent des résultats divergents, souvent en raison de limitations inhérentes aux méthodes d'évaluation traditionnelles :

• Contraintes structurelles : L'utilisation de réponses "vérité terrain" fixes pour des questions ouvertes exclut des réponses plausibles mais différentes, alors que la perception émotionnelle est intrinsèquement subjective.
• Taxonomies limitées : La plupart des benchmarks se basent sur des catégories émotionnelles prédéfinies et restreintes (ex: 8 catégories), incapables de capturer les nuances fines.
• Négligence du contexte : Les évaluations se concentrent souvent sur les attributs intrinsèques de l'image, ignorant les facteurs extrinsèques (contexte de la scène, identité du spectateur).
• Coût d'annotation : Les méthodes actuelles reposent sur des votes majoritaires humains coûteux et peu évolutifs pour des annotations fines.

2. Méthodologie

Pour surmonter ces obstacles, les auteurs proposent une approche en deux volets : une nouvelle tâche d'évaluation et un pipeline d'annotation automatisé.

A. La Tâche : Jugement de Déclaration Émotionnelle (ESJ - Emotion Statement Judgment)

Au lieu de demander au modèle de générer une émotion ou d'expliquer une image (tâches ouvertes), l'ESJ demande au MLLM de juger la véracité d'une déclaration spécifique concernant l'image.
Cette tâche est structurée autour de quatre dimensions complémentaires inspirées de la cognition affective :

1. Polarité Sentimentale : Le modèle doit déterminer si l'émotion globale est positive, négative ou mixte.
2. Interprétation Émotionnelle : Vérifier la cohérence entre une explication de la cause de l'émotion et l'état émotionnel identifié.
3. Contexte Scénique : Évaluer la compréhension de l'interaction entre le contexte de la scène et la réponse émotionnelle.
4. Subjectivité de la Perception : Prédire si un spectateur spécifique (ex: un pompier de 35 ans) ressentirait une émotion particulière par rapport à une autre, testant la capacité du modèle à saisir la subjectivité.

B. Le Pipeline d'Annotation : INSETS

Pour générer les données nécessaires à l'ESJ sans effort humain massif, les auteurs développent INSETS (INtelligent ViSual Emotion Tagger and Statement Constructor) :

1. Étiquetage Émotionnel à Vocabulaire Ouvert : Plusieurs MLLMs extraient des émotions potentielles des images. Ces émotions sont filtrées et mappées sur le Modèle Hiérarchique de Parrott (6 émotions primaires, 25 secondaires, 113 tertiaires) via un mécanisme de vote majoritaire pour assurer la fiabilité.
2. Construction de Déclarations : À partir des étiquettes validées, le pipeline génère automatiquement des déclarations "correctes" et "incorrectes" pour les quatre dimensions de l'ESJ. Cela inclut la création de "prototypes" (explications, contextes, personnages) et l'introduction de perturbations (ex: inversion de polarité, substitution de contexte) pour créer des cas de test négatifs.

C. Les Ressources Créées

• INSETS-462k : Un corpus massif de 462 000 échantillons annotés automatiquement.
• MVEI (Multifaceted Evaluation of Visual Emotion Intelligence) : Un benchmark final de 3 086 paires image-déclaration, soigneusement raffinées par des experts humains (5 étudiants diplômés), assurant une haute qualité et une diversité de 424 étiquettes émotionnelles distinctes.

3. Contributions Clés

1. Identification des lacunes : Mise en évidence de l'incompatibilité des méthodes d'évaluation classiques avec les MLLMs et proposition de la tâche ESJ pour y remédier.
2. Pipeline INSETS : Développement d'une méthode évolutive pour l'annotation d'images avec des étiquettes à vocabulaire ouvert et la construction de déclarations multifacettes avec un effort humain minimal.
3. Benchmark MVEI : Création d'une référence standardisée couvrant la polarité, l'interprétation, le contexte et la subjectivité, permettant une évaluation approfondie des MLLMs.

4. Résultats et Évaluations

Les auteurs ont évalué une large gamme de MLLMs (open-source et propriétaires, y compris GPT-4o) sur le benchmark MVEI :

• Performance Globale : Les MLLMs récents surpassent les modèles plus anciens, mais aucun ne domine dans toutes les dimensions.
• Écart avec l'Humain : Les humains atteignent une précision moyenne de 91,6 %, tandis que les meilleurs MLLMs (comme GPT-4o) plafonnent autour de 72,5 %.
• Points Faibles des MLLMs :
  • Polarité Sentimentale : Les modèles peinent à distinguer les frontières entre les catégories (positif/négatif/mixte).
  • Subjectivité de la Perception : C'est la dimension la plus difficile. Les modèles échouent à capturer les différences individuelles dans la perception émotionnelle, un écart qui persiste même après adaptation.
• Impact de l'Adaptation : L'utilisation de techniques d'adaptation (LoRA, Fine-tuning complet, Chain-of-Thought) améliore significativement les performances, surtout sur la polarité sentimentale (+15 à +20 points). Cependant, l'amélioration sur la subjectivité reste modeste, suggérant un défi fondamental lié à la nature des modèles.

5. Signification et Conclusion

Ce travail établit une fondation pour l'avancement de l'intelligence émotionnelle des MLLMs.

• Évaluation Personnalisée : Il démontre que l'évaluation des émotions visuelles doit passer d'une classification rigide à un jugement de déclarations contextualisées et subjectives.
• Limites Actuelles : Il révèle que, bien que les MLLMs soient compétents pour l'interprétation de base et le raisonnement affectif, ils manquent encore de la nuance humaine nécessaire pour comprendre la subjectivité émotionnelle.
• Futur de la Recherche : Le benchmark MVEI et le pipeline INSETS offrent des outils essentiels pour guider le développement futur des modèles, en soulignant la nécessité de pré-entraînements orientés vers la subjectivité et de données plus diversifiées.

En somme, cette recherche propose une nouvelle voie pour évaluer et améliorer la capacité des IA à comprendre non seulement ce qui est représenté dans une image, mais comment cela est ressenti par différents observateurs.