💻 computer science

Foundation Model Embeddings Meet Blended Emotions: A Multimodal Fusion Approach for the BLEMORE Challenge

Ce papier présente une approche de fusion tardive combinant six familles d'encodeurs multimodaux, dont l'utilisation novatrice de Gemini Embedding 2.0, pour atteindre la 6ᵉ place au défi BLEMORE de reconnaissance des émotions mélangées et de prédiction de saillance relative.

Auteurs originaux : Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Publié 2026-03-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Masoumeh Chapariniya, Aref Farhadipour, Sarah Ebling, Volker Dellwo, Teodora Vukovic

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Défi : Comprendre les Émotions "Mélange"

Imaginez que vous regardez un film. Parfois, un personnage ne ressent qu'une seule émotion, comme la colère pure. Mais souvent, la vie est plus complexe : un personnage peut être à la fois en colère et effrayé, ou joyeux et triste. C'est ce qu'on appelle des "émotions mélangées".

Le défi BLEMORE (dont parle ce papier) consiste à créer un ordinateur capable de regarder une vidéo, d'entendre le son, et de dire : "Ah, cette personne est 70% en colère et 30% effrayée".

Le problème ? Les humains sont tous différents. Ce qui semble être un rire pour l'un peut être un sanglot pour un autre. De plus, les émotions changent très vite.

🛠️ La Solution : Une Équipe de Détectives (Le Système)

L'équipe de chercheurs de l'Université de Zurich a créé un système qui fonctionne comme une équipe de détectives. Au lieu d'avoir un seul expert, ils en ont assemblé six, chacun spécialisé dans un domaine différent, pour prendre une décision collective.

Voici comment fonctionne leur "équipe" :

1. Le Détective du Visage (S4D-ViTMoE)

C'est l'expert qui regarde uniquement le visage.

L'analogie : Imaginez un photographe qui ne voit que le visage, sans le fond, pour se concentrer sur les micro-mouvements des muscles.
L'astuce : Ils ont entraîné ce détective à comprendre non pas juste "colère" ou "joie", mais les mélanges précis (comme un smoothie de 70% de fraise et 30% de banane).

2. Le Détective du Corps (TimeSformer & VideoMAE)

Parfois, le visage ment, mais le corps ne ment pas.

L'analogie : Si quelqu'un a un visage impassible mais qu'il tape du pied nerveusement et croise les bras, il est probablement stressé. Ces détectives regardent la personne en entier, pas juste la tête.

3. Le Détective de la Voix (Wav2Vec2)

C'est ici que ça devient intéressant. Dans ce jeu, les gens ne parlent pas vraiment ; ils rient, pleurent, soupirent ou grognent.

Le problème : Les détectives de voix classiques sont entraînés pour comprendre les mots (comme "Bonjour" ou "Non"). Ici, les mots n'existent pas !
La solution géniale : Au lieu d'essayer de faire parler le détective (ce qui le ferait rater), les chercheurs ont dit : "Écoute seulement les couches intermédiaires de ton cerveau". Ils ont utilisé une partie de l'IA qui est bonne pour entendre le rythme et l'intensité (la prosodie), mais ignoré la partie qui cherche les mots. C'est comme écouter la musique d'un film sans écouter les dialogues pour deviner l'ambiance.

4. Le Super-Héros de l'IA (Gemini Embedding 2.0)

C'est la grande nouveauté de ce papier. Ils ont utilisé un modèle d'IA gigantesque (Gemini), habituellement utilisé pour tout faire (voir, lire, écrire).

L'exploit : Ils ont demandé à ce géant de regarder seulement 2 secondes de vidéo.
Le résultat : Même avec si peu de temps, ce géant a été étonnamment bon. C'est comme si vous pouviez deviner le genre d'un film juste en regardant 2 secondes du générique de début. Cela prouve que ces IA géantes ont déjà "appris" beaucoup d'émotions en voyant des milliards de vidéos sur internet.

🤝 La Réunion Finale : La Fusion

Une fois que chaque détective a donné son avis, ils se réunissent autour d'une table.

Le système ne fait pas une moyenne simple. Il donne plus de poids aux détectives qui ont raison le plus souvent.
Par exemple, le "Super-Héros" (Gemini) et le "Détective du Visage" ont eu les voix les plus importantes dans la décision finale.

🚧 Le Problème Caché : La Règle du "Seuil"

C'est la découverte la plus importante et la plus drôle du papier.

Pour transformer les opinions des détectives en une réponse finale (ex: "70% colère"), il faut utiliser des règles arbitraires, comme des seuils de déclenchement.

Exemple : "Si la probabilité de colère est supérieure à 0,10, alors c'est de la colère."

Le problème : Les chercheurs ont découvert que ce seuil idéal changeait radicalement d'un acteur à l'autre !

Pour l'acteur A, il fallait un seuil très bas (0,05).
Pour l'acteur B, il fallait un seuil très haut (0,43).
C'est comme si chaque personne avait son propre "style d'expression" unique. Ce qui est un rire pour l'un est un sourire pour l'autre.

Conclusion sur ce point : Le plus grand obstacle n'est pas que l'IA soit "bête", mais que les humains sont trop individuels. L'IA a du mal à s'adapter à la "personnalité" unique de chaque personne.

🏆 Le Résultat

Grâce à cette équipe de détectives et à l'utilisation intelligente de l'IA géante (Gemini), leur système a fini 6ème sur le podium mondial de ce défi.

Ils ont battu les meilleurs systèmes précédents.
Ils ont prouvé que regarder seulement 2 secondes de vidéo avec une IA géante peut être aussi efficace que d'analyser toute la vidéo avec des outils spécialisés.

En résumé

Ce papier nous dit trois choses simples :

Pour les émotions complexes, il faut une équipe (visage + corps + voix).
Les IA géantes (comme Gemini) sont déjà très fortes pour comprendre les émotions, même avec très peu de temps d'observation.
Le vrai défi n'est pas technique, mais humain : Chaque personne exprime ses émotions à sa manière, et c'est cette diversité qui rend le travail difficile pour les ordinateurs.

1. Problématique et Contexte

L'article aborde le défi de la reconnaissance des émotions mélangées (blended emotions) et de la prédiction de leur saillance relative (l'intensité relative de chaque émotion dans un mélange). Contrairement aux émotions de base discrètes, les humains expriment souvent plusieurs émotions simultanément avec des niveaux de dominance variables (ex. : 70 % colère / 30 % peur).

Le défi BLEMORE (FG 2026) utilise un jeu de données contenant 3 050 clips vidéo de 58 acteurs, annotés avec des ratios de saillance spécifiques (50/50, 70/30, 30/70). Le système doit résoudre deux problèmes couplés :

Reconnaissance de présence : Quelles émotions sont exprimées ?
Reconnaissance de saillance : Quel est le ratio de dominance ?

La métrique d'évaluation est un score composite : $Score = 0.5 \times ACCP + 0.5 \times ACCS$ , où $ACCP$ est la précision de présence et $ACCS$ la précision de saillance. Un défi majeur identifié est la sensibilité des seuils de post-traitement ( $\alpha$ pour la présence, $\beta$ pour la saillance) qui varient considérablement d'un acteur à l'autre, entraînant un risque de surapprentissage spécifique aux acteurs.

2. Méthodologie

L'approche proposée est un système d'ensemble multimodal combinant six familles d'encodeurs via une fusion tardive (late fusion) des probabilités.

A. Encodeurs Visuels (Visage et Corps)

S4D-ViTMoE (Visage) : Adaptation du transformateur vidéo S4D (pré-entraîné sur des expressions faciales catégorielles).
- Prétraitement : Recadrage facial aligné (MTCNN) pour correspondre au domaine de pré-entraînement.
- Entraînement : Remplacement de la perte d'entropie croisée par une divergence KL sur des labels doux (soft-labels) pour préserver les ratios de mélange (ex. : [0.7, 0, 0.3...]).
- Stratégie : Gel des couches 0-5, fine-tuning uniquement des adaptateurs MoE (couches 6-11) et de la tête de classification.
Encodeurs de Langage Corporel (TimeSformer et VideoMAE) :
- Entraînés sur des cadres complets (sans recadrage facial) pour capturer les gestes et la posture, complétant ainsi l'information faciale.
- Utilisation de la même stratégie d'entraînement avec labels doux.

B. Encodeur Audio

Wav2Vec2 (Sélection de couches) :
- Observation clé : Les données audio de BLEMORE sont non-linguistiques (rires, pleurs, gémissements). Les couches supérieures de Wav2Vec2 (optimisées pour la phonétique) sont donc inutiles.
- Approche : Extraction des états cachés des couches intermédiaires (6 à 12) qui encodent la prosodie et les propriétés paralinguistiques. Ces caractéristiques sont figées (frozen) et traitées par un classifieur MLP léger.
- Résultat : Cette approche surpasse le fine-tuning end-to-end de 22 %, évitant le surapprentissage sur le petit jeu de données.

C. Embeddings de Modèles Fondamentaux (LMM)

Gemini Embedding 2.0 : Première application d'un grand modèle multimodal (LMM) pour la reconnaissance d'émotions mélangées.
- Extraction d'embeddings à partir des 2 premières secondes seulement des clips vidéo.
- Malgré la contrainte temporelle, ces embeddings capturent des sémantiques émotionnelles riches, atteignant une précision de présence compétitive.

D. Fusion et Post-traitement

Fusion tardive : Combinaison pondérée des vecteurs de probabilité de sortie de 12 encodeurs (6 familles principales + baselines pré-extraites comme HiCMAE, ImageBind, etc.). Les poids sont optimisés par recherche sur grille sur les plis de validation.
Post-traitement : Conversion des probabilités continues en prédictions discrètes via deux seuils :
- $\alpha$ : Seuil de présence.
- $\beta$ : Seuil de saillance (déterminant si le ratio est 50/50 ou 70/30).

3. Résultats Clés

Le système final (12 encodeurs) a obtenu les performances suivantes sur l'ensemble de test :

Score Global : 0.279 (Classement 6ème).
Précision de Présence (ACCP) : 0.391 (nettement supérieur au meilleur baseline de 0.332).
Précision de Saillance (ACCS) : 0.168.

Comparaisons notables :

L'ajout des embeddings Gemini a amélioré le score de 0.262 à 0.279 (+6,5 %).
L'approche audio avec couches figées (Score 0.207) a largement surpassé le fine-tuning complet (Score 0.161).
Les encodeurs adaptés à la tâche (S4D, TimeSformer, etc.) ont reçu 62 % du poids total de l'ensemble, contre 38 % pour les baselines générales.

4. Contributions et Découvertes Majeures

Adaptation S4D-ViTMoE : Développement d'un pipeline complet pour les émotions mélangées, incluant l'entraînement avec des labels doux pour préserver l'information de saillance.
Sélection de couches audio : Démonstration que pour les données non-linguistiques, extraire les couches prosodiques (6-12) de modèles pré-entraînés figés est supérieur au fine-tuning end-to-end, surtout sur de petits jeux de données.
Utilisation de LMM (Gemini 2.0) : Preuve de concept que les embeddings de grands modèles multimodaux, même extraits de très courts segments (2s), sont compétitifs et apportent des informations complémentaires uniques.
Analyse de sensibilité des seuils : Révélation que le seuil optimal de saillance ( $\beta$ ) varie énormément (de 0,05 à 0,43) selon les plis de validation. Cela indique que le style d'expression personnel de chaque acteur est le principal goulot d'étranglement, et non la capacité du modèle.

5. Signification et Perspectives

Ce travail met en évidence que pour la reconnaissance d'émotions complexes et mélangées :

La sélection intelligente des caractéristiques pré-entraînées (couches spécifiques, domaines adaptés) est plus critique que l'adaptation architecturale massive.
Les modèles fondamentaux (LMM) offrent une nouvelle voie prometteuse, capables de généraliser à partir de très peu de données temporelles.
L'évaluation actuelle basée sur des seuils fixes est fondamentalement limitée par la variabilité inter-individuelle. Les auteurs suggèrent des directions futures comme la régression continue de la saillance ou des méthodes d'adaptation spécifiques aux acteurs pour surmonter ce biais.

En résumé, cette approche multimodale hybride, combinant des encodeurs spécialisés et des embeddings de modèles fondationnels, établit un nouvel état de l'art pour le défi BLEMORE, tout en soulignant les défis persistants liés à la subjectivité de l'expression émotionnelle humaine.