💻 computer science

Two-Stage Multimodal Framework for Emotion Mimicry Intensity Prediction

Ce papier présente un cadre multimodal à deux étapes qui entraîne indépendamment des encodeurs de texte, d'audio, de vision et de mouvement avant de les fusionner via un régresseur léger pour prédire six dimensions continues d'intensité émotionnelle, obtenant la troisième place du défi Hume-ABAW10 sur l'intensité de la mimique émotionnelle avec une corrélation de Pearson de 0,57 sur l'ensemble de test.

Auteurs originaux : Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

Publié 2026-05-22

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Dinithi Dissanayake, Shaveen Silva, Ovindu Atukorala, Prasanth Sasikumar, Suranga Nanayakkara

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de deviner comment une personne se sent simplement en regardant une vidéo d'elle. Mais voici la particularité : vous ne devez pas simplement deviner « heureux » ou « triste ». Vous devez deviner l'intensité de six sentiments très spécifiques : l'admiration, l'amusement, la détermination, la douleur empathique, l'excitation et la joie.

Ce papier décrit la tentative d'une équipe de résoudre cette énigme pour une compétition appelée le défi Hume-ABAW10. Ils ont construit un système informatique qui agit comme un détective, assemblant des indices provenant de différentes sources pour faire sa meilleure hypothèse.

Voici comment leur système fonctionne, expliqué simplement :

1. Le Problème : Un Jeu de Données Désordonné et Sauvage

L'équipe a reçu des milliers de clips vidéo tournés « dans la nature » (pas en studio). Ces clips étaient désordonnés :

Durées différentes : Certaines vidéos ne duraient qu'une seconde ; d'autres dépassaient 10 000 images.
Indices manquants : Parfois, le texte (ce que la personne a dit) manquait, mais l'audio et la vidéo étaient présents.
Émotions rares : Certains sentiments, comme la « douleur empathique » (ressentir la douleur de quelqu'un d'autre), étaient presque jamais représentés dans les données. C'était comme essayer d'apprendre à reconnaître un oiseau rare alors que vous n'avez que des photos de moineaux.

2. La Solution : Une Équipe d'Experts en « Deux Étapes »

Au lieu d'essayer d'enseigner à un seul cerveau géant de tout faire d'un coup, l'équipe a construit un cadre en deux étapes. Imaginez que vous embauchiez une équipe de spécialistes avant de les réunir pour une réunion de groupe.

Étape 1 : Les Spécialistes S'entraînent Seuls
D'abord, ils ont entraîné quatre « experts » séparés (réseaux de neurones) sur un seul type d'indice :

L'Expert Texte : Lit la transcription de ce qui a été dit.
L'Expert Audio : Écoute le ton de la voix et le son.
L'Expert Visuel : Observe les expressions faciales.
L'Expert Mouvement : (Optionnel) Observe les mouvements subtils de la tête et du visage.

Chaque expert a appris à deviner les émotions en utilisant uniquement son indice spécifique. Les experts Texte et Audio se sont révélés être les meilleurs devineurs individuels. Les experts Visuel et Mouvement étaient plus faibles seuls, mais possédaient des insights uniques.

Étape 2 : La Réunion de Groupe (Fusion)
Une fois les experts entraînés, l'équipe les a réunis. Ils ne les ont pas simplement laissés crier les uns par-dessus les autres ; ils ont utilisé un « Régresseur de Fusion » léger (un gestionnaire intelligent).

Le Rôle du Gestionnaire : Il prend les notes de tous les experts, les combine et fait la prédiction finale.
Le Filet de Sécurité : Pour s'assurer que le système ne devient pas paresseux et ne se repose que sur l'expert Texte, ils ont utilisé une astuce appelée « Dropout de Modalité ». Pendant l'entraînement, ils cachaient aléatoirement les indices Texte ou Audio, forçant le gestionnaire à apprendre à utiliser les indices Visuels ou Mouvement lorsque les principaux manquaient.

3. L'Expérience « Mouvement »

L'équipe a ajouté un quatrième expert qui observait le mouvement (comment le visage bouge au fil du temps).

Le Résultat : Cet expert Mouvement n'a pas beaucoup changé le score. C'était comme ajouter une cinquième personne à un comité qui avait un tout petit peu d'information supplémentaire. Cela a aidé légèrement, mais ce n'était pas la star du spectacle. Le papier note que, bien que le gain soit faible, étudier comment le mouvement aide est intéressant pour l'avenir.

4. Les Résultats : Comment Ont-ils Performé ?

La Meilleure Stratégie : Le système a fonctionné le mieux lorsqu'ils lui ont fourni les quatre indices (Texte, Audio, Vision et Mouvement) et utilisé une plus grande quantité de données d'entraînement (en mélangeant certaines données de test dans l'ensemble d'entraînement).
Le Score : Lors de la compétition, leur système a atteint une corrélation moyenne de 0,57 sur le test final. Cela signifie que leurs hypothèses étaient modérément alignées avec les scores des juges humains.
Classement : Ils se sont classés 3e parmi toutes les équipes du défi.

5. Points Clés à Retenir

Les Mots et la Voix Gagnent : Si vous deviez choisir un seul indice, lire la transcription ou écouter la voix était le moyen le plus puissant de deviner l'intensité de l'émotion.
Les Visages et les Mouvements Aident : Voir le visage et le mouvement ne fonctionnait pas aussi bien seul, mais ils ajoutaient un peu de valeur supplémentaire lorsqu'ils étaient combinés aux mots et à la voix.
La Simplicité Est Bonne : Leur méthode était relativement simple par rapport à celle des gagnants. Ils n'ont pas utilisé de machines complexes et lourdes ; ils ont simplement bien entraîné des spécialistes, puis les ont laissés travailler ensemble.

En résumé : L'équipe a construit un système qui entraîne d'abord des experts individuels sur le texte, le son et la vidéo séparément, puis combine leurs opinions pour deviner l'intensité des émotions d'une personne. Ils sont arrivés troisième, prouvant qu'une approche simple et étapée fonctionne bien pour cette tâche difficile.

Résumé technique : Cadre multimodal à deux étapes pour la prédiction de l'intensité de la mimicrie émotionnelle

Définition du problème

L'article aborde la tâche de prédiction de l'intensité de la mimicrie émotionnelle (EMI), un défi relevant du concours Hume-ABAW10. Contrairement à la reconnaissance catégorielle des émotions, l'EMI nécessite la prédiction de valeurs d'intensité continues sur six dimensions affectives spécifiques : Admiration, Amusement, Détermination, Douleur empathique, Excitation et Joie. La tâche est compliquée par les caractéristiques des données « in-the-wild », incluant de fortes variations temporelles, une absence partielle de modalités (spécifiquement le texte) et des distributions de cibles fortement déséquilibrées (par exemple, la Douleur empathique est majoritairement à valeur nulle).

Méthodologie

Les auteurs proposent un cadre multimodal à deux étapes conçu pour gérer la parcimonie des données et le déséquilibre des modalités tout en assurant un apprentissage robuste des caractéristiques.

1. Caractéristiques des données et prétraitement

Jeu de données : 12 660 échantillons (8 072 pour l'entraînement, 4 588 pour la validation) avec des longueurs de séquence hautement variables (médiane ~65 images, mais avec des valeurs aberrantes à longue traîne allant jusqu'à 12 500 images).
Traitement des modalités :
- Texte : Dérivé des transcriptions à l'aide d'un modèle GTE-base préentraîné. Les embeddings de texte manquants (environ 6 % des échantillons) sont gérés en substituant des vecteurs nuls.
- Audio : Extrait à l'aide d'un Wav2Vec 2.0 personnalisé (échantillonnage à 16 kHz).
- Visuel : Extrait à partir d'images de visage recadrées à l'aide de DINOv2.
- Mouvement : Une branche optionnelle utilisant les unités d'action faciale (AU) dérivées d'OpenFace et les caractéristiques de la pose de la tête, résumées en une séquence temporelle à 23 dimensions.
Résultats exploratoires : Le jeu de données présente des distributions de séquences à longue traîne, une forte parcimonie des étiquettes (en particulier pour la Douleur empathique) et des décalages de distribution entre les ensembles d'entraînement et de validation.

2. Stratégie d'entraînement à deux étapes

Plutôt que d'entraîner un modèle unique de bout en bout, le cadre adopte une approche échelonnée :

Étape 1 : Préentraînement unimodal : Les encodeurs spécifiques aux modalités (Texte, Audio, Vision et Mouvement optionnel) sont entraînés indépendamment jusqu'à convergence.
- Encodeurs : Le texte utilise un MLP ; l'Audio, la Vision et le Mouvement utilisent un regroupement temporel basé sur l'attention pour gérer les séquences de longueur variable.
- Objectif : Une fonction de perte combinant le Coefficient de corrélation de concordance (CCC) et l'Erreur quadratique moyenne (MSE) ( $L = 0,7 L_{CCC} + 0,3 L_{MSE}$ ) est utilisée pour traiter le déséquilibre des étiquettes et assurer à la fois la précision de la magnitude et l'accord des tendances.
Étape 2 : Fusion et affinage :
- Les têtes de prédiction unimodales sont supprimées, en conservant les représentations avant-dernières apprises.
- Un Régresseur de fusion léger (MLP) concatène les embeddings de modalités pour prédire les six scores d'intensité.
- Adaptation : Lors de la fusion, la tête de fusion est entraînée avec le taux d'apprentissage de base, tandis que les encodeurs préentraînés sont affinés avec un taux d'apprentissage considérablement réduit (5 % du taux de base) pour permettre une adaptation intermodale sans déstabiliser les représentations unimodales.
- Robustesse : Un abandon de modalité (probabilité $p=0,3$ ) est appliqué pendant l'entraînement de la fusion pour éviter une dépendance excessive à l'égard d'un canal unique et simuler des scénarios de données manquantes.

3. Configurations expérimentales

Les auteurs ont soumis cinq systèmes variant selon :

Composition des modalités : Texte-Audio-Vision (T+A+V) contre Texte-Audio-Vision-Mouvement (T+A+V+M).
Division des données : Division standard 2:1 entraînement/validation contre une division étendue 4:1 (incorporant les échantillons de validation originaux dans l'entraînement pour augmenter le volume de données).
Stratégie d'encodeur : Affinage conjoint contre encodeurs figés.

Résultats clés

Performance unimodale : Le texte et l'audio ont fourni les signaux individuels les plus forts.
- Texte : A atteint la plus haute corrélation de Pearson moyenne ( $\bar{r} = 0,395$ ), particulièrement forte pour l'Admiration et la Douleur empathique.
- Audio : A obtenu la deuxième meilleure performance ( $\bar{r} = 0,350$ ) avec une performance équilibrée à travers les dimensions.
- Vision et Mouvement : Ont performé significativement moins bien isolément ( $\bar{r} \approx 0,15$ et $0,13$ respectivement) mais ont montré une valeur complémentaire pour des dimensions spécifiques comme la Joie, l'Amusement et l'Excitation.
Performance de fusion :
- Le modèle Texte-Audio-Vision-Mouvement (T+A+V+M) sur la division étendue 4:1 a obtenu la meilleure performance de validation avec une corrélation de Pearson moyenne de 0,4722.
- L'ajout de la branche de mouvement n'a apporté que des gains marginaux (par exemple, de 0,4717 à 0,4722 sur la validation), suggérant qu'il agit comme une amélioration auxiliaire plutôt que comme un signal dominant.
- La meilleure performance sur l'ensemble de test a été obtenue par le modèle Texte-Audio-Vision (T+A+V) sur la division 4:1, atteignant une corrélation de Pearson moyenne de 0,57.
Classement : L'équipe s'est classée troisième au défi EMI Hume-ABAW10.

Contributions et importance

L'article revendique trois contributions principales :

Une stratégie d'entraînement échelonnée pratique : Un pipeline reproductible qui stabilise l'apprentissage multimodal sur des cibles affectives parcimonieuses et déséquilibrées en découplant le préentraînement unimodal de la fusion intermodale.
Analyse empirique des modalités : Une décomposition détaillée de la contribution des différentes modalités à des axes émotionnels spécifiques, révélant que les indices sémantiques (texte) et acoustiques (audio) sont les principaux moteurs, tandis que les indices visuels et de mouvement offrent des informations sélectives et complémentaires.
Exploration des indices de mouvement : Une soumission mettant en évidence le rôle du mouvement dans la fusion multimodale. Bien que les gains aient été faibles, les auteurs postulent que le mouvement reste une direction prometteuse pour de futures explorations visant à capturer la dynamique faciale temporelle.

Les auteurs soulignent que leur cadre offre une base simple et reproductible pour la prédiction de l'EMI. Ils reconnaissent que, bien que leur méthode soit structurellement plus simple que celle des concurrents les mieux classés (qui ont utilisé des mécanismes complexes d'attention croisée et une optimisation multi-objectifs), leur approche échelonnée traite efficacement les défis spécifiques de la parcimonie des données et de l'absence de modalités inhérents au jeu de données.