Team RAS in 10th ABAW Competition: Multimodal Valence and Arousal Estimation Approach

L'équipe RAS a proposé une méthode multimodale innovante pour l'estimation de la valence et de l'activation dans des conditions réelles, combinant des modalités faciales, comportementales et audio via des architectures avancées comme Qwen3-VL et Mamba, et obtenant un coefficient de corrélation concordante (CCC) de 0,658 sur le jeu de données Aff-Wild2 lors du 10e défi ABAW.

L'essentiel

🕵️‍♂️ L'Enquête : Comprendre les émotions sans parler

Imaginez que vous essayez de deviner ce qu'un inconnu ressent en le regardant passer dans la rue. C'est difficile ! Il peut faire froid, il peut avoir un chapeau qui cache son visage, ou il peut être dans une pièce sombre. C'est ce qu'on appelle les conditions "sauvages" (in-the-wild).

L'équipe Team RAS (des chercheurs russes) a participé à un grand concours mondial (le 10ème ABAW) pour créer un super-détective numérique capable de deviner deux choses précises chez n'importe qui, n'importe où :

1. La Valence : Est-ce que la personne est contente (positif) ou malheureuse (négatif) ?
2. L'Arousal : Est-ce que la personne est calme (dormante) ou très excitée (en colère, très joyeuse) ?

Leur secret ? Ils ne se fient pas à un seul sens. Ils utilisent une équipe de trois experts qui travaillent ensemble.

---

🎭 Les Trois Experts de l'Équipe

Pour comprendre une émotion, le système regarde trois choses différentes, comme trois détectives avec des spécialités uniques :

1. L'Expert Visage (Le Lecteur de Micro-Expressions)

• Son rôle : Il regarde le visage, pixel par pixel.
• Son outil : Il utilise un modèle appelé GRADA. Imaginez un photographe ultra-rapide qui prend des milliers de photos par seconde du visage. Il ne regarde pas juste "un sourire", il analyse la tension des muscles, le froncement de sourcils, etc.
• Le problème : Parfois, le visage bouge trop vite ou est caché. Ce modèle est très bon pour voir les détails instantanés, mais il a besoin d'aide pour comprendre l'histoire globale.

2. L'Expert Comportement (Le Psychologue IA)

• Son rôle : Il ne regarde pas juste les pixels, il essaie de comprendre ce qui se passe.
• Son outil : C'est ici que ça devient magique. Ils utilisent une IA très puissante appelée Qwen3-VL (un "Grand Modèle Multimodal").
• L'analogie : Imaginez que vous montrez une vidéo à un psychologue expert. Au lieu de juste dire "il sourit", le psychologue écrit un petit paragraphe : "La personne penche la tête, ses épaules sont relâchées, elle semble fatiguée mais heureuse."
• La magie : L'IA fait la même chose ! Elle transforme la vidéo en une description textuelle de l'ambiance. Ensuite, un autre modèle (Mamba) lit cette description pour comprendre comment l'émotion évolue dans le temps. C'est comme passer de "voir une image" à "lire un roman" sur l'émotion.

3. L'Expert Audio (Le Détective des Sons)

• Son rôle : Il écoute la voix.
• Son outil : Un modèle appelé WavLM.
• Le filtre intelligent : Dans la vraie vie, il y a du bruit, des gens qui parlent à côté, ou la personne peut ne rien dire du tout. L'expert audio est très sélectif : il utilise un filtre (basé sur la bouche qui s'ouvre) pour ne garder que les moments où la personne parle vraiment. Il ignore les bruits de fond inutiles.

---

🤝 La Réunion de Synthèse : Comment ils travaillent ensemble

Avoir trois experts, c'est bien. Mais comment les faire se mettre d'accord ? L'équipe a testé deux méthodes de réunion (Fusion) :

Méthode 1 : Le "Mélange d'Experts Dirigé" (DCMMOE)

Imaginez un conseil d'administration où chaque expert peut parler à n'importe quel autre.

• Le visage peut dire à l'audio : "Hé, tu entends ce cri ? Regarde mon visage, c'est de la peur !".
• L'audio peut dire au comportement : "La voix tremble, donc même si le visage est neutre, il y a du stress."
• Un gardien intelligent (un mécanisme de "gating") décide à chaque seconde qui a le plus raison. Si la caméra est floue, il écoute plus l'audio. Si l'audio est bruyant, il écoute le visage.

Méthode 2 : La "Fusion Audio-Visuelle Consciente de la Fiabilité" (RAAV)

C'est la méthode gagnante de l'équipe.

• Ici, le Visage et le Comportement sont les chefs. Ils décident de l'histoire seconde par seconde (comme un film).
• L'Audio joue le rôle d'un conseiller spécial. Il ne dicte pas le film, mais il apporte des preuves supplémentaires pour confirmer ou nuancer ce que disent les yeux.
• C'est comme si vous regardiez un film (visuel) avec un ami qui vous chuchote des détails importants à l'oreille (audio) pour mieux comprendre l'intrigue.

---

🏆 Le Résultat : Qui a gagné ?

L'équipe a testé leur système sur une base de données géante de vidéos réelles (Aff-Wild2).

• Le constat : Un seul expert (juste le visage, ou juste l'audio) se trompe souvent.
• La victoire : Quand les trois travaillent ensemble, surtout avec la méthode "Consciente de la Fiabilité" (RAAV), le système devient très précis.
• Le score : Ils ont obtenu un score de 0,658 (sur une échelle où 1 est parfait). C'est un excellent résultat, rivalisant avec les meilleurs systèmes du monde.

💡 En résumé

Ce papier nous dit que pour comprendre les émotions humaines dans la vraie vie, il ne faut pas juste "voir" ou "entendre". Il faut :

1. Voir les détails du visage.
2. Comprendre le contexte global (comme un psychologue qui décrit la scène).
3. Écouter les indices sonores, mais seulement quand ils sont fiables.
4. Faire collaborer ces trois intelligences de manière intelligente, en sachant qui écouter à quel moment.

C'est une belle démonstration que l'IA devient plus "humaine" en apprenant à combiner ses sens, tout comme nous le faisons naturellement !

Résumé technique

Titre du papier

Team RAS dans la 10e compétition ABAW : Approche multimodale pour l'estimation de la valence et de l'excitation (Valence-Arousal)

1. Problématique

La reconnaissance continue des émotions, spécifiquement l'estimation de la valence (plaisir/déplaisir) et de l'excitation (intensité), dans des conditions réelles (in-the-wild ou ITW) reste un défi majeur. Ces conditions sont caractérisées par de fortes variations d'apparence, de pose de la tête, d'éclairage, d'occlusions et de patterns d'expression affective spécifiques à chaque individu. Bien que des progrès significatifs aient été réalisés grâce aux modèles multimodaux basés sur des transformateurs, l'utilisation de Modèles de Langage Visuel (VLM) pour extraire des représentations comportementales orientées vers l'affect reste sous-exploitée, malgré leur potentiel à capturer des indices contextuels et situationnels.

2. Méthodologie Proposée

L'équipe propose un pipeline multimodal combinant trois sources d'information complémentaires : le visage, le comportement (via un VLM) et l'audio. L'architecture globale est illustrée par la Figure 1 du papier.

A. Modélisation du Visage (Face Modality)

• Détection et Prétraitement : Utilisation d'un détecteur de visage basé sur YOLO, suivi d'une curatation manuelle des identités pour s'assurer qu'une seule personne est suivie par séquence vidéo.
• Extraction de caractéristiques : Utilisation du modèle GRADA (basé sur EfficientNet-B1), pré-entraîné sur ImageNet et affiné sur un grand corpus de données affectives. Il produit des embeddings de niveau image (256 dimensions).
• Modélisation Temporelle : Un régresseur basé sur des Transformers traite les séquences de caractéristiques de niveau image pour prédire la valence et l'excitation.

B. Modélisation du Comportement (Behavior Modality)

• Extraction par VLM : Le modèle Qwen3-VL-4B-Instruct est utilisé comme encodeur de caractéristiques multimodales. Il analyse des segments vidéo (16 images espacées) avec un prompt textuel incitant l'IA à décrire l'affect (valence/arousal) basé sur les expressions faciales, la posture, les gestes et le contexte.
• Deux modes d'extraction :
  1. Visuel : Embeddings dérivés uniquement des tokens visuels.
  2. Multimodal : Embeddings dérivés de l'entrée conjointe vidéo-texte.
• Modélisation Temporelle : Les embeddings de niveau segment sont regroupés et traités par des blocs Mamba (modèles à espace d'état) pour capturer les dynamiques temporelles à court et long terme, suivis d'une tête de régression.

C. Modélisation Audio (Audio Modality)

• Filtrage Croisé : Une étape de filtrage basée sur la dynamique d'ouverture de la bouche (extrait via MediaPipe) est appliquée pour supprimer les segments non parlants ou bruyants, améliorant la fiabilité des données audio.
• Encodeur : Utilisation de WavLM-Large (modèle auto-supervisé). Seules les 4 dernières couches sont affinées pour éviter le surapprentissage.
• Traitement : Les représentations cachées sont divisées en chunks temporels (4 secondes) et agrégées via un pooling par statistiques d'attention (moyenne et écart-type pondérés) avant la régression.

D. Stratégies de Fusion Multimodale

Deux stratégies de fusion sont explorées pour intégrer ces modalités :

1. DCMMOE (Directed Cross-Modal Mixture-of-Experts) :

   • Chaque modalité est projetée dans un espace latent commun.
   • Des "experts" de type Cross-Attention modélisent les interactions dirigées entre chaque paire de modalités (une modalité comme requête, l'autre comme clé/valeur).
   • Un mécanisme de gating apprenable pondère dynamiquement les experts en fonction de la qualité du signal, permettant une fusion adaptative face à l'incertitude.

2. RAAV (Reliability-Aware Audio-Visual) :

   • Fusion centrée sur l'image (frame-centric) des caractéristiques faciales et comportementales via un gating pondéré par la fiabilité.
   • L'audio est utilisé comme contexte auxiliaire via un goulot d'étranglement latent (bottleneck) qui atténue les informations visuelles.
   • Cette approche asymétrique reconnaît que le visuel définit la résolution temporelle, tandis que l'audio fournit des preuves contextuelles.

3. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Aff-Wild2 (594 vidéos, ~3 millions d'images annotées) selon le protocole de la 10e édition ABAW. La métrique principale est le Coefficient de Corrélation Concordant (CCC).

• Performances Unimodales :

  • Le modèle vidéo (GRADA + Transformer) est le plus performant seul (CCC moyen : 0.6189 sur l'ensemble de développement).
  • Le modèle comportemental multimodal (Qwen3 + Mamba) surpasse largement sa version purement visuelle, prouvant la richesse des embeddings VLM.
  • Le modèle audio seul est moins performant (CCC moyen : 0.4025).

• Performances Multimodales :

  • La fusion améliore systématiquement les résultats.
  • La combinaison Vidéo + Comportement Multimodal + Audio avec la stratégie DCMMOE atteint un CCC moyen de 0.6487.
  • La stratégie RAAV (Vidéo + Comportement Multimodal + Audio) obtient les meilleurs résultats globaux :
    • CCC moyen sur l'ensemble de développement : 0.6576 (Valence: 0.6078, Excitation: 0.7073).
    • CCC moyen sur l'ensemble de test : 0.62.

4. Contributions Clés

1. Intégration de VLM pour l'affect : Démonstration de l'efficacité de l'utilisation de modèles de langage visuel (Qwen3-VL) pour extraire des représentations comportementales riches, surpassant les approches purement visuelles.
2. Nouvelles Stratégies de Fusion : Proposition de deux architectures de fusion innovantes (DCMMOE et RAAV) qui gèrent dynamiquement l'incertitude et les interactions asymétriques entre modalités.
3. Filtrage Audio-Visuel : Mise en place d'un mécanisme de filtrage croisé pour améliorer la robustesse des données audio dans des conditions réelles bruyantes.
4. Performance SOTA : Atteinte d'un niveau de performance compétitif avec les meilleures approches actuelles (State-of-the-Art) pour la tâche d'estimation continue de la valence et de l'excitation.

5. Signification

Ce travail démontre que l'hybridation de modèles de vision par ordinateur traditionnels (GRADA), de modèles de langage multimodaux avancés (Qwen3-VL) et de modèles audio pré-entraînés (WavLM), couplée à des mécanismes de fusion adaptatifs, constitue une voie prometteuse pour la reconnaissance des émotions en conditions réelles. L'utilisation de VLM pour capturer le contexte comportemental global, au-delà de simples traits faciaux, s'avère particulièrement cruciale pour améliorer la précision de l'estimation de l'excitation (arousal). Les résultats valident l'approche de l'équipe RAS comme une référence solide pour les défis futurs d'analyse comportementale affective.