Team LEYA in 10th ABAW Competition: Multimodal Ambivalence/Hesitancy Recognition Approach

L'article présente une approche multimodale de l'ambivalence/hésitation pour le 10e concours ABAW, combinant des modalités visuelles, faciales, audio et textuelles via des modèles avancés et des stratégies de fusion, ce qui permet d'atteindre une performance supérieure à celle des modèles unimodaux avec un score MF1 de 71,43 %.

L'essentiel

🎬 Le Grand Défi : Détecter l'Hésitation dans une Vidéo

Imaginez que vous regardez une vidéo d'une personne qui doit prendre une décision importante (par exemple, accepter un nouveau travail ou arrêter de fumer). Parfois, cette personne dit "Oui !" avec le sourire, mais sa voix tremble légèrement, son regard fuit, et le décor autour d'elle semble chaotique. C'est ce qu'on appelle l'ambivalence ou l'hésitation.

Le problème ? C'est très subtil. Ce n'est pas comme détecter un gros rire ou une colère éclatante. C'est un mélange de petits signes contradictoires. La tâche de l'équipe LEYA (du concours ABAW 10) était de créer un "super détective" capable de repérer ces signes d'hésitation dans des vidéos réelles, sans règles strictes.

🧠 La Solution : Une Équipe de Quatre Experts

Au lieu de faire confiance à un seul expert, l'équipe LEYA a créé une équipe de quatre spécialistes qui regardent la vidéo sous des angles différents. Imaginez un conseil de guerre où chaque membre apporte une pièce du puzzle :

1. Le Détective du Visage (Face) : Il observe les micro-expressions. Est-ce que le sourcil se lève ? Est-ce que le sourire ne touche pas les yeux ? Il utilise une technologie avancée (EmotionEfficientNetB0) pour transformer chaque image du visage en une "note d'émotion".
2. Le Spectateur du Contexte (Scene) : Il ne regarde pas la personne, mais l'endroit. Est-ce que la pièce est en désordre ? Est-ce que la lumière change ? Parfois, l'environnement trahit le stress ou l'incertitude. Ils utilisent un modèle appelé VideoMAE (comme un cerveau qui apprend à voir le monde en mouvement) pour comprendre la dynamique de la scène.
3. L'Analyste de la Voix (Audio) : Il écoute non pas ce qui est dit, mais comment c'est dit. La voix est-elle monotone ? Y a-t-il des silences gênants ? Ils utilisent un modèle (EmotionWav2Vec2.0) qui transforme le son en données, puis un "moteur temporel" (Mamba) pour comprendre l'histoire de la voix au fil du temps.
4. Le Lecteur de Pensées (Texte) : Il lit la transcription de ce que la personne dit. Les mots choisis sont-ils ambigus ? Utilise-t-elle des "peut-être", "je ne sais pas" ? C'est souvent le meilleur indice, car nos mots révèlent nos doutes. Ils utilisent un modèle de langage très intelligent (EmotionDistilRoBERTa) pour comprendre le sens profond.

🤝 La Réunion de Synthèse : La Fusion Multimodale

C'est ici que la magie opère. Avoir quatre experts, c'est bien, mais s'ils ne se parlent pas, c'est inutile.

L'équipe a créé une salle de réunion virtuelle (un modèle de fusion basé sur des Transformers) où les quatre experts se réunissent.

• Chaque expert présente son rapport.
• Le système compare les rapports : "Le visage dit 'Je suis content', mais la voix dit 'Je suis stressé' et le texte dit 'Je ne suis pas sûr'".
• C'est cette incohérence entre les experts qui signale l'hésitation.

Pour rendre ce système encore plus robuste, ils ont ajouté une astuce appelée "Prototype-augmented". Imaginez que le système a en tête deux "modèles idéaux" : un modèle parfait de "Décision Claire" et un modèle parfait de "Hésitation Totale". À la fin, il compare ce qu'il a vu dans la vidéo avec ces deux modèles pour voir lequel ressemble le plus à la réalité.

🏆 Les Résultats : Pourquoi l'Équipe a Gagné

Le papier montre que :

• Seul, le texte est le meilleur : Si vous ne deviez en choisir qu'un, lire ce que la personne dit est le meilleur indice (environ 70% de réussite).
• Ensemble, ils sont invincibles : Quand les quatre experts travaillent ensemble, la précision monte à 83% sur les tests d'entraînement.
• Le secret de la victoire : Pour le test final (le vrai examen), ils ont pris cinq versions de ce système d'équipe et ont fait une moyenne de leurs avis (comme un jury de 5 juges). Cela a permis d'atteindre 71,43%, ce qui est le meilleur résultat du concours.

💡 En Résumé

Ce papier nous apprend que pour comprendre les doutes humains, il ne faut pas regarder qu'une seule chose. Il faut écouter la voix, lire les mots, observer le visage et regarder autour de la personne.

C'est comme essayer de comprendre si un ami est vraiment heureux ou s'il force le sourire : vous ne le saurez qu'en croisant tous les indices (ses paroles, son ton, son regard et son attitude). L'équipe LEYA a simplement créé un ordinateur capable de faire ce croisement d'indices beaucoup mieux que n'importe quel humain seul.

Résumé technique

1. Problématique

La reconnaissance de l'ambivalence et de l'hésitation (A/H) dans des vidéos non contraintes est un défi majeur en informatique affective. Contrairement aux émotions de base (joie, surprise), l'A/H est un état comportemental subtil, dépendant du contexte et souvent caractérisé par des incohérences inter-modales (par exemple, un décalage entre ce qui est dit, la manière dont c'est dit et l'expression faciale).
L'objectif de la compétition ABAW 10 est de prédire, au niveau de la vidéo entière, la présence ou l'absence d'ambivalence/hésitation. Ce problème est complexe car il nécessite de modéliser des signaux faibles et des interactions dynamiques entre plusieurs modalités.

2. Méthodologie

L'équipe LEYA propose une approche multimodale intégrant quatre modalités complémentaires : la scène, le visage, l'audio et le texte. Le pipeline global se divise en deux étapes : l'extraction de représentations unimodales et la fusion multimodale.

A. Extraction de caractéristiques Unimodales

Chaque modalité est traitée par un modèle dédié :

• Scène (Dynamique visuelle) : Utilisation de VideoMAE (basé sur ViT), pré-entraîné sur Kinetics-400. Des séquences de 16 images sont extraites, transformées en "tubelets" spatio-temporels, et un embedding global est obtenu par global average pooling.
• Visage (Émotions faciales) : Détection des visages via YOLO, suivi d'un extracteur EmotionEfficientNetB0 (fine-tuné sur AffectNet+). Les embeddings au niveau de chaque image sont agrégés via un pooling statistique (moyenne et variance) pour former un vecteur de caractéristiques, ensuite traité par un MLP.
• Audio (Prosodie et émotion) : Extraction de caractéristiques acoustiques via EmotionWav2Vec2.0 (fine-tuné sur MSP-Podcast). Les séquences temporelles sont ensuite traitées par un encodeur Mamba (architecture basée sur les états d'espace, alternative efficace aux Transformers pour les séquences longues) suivi d'un mean pooling.
• Texte (Transcription) : Utilisation de modèles de langage transformer. La configuration principale utilise EmotionDistilRoBERTa fine-tuné directement pour la tâche A/H. Des approches alternatives (TF-IDF, CatBoost, autres modèles comme DeBERTa) ont également été évaluées.

B. Fusion Multimodale

Une stratégie de fusion en deux étapes est adoptée :

1. Projection : Les embeddings de chaque modalité sont projetés dans un espace latent partagé via des projecteurs linéaires avec normalisation de couche et dropout.
2. Fusion par Transformer : Les tokens de modalités sont empilés et traités par un encodeur Transformer. Un masque binaire permet de gérer les cas où une modalité manque.
3. Augmentation par Prototypes (Prototype-Augmented) : Une innovation clé de l'approche. En plus de la classification standard, un objectif auxiliaire compare la représentation fusionnée à un ensemble de prototypes apprenables par classe. Cela régularise l'apprentissage et aide à capturer les structures de classe complexes.
   • La fonction de perte combine la perte de classification principale, une perte basée sur les prototypes et une régularisation de diversité.

C. Stratégie d'Ensemble

Pour la phase finale, l'équipe a utilisé un ensemble de cinq modèles (chaque modèle étant entraîné avec une graine aléatoire différente : 42, 2025, 7777, 12345, 31415) pour améliorer la robustesse et réduire la sensibilité à l'initialisation.

3. Résultats Clés

Les expériences ont été menées sur le corpus BAH (1 427 vidéos, 300 participants). La métrique principale est le Macro F1-score (MF1).

• Performances Unimodales :

  • Le texte s'est avéré être la modalité la plus forte seule, avec EmotionDistilRoBERTa atteignant un MF1 moyen de 70,02 %.
  • L'audio (Mamba + Wav2Vec2) a suivi avec 69,03 %.
  • Le visage et la scène ont obtenu des scores inférieurs (~62-63 %), confirmant la difficulté de détecter l'A/H uniquement par l'image.

• Performances Multimodales :

  • La fusion multimodale a systématiquement surpassé les modèles unimodaux.
  • Le meilleur modèle de fusion unique (avec tête de prototypes) a atteint un MF1 moyen de 83,25 % sur les ensembles de développement/validation.
  • Résultat Final : L'ensemble de cinq modèles de fusion augmentés par prototypes a obtenu le meilleur score sur le test privé avec 71,43 %.

• Étude Ablative :

  • La combinaison Scène + Texte a montré le signal complémentaire le plus fort parmi les paires (80,39 %).
  • L'utilisation des quatre modalités (Scène, Visage, Audio, Texte) a produit les meilleurs résultats globaux, confirmant que chaque modalité apporte une information unique.

4. Contributions Principales

1. Intégration de la modalité "Scène" : Contrairement à la plupart des travaux précédents se concentrant uniquement sur le visage, l'audio et le texte, cette approche intègre explicitement la dynamique de la scène (contexte visuel global) via VideoMAE.
2. Architecture de Fusion Avancée : Utilisation d'un encodeur Transformer pour la fusion couplée à un mécanisme d'augmentation par prototypes, permettant une meilleure modélisation des incertitudes et des incohérences inter-modales.
3. Utilisation de Mamba pour l'Audio : Remplacement des encodeurs temporels classiques (LSTM/Transformer) par l'architecture Mamba pour le traitement des signaux acoustiques, offrant une efficacité computationnelle et une capacité de modélisation temporelle améliorée.
4. Validation Robuste : Démonstration que l'ensemblage de modèles (ensemble learning) est crucial pour la généralisation sur des données de test non vues, surpassant les modèles uniques même les plus performants en validation.

5. Signification

Ce travail démontre que la reconnaissance de l'ambivalence et de l'hésitation ne peut être résolue efficacement par une seule modalité. L'approche proposée met en évidence l'importance cruciale de :

• Préserver les informations spécifiques à chaque modalité tout en modélisant leurs interactions.
• Utiliser des stratégies de fusion sophistiquées (prototypes, ensembles) pour gérer le bruit et les incohérences inhérentes aux vidéos non contraintes.
• L'intégration du contexte visuel (scène) comme un signal complémentaire puissant, souvent négligé dans les tâches affectives.

Le code source de l'équipe LEYA est rendu public, facilitant la reproduction et l'amélioration future de ces méthodes pour les interventions en santé comportementale numérique et les systèmes d'interaction homme-machine.