💻 computer science

Hierarchical Granularity Alignment and State Space Modeling for Robust Multimodal AU Detection in the Wild

Cet article propose un cadre multimodal innovant pour la détection robuste des unités d'action faciale dans des conditions réelles, combinant l'alignement hiérarchique des granularités et des modèles d'espace d'état (Vision-Mamba) pour surpasser les méthodes existantes et atteindre des performances de pointe sur le jeu de données Aff-Wild2.

Auteurs originaux : Jun Yu, Yunxiang Zhang, Naixiang Zheng, Lingsi Zhu, Guoyuan Wang

Publié 2026-03-13

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jun Yu, Yunxiang Zhang, Naixiang Zheng, Lingsi Zhu, Guoyuan Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de comprendre les émotions d'une personne en regardant une vidéo d'elle dans la rue, avec du vent, du bruit, et des mouvements brusques. C'est ce qu'on appelle la détection des "Unités d'Action" (AU) : repérer les tout petits mouvements des muscles du visage (comme un sourcil qui se lève ou un coin de bouche qui tremble) pour deviner ce que la personne ressent.

Le problème, c'est que c'est extrêmement difficile. Les méthodes actuelles sont comme des détectives un peu aveugles : elles regardent l'image globale mais ratent les détails fins, elles oublient le contexte long de la vidéo, et elles ne savent pas bien écouter la voix pour comprendre l'émotion.

Les auteurs de ce papier (de l'Université de Science et Technologie de Chine) ont créé un nouveau système, disons-le, super-spy, pour résoudre ce problème. Voici comment ça marche, expliqué simplement :

1. Des "Super-Oeillères" et des "Super-Oreilles" (Les Modèles de Base)

Au lieu d'entraîner un petit cerveau de zéro, les chercheurs ont utilisé des géants de l'intelligence artificielle déjà existants, qu'on appelle des modèles de base (Foundation Models).

Pour les yeux (DINOv2) : Imaginez un détective qui a vu des milliards de photos. Il ne se contente pas de dire "c'est un visage", il voit chaque pore, chaque micro-tremblement de la peau, même dans la pénombre.
Pour les oreilles (WavLM) : Au lieu d'utiliser un système qui ne cherche que les mots (comme un sous-titreur), ils utilisent un système qui écoute tout : les soupirs, le rythme de la respiration, les changements de voix. C'est crucial, car un soupir peut dire plus qu'un mot !

2. Le "Pont" entre le Gros Plan et le Plan Large (Alignement Hiérarchique)

C'est là que le système devient malin. Souvent, si on regarde trop de près (le muscle de la joue), on perd le contexte (la tête est penchée, il y a un chapeau). Si on regarde trop loin, on rate le détail.

L'analogie : Imaginez un chef d'orchestre. Il doit entendre chaque violoniste individuellement (le détail local) tout en gardant en tête l'harmonie de tout l'orchestre (le contexte global).
Le système : Il utilise des points de repère sur le visage (les yeux, la bouche) pour créer un lien dynamique. Il dit : "Tiens, ce petit muscle qui bouge ici est lié à cette expression globale là-bas". Il assemble les pièces du puzzle sans jamais perdre le fil.

3. La "Mémoire Infinie" (Le Modèle État-Espace / Mamba)

Les vidéos d'émotions sont longues. Les anciennes méthodes avaient une "mémoire courte". Elles oubliaient ce qui s'est passé il y a 10 secondes, ce qui est fatal pour comprendre une émotion qui évolue lentement.

L'analogie : Imaginez un lecteur de livre. Les anciennes méthodes lisaient une phrase, puis jetaient le livre pour lire la suivante. Notre nouvelle méthode (appelée Vision-Mamba) est comme un lecteur qui a une mémoire photographique parfaite de tout le livre, mais qui lit à une vitesse incroyable et sans se fatiguer.
Le plus : Ce lecteur est guidé par la musique (la voix). Si la voix change de ton, le lecteur sait qu'il doit se concentrer sur ce qui se passe sur le visage à cet instant précis. C'est une fusion audio-visuelle intelligente.

4. Le "Filtre Anti-Brouillard" (La Perte Asymétrique)

Dans les vidéos réelles, la personne passe 90% du temps à avoir un visage neutre (rien ne se passe) et 10% du temps à montrer une émotion. Les ordinateurs aiment les solutions faciles : ils disent "Rien ne se passe" tout le temps et gagnent facilement, mais c'est inutile.

L'analogie : C'est comme chercher une aiguille dans une botte de foin. Si vous dites "c'est du foin" tout le temps, vous avez raison 99% du temps, mais vous ratez l'aiguille.
La solution : Les chercheurs ont créé une règle de jeu spéciale (une perte asymétrique) qui punit sévèrement le système s'il ignore l'aiguille (l'émotion rare), même s'il a raison sur le foin. Cela force le système à être hyper-vigilant pour les moments rares et importants.

Le Résultat ?

Ce système a été testé sur la base de données la plus difficile au monde (Aff-Wild2, des gens filmés dans la rue, au hasard).

Il a battu tous les records précédents.
Il a même gagné le 1er rang lors d'un grand concours international (le 10ème ABAW).

En résumé : Ils ont pris les meilleurs yeux et oreilles de l'IA, appris à les faire travailler ensemble comme un chef d'orchestre, donné une mémoire infinie au système, et forcé l'ordinateur à ne pas être paresseux. Résultat : une machine capable de lire les émotions humaines aussi bien (voire mieux) qu'un humain, même dans le chaos de la vraie vie.

Titre : Alignement Hiérarchique de Granularité et Modélisation par Espace d'État pour la Détection Robuste des Unités d'Action (AU) Multimodales dans des Conditions Réelles

1. Problématique

La détection des Unités d'Action (AU) faciales dans des environnements non contraints ("in-the-wild") représente un défi majeur en informatique affective. Les obstacles principaux incluent :

Hétérogénéité spatio-temporelle sévère : Variations d'éclairage, poses de tête non contraintes et occlusions complexes.
Limitations des encodeurs traditionnels : Les réseaux convolutifs (CNN) et les modèles de reconnaissance vocale automatique (ASR) classiques manquent de capacité à capturer les détails fins (micro-expressions) et les indices paralinguistiques (soupirs, variations de ton) essentiels à l'émotion.
Modélisation temporelle inadéquate : Les réseaux de convolution temporelle (TCN) ont un champ récepteur limité, tandis que les Transformers souffrent d'une complexité quadratique ( $O(T^2)$ ), rendant la modélisation de séquences ultra-longues (vidéos continues) coûteuse et inefficace.
Fusion superficielle : Les mécanismes de fusion multimodale actuels sont souvent linéaires et ne parviennent pas à synchroniser profondément les indices audio et visuels.
Déséquilibre des classes : La distribution des AU est fortement déséquilibrée (longue traîne), avec une prédominance de frames neutres, ce qui conduit les modèles à ignorer les activations rares.

2. Méthodologie Proposée

Les auteurs proposent un cadre multimodal innovant reposant sur trois piliers principaux :

A. Extraction de Caractéristiques Haute-Fidélité via des Modèles de Fondation
Au lieu d'utiliser des encodeurs limités, l'approche exploite des modèles pré-entraînés massifs :

Visuel (DINOv2) : Un Vision Transformer auto-supervisé capable de capturer des détails locaux haute fréquence et une cohérence sémantique sans nécessiter d'affinage spécifique, remplaçant avantageusement les CNN traditionnels.
Audio (WavLM) : Un modèle fondation optimisé pour l'extraction de signaux paralinguistiques (respiration, ton, soupirs) dans des environnements bruyants, contrairement aux modèles ASR qui filtrent ces signaux comme du bruit.

B. Module d'Alignement Hiérarchique de Granularité (HGA)
Pour résoudre le conflit entre le contexte global et les mouvements musculaires locaux :

Extraction guidée par les repères : Utilisation de repères faciaux (landmarks) pour définir des régions d'intérêt (RoI) anatomiques (yeux, bouche, sourcils).
Alignement par Attention : Un mécanisme d'attention croisée (Cross-Attention) permet à chaque patch local de "requérir" dynamiquement le contexte global non occlus depuis la carte de caractéristiques complète. Cela assure que les mouvements subtils sont interprétés dans le contexte global de la pose et de l'éclairage.

C. Modélisation Temporelle et Fusion via AG-SSM (Vision-Mamba)
Pour gérer les dépendances temporelles ultra-longues :

Architecture Vision-Mamba : Remplacement des TCN par un Modèle d'Espace d'État (SSM) variant de Mamba. Cela permet une modélisation temporelle avec un champ récepteur infini et une complexité linéaire $O(N)$ , évitant les problèmes de gradient disparaissant.
Mécanisme AG-SSM (Audio-Guided) : Une fusion asymétrique où le signal audio module dynamiquement les transitions d'état du flux visuel. Si un indice audio pertinent (ex: un soupir) est détecté, le modèle ajuste ses paramètres de sélection ( $\Delta, B, C$ ) pour accorder plus d'importance à l'entrée visuelle actuelle, synchronisant ainsi les indices paralinguistiques avec les mouvements faciaux.

D. Stratégie d'Entraînement : Perte Asymétrique (ASL)
Pour contrer le déséquilibre des classes :

Utilisation d'une Perte Asymétrique (Asymmetric Loss) qui découple le traitement des échantillons positifs (rares) et négatifs (abondants).
Un mécanisme de seuillage déplace la probabilité des prédictions négatives confiantes vers zéro, forçant le modèle à se concentrer uniquement sur les frames ambiguës et les AU rares, évitant ainsi l'effondrement vers la classe majoritaire.

3. Contributions Clés

Transition vers les Modèles de Fondation : Démonstration que l'utilisation de DINOv2 et WavLM remplace avantageusement les encodeurs traditionnels pour la détection d'AU en conditions réelles, offrant une robustesse supérieure aux variations spatio-temporelles.
Alignement Hiérarchique (HGA) : Introduction d'un module qui combine sémantique globale et détails locaux via des repères faciaux et une attention croisée, résolvant le problème de la dilution des signaux locaux.
Modélisation Temporelle Efficace (AG-SSM) : Intégration de l'architecture Mamba dans la détection d'AU, permettant une modélisation de séquences ultra-longues avec une complexité linéaire, guidée dynamiquement par l'audio.
Optimisation pour le Déséquilibre : Application d'une perte asymétrique qui améliore significativement le rappel (recall) des AU rares sans sacrifier la précision globale.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données Aff-Wild2, considéré comme le benchmark de référence pour l'analyse comportementale affective en conditions réelles.

Performance Globale : La méthode atteint un score F1 moyen de 59,45 %, surpassant les approches de l'état de l'art.
Étude Ablative (Tableau 1) :
- L'ajout des modèles de fondation (FM) apporte une amélioration massive de +15,91 %.
- Le module HGA ajoute +2,77 %.
- Le remplacement du TCN par l'AG-SSM apporte +2,64 %.
- L'optimisation par la perte asymétrique (ASL) finalise la performance avec un gain supplémentaire significatif.
Reconnaissance : Ce framework a obtenu les meilleurs classements dans la piste de détection d'AU de la 10e Compétition ABAW (Affective Behavior Analysis in-the-wild).

5. Signification et Impact

Cet article marque une avancée significative dans le domaine de l'informatique affective :

Robustesse : Il démontre qu'il est possible de détecter des émotions subtiles dans des vidéos réelles en surmontant les limitations des architectures convolutives et des modèles de fusion simples.
Efficacité Temporelle : L'adoption des SSM (Mamba) ouvre la voie à l'analyse de vidéos longues sans les coûts computationnels prohibitifs des Transformers.
Synergie Multimodale : La démonstration que l'audio peut guider dynamiquement l'analyse visuelle (et non seulement fusionner passivement) offre une nouvelle perspective pour la compréhension du comportement humain.
Benchmark : En établissant un nouvel état de l'art sur Aff-Wild2, cette méthode fournit une référence solide pour les recherches futures sur la détection d'émotions en conditions réelles.