Résumé Technique : AdaTosk – Masque Temporel Souple Adaptatif pour la Reconnaissance Efficace des Expressions Faciales Dynamiques

Énoncé du Problème

La reconnaissance des expressions faciales dynamiques (DFER) vise à identifier les intentions psychologiques par le biais de la communication non verbale dans des séquences vidéo. Bien que efficaces, les méthodes existantes font face à des défis majeurs concernant l'efficacité et la redondance. Les données vidéo contiennent intrinsèquement une redondance temporelle substantielle due à la continuité, entraînant le traitement d'informations non pertinentes telles que le bruit de fond et des images statiques sémantiquement répétitives. Les approches actuelles, y compris celles inspirées des Autoencodeurs Masqués (MAE), peinent souvent à distinguer entre les dynamiques d'expression critiques et les jetons redondants. Par conséquent, les modèles peuvent soit calculer des caractéristiques inutiles sur des images non pertinentes, soit échouer à capturer des changements d'expression subtils et difficiles à détecter, ce qui se traduit par des coûts de calcul élevés sans gains proportionnels en précision.

Méthodologie : AdaTosk

Les auteurs proposent AdaTosk, un nouveau réseau autoencodeur masqué temporel souple supervisé conçu pour remédier à ces inefficacités. L'architecture intègre deux branches parallèles : une branche de reconstruction auto-supervisée et une branche de classification supervisée.

1. Architecture à Double Branche

• Branche de Reconstruction Auto-Supervisée : Cette branche utilise un Masque Binaire Aléatoire Rigide (inspiré de VideoMAE) pour masquer une grande partie des jetons vidéo. Le modèle est entraîné à reconstruire les jetons masqués à partir des jetons visibles en utilisant un décodeur léger. Ce processus encourage l'encodeur à apprendre des représentations de caractéristiques significatives à partir des jetons visibles restants.
• Branche de Classification Supervisée : Cette branche traite les jetons visibles optimaux ($X_{opt}$) pour effectuer la classification des expressions. Contrairement au masque rigide, cette branche emploie un Masque Temporel Souple Adaptatif ($S$) qui attribue des degrés de masquage variables aux jetons visibles en fonction de leur importance temporelle et de leur redondance sémantique.

2. Mécanisme de Masque Temporel Souple Adaptatif

L'innovation centrale d'AdaTosk est le masque souple adaptatif, qui ajuste dynamiquement l'influence des jetons. Il combine deux stratégies distinctes :

• Masque Souple Dynamique Agnostique de la Classe :

  • Objectif : Capturer les moments clés des dynamiques d'expression sans biais provenant de catégories prédéfinies.
  • Mécanisme : Il calcule les différences de caractéristiques image par image ($\tau$) entre des images visibles adjacentes. Les $K$ paires d'images présentant les différences les plus élevées sont identifiées comme des "images d'activation". Une unité d'interaction d'information par canal (motif Squeeze-and-Excitation) renforce ces images, et une unité d'interaction d'information temporelle génère un masque souple ($S_{agnostic}$) qui priorise ces changements dynamiques sur l'ensemble de la séquence.

• Masque Souple de Similarité Sémantique de Classe :

  • Objectif : Réduire l'accumulation de jetons sémantiquement similaires mais redondants au fil du temps tout en préservant les informations essentielles.
  • Mécanisme : Il modélise la probabilité de masquer les jetons en utilisant un score accumulé temporel ($M$). Pour gérer la continuité, une chaîne de Markov transfère les scores entre les images, en excluant les $r$ premiers jetons pour réduire la charge de calcul. Crucialement, ce score est ré-pondéré par un score sémantique ($A$) dérivé de la supervision de classe (somme des activations absolues). Cela garantit que les jetons à haute valeur sémantique sont conservés même s'ils présentent une redondance temporelle.
  • Masque Final : Le masque adaptatif final ($S$) est le produit élément par élément des masques agnostique de classe et de similarité sémantique de classe ($S = S_{agnostic} \odot S_{semantic}$).

3. Fonction de Perte d'Entraînement

La fonction de perte totale ($L$) combine la perte de reconstruction ($L_{rec}$) de la branche auto-supervisée et la perte de classification ($L_{cls}$) de la branche supervisée, équilibrées par les poids $\lambda_{rec}$ et $\lambda_{cls}$.

Contributions Clés

L'article expose trois contributions principales :

1. Intégration de VideoMAE Supervisé : AdaTosk est le premier à intégrer un cadre VideoMAE supervisé dans la tâche de DFER, optimisant les jetons visibles pour améliorer considérablement l'efficacité de la reconnaissance.
2. Masque Temporel Souple Adaptatif : Les auteurs proposent une stratégie de masquage innovante qui ajuste adaptativement les degrés de masquage. Ses deux composantes — masques souples dynamiques agnostiques de classe et de similarité sémantique de classe — ciblent spécifiquement l'activation des dynamiques d'expression clés et la suppression de la redondance sémantique temporelle.
3. Gains d'Efficacité et de Performance : Le modèle atteint un équilibre entre haute performance et faible coût de calcul, réduisant la taille du modèle et les FLOPs tout en maintenant ou en améliorant la précision par rapport aux méthodes de l'état de l'art.

Résultats Expérimentaux

Les auteurs ont évalué AdaTosk sur trois benchmarks DFER "in-the-wild" largement utilisés : DFEW, FERV39K et MAFW.

• Performance : AdaTosk (avec le masque souple, noté AdaTosk†) surpasse les modèles supervisés existants de 9 à 10 % à la fois en Rappel Moyen Non Pondéré (UAR) et en Rappel Moyen Pondéré (WAR) sur tous les jeux de données. Il dépasse également les méthodes basées sur les grands modèles de langage et d'autres approches basées sur VideoMAE (par exemple, MAE-DFER, MMA-DFER) avec des marges allant de 2,1 % à 4,8 %.
• Efficacité :
  • Par rapport à la base VideoMAE, AdaTosk réduit les paramètres d'environ 12 M et les FLOPs de 38 G.
  • L'ajout du masque temporel souple (AdaTosk†) réduit encore les paramètres de 2 M et les FLOPs de 4 G par rapport à la version sans masque souple (AdaTosk), tout en améliorant simultanément l'UAR et le WAR d'environ 2 %.
  • Globalement, le modèle réduit les coûts de calcul de 6 G FLOPs et la taille du modèle de 10 M de paramètres par rapport aux méthodes actuelles de l'état de l'art.

Importance et Revendications

L'article revendique qu'AdaTosk résout avec succès la limitation critique des méthodes existantes : la tendance à omettre les dynamiques d'expression subtiles tout en traitant des informations redondantes. En introduisant le Masque Temporel Souple Adaptatif, le modèle se concentre efficacement sur les moments clés de l'évolution de l'expression et réduit l'accumulation de jetons sémantiquement similaires.

Les auteurs affirment que cette approche permet une reconnaissance efficace des expressions dynamiques qui ne sacrifie pas la performance. Les résultats démontrent que, en gérant intelligemment la redondance temporelle par le biais du masquage souple, le modèle atteint une précision compétitive, et souvent supérieure, avec une surcharge de calcul significativement réduite. Les résultats de visualisation confirment en outre que le modèle identifie correctement les régions faciales clés (par exemple, la bouche, les joues, les sourcils) et ajuste dynamiquement l'intensité du masquage en fonction des changements d'expression et de l'importance sémantique.