💻 computer science

Causal Supervision of Attention for Affective Behaviour Analysis

Ce document propose un cadre de supervision causale pour les mécanismes d'attention dans l'analyse du comportement affectif qui impose une focalisation invariante au sujet, encourage des représentations non redondantes par une régularisation de la covariance croisée, et améliore l'expressivité des caractéristiques via des transformations non linéaires à porte afin d'atteindre des performances de l'état de l'art lors de la 11ème compétition d'analyse du comportement affectif en milieu réel (Affective Behaviour Analysis in-the-wild).

Auteurs originaux : Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nemanja Rašajski, Konstantinos Makantasis, Antonios Liapis, Georgios N. Yannakakis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à lire votre visage et à deviner ce que vous ressentez. Vous voulez qu'il repère un sourire sincère ou une moue, n'est-ce pas ? Mais voici la partie délicate : le robot est facilement distrait. Il pourrait se dire : « Oh, cette personne a l'air triste parce qu'elle a un gros nez », ou « Cette personne a l'agitée parce que le soleil brille sur son front ». Ce sont comme des corrélations spécieuses — des indices qui n'ont rien à voir avec les sentiments réels mais qui apparaissent souvent dans les données d'entraînement. Si le robot apprend ces mauvaises habitudes, il échouera lamentablement lorsqu'il rencontrera quelqu'un de nouveau avec un nez différent ou sous un éclairage différent.

Les auteurs de cet article proposent une nouvelle façon ingénieuse d'entraîner l'« attention » du robot pour qu'il arrête de regarder les mauvaises choses et commence à se concentrer sur les véritables signaux émotionnels, peu importe qui se trouve devant la caméra. Ils appellent leur méthode la Supervision Causale de l'Attention.

Les Trois Tours de Magie

Pour corriger les mauvaises habitudes du robot, l'équipe a ajouté trois ingrédients spéciaux à son processus d'apprentissage :

1. Le jeu du « Et si ? » (Supervision Causale)
D'habitude, un robot regarde simplement un visage et devine. Cette équipe a fait jouer au jeu du « Et si ? » au robot. Ils lui ont demandé : « Si je te forçais à ignorer le nez et à ne regarder que les yeux, ton estimation de l'émotion changerait-elle ? »
Ils ont créé une version « contrefactuelle » de l'attention (une version fictive où le robot regarde des endroits aléatoires) et l'ont comparée à la version réelle. Au lieu de simplement maximiser la différence brute de magnitude, ils ont maximisé l'Effet Direct Total (TDE) — une mesure spécifique de la contribution causale de l'attention à la prédiction. En faisant cela, ils ont encouragé le robot à se concentrer sur des régions faciales invariantes au sujet — des zones qui prédisent systématiquement l'émotion chez différentes personnes, plutôt que de simples caractures spécifiques d'une seule personne. Cela garantit que le robot apprend à prêter attention à des régions ayant une valeur prédictive invariante, en distinguant efficacement les indices affectifs réels des facteurs spécieux comme l'identité ou l'éclairage, sans pour autant ignorer totalement l'identité.

2. La règle du « Pas de chevauchement » (Régularisation de la Co-variance Croisée)
Imaginez le cerveau du robot comme ayant deux équipes de travailleurs : l'équipe Clé (qui décide de ce qu'il faut regarder) et l'équipe Valeur (qui recueille les détails de ce qu'elle voit).
Dans les modèles standards, ces deux équipes se marchent souvent dessus et répètent la même information. C'est comme avoir deux personnes dans une pièce qui crient toutes les deux : « Regardez les yeux ! » tout en ignorant la bouche. Les auteurs ont introduit une règle pour s'assurer que ces deux équipes sont complémentaires, et non redondantes. Ils ont ajouté une pénalité si les équipes Clé et Valeur commençaient à dire la même chose. Cela les force à répartir le travail : l'une pourrait se concentrer sur la forme des sourcils, tandis que l'autre se concentre sur la tension de la mâchoire, rendant l'image finale beaucoup plus riche.

3. Le « Super-Transformer » (SwiGLU)
Enfin, l'équipe a amélioré la puissance cérébrale du robot. Les modèles standards utilisent un simple calcul linéaire pour traiter les détails recueillis. Les auteurs ont remplacé cela par un outil non linéaire sophistiqué appelé SwiGLU.
Imaginez que l'ancienne méthode était un toboggan droit, et que la nouvelle est une montagne russe avec des virages et des torsions. Cela permet au robot de capturer des détails beaucoup plus fins et complexes sur les émotions qu'un simple toboggan laisserait passer. Cela rend la compréhension des sentiments « fins » du robot beaucoup plus précise.

Est-ce que cela a fonctionné ?

L'équipe a testé cela sur un immense ensemble de vidéos du monde réel appelé s-Aff-Wild2, où les gens font toutes sortes de choses dans des environnements naturels. Ils ont mesuré le succès à l'aide d'un score appelé P, qui additionne la performance du robot sur trois tâches : deviner la Valence-Arousal (le degré de positivité/négativité et l'intensité du sentiment), reconnaître les Expressions (comme la joie ou la tristesse), et repérer les Unités d'Action (les minuscules mouvements musculaires du visage).

Voici ce qu'ils ont trouvé :

La Référence (Baseline) : Le robot standard (utilisant un modèle appelé ConvNeXt) a obtenu un score de 0,45 sur l'ensemble de validation officiel.
La Nouvelle Méthode : Lorsqu'ils ont utilisé leurs astuces de « Supervision Causale » avec un encodeur visuel puissant appelé FRoundation, le score a bondi à 1,2214.
Le Détail : Spécifiquement pour la Valence-Arousal, ils ont obtenu un score de 0,5123. Pour la reconnaissance des expressions, ils ont obtenu un score F1 de 0,3116, et pour repérer les mouvements musculaires, 0,3974.

Ils ont également testé la méthode cinq fois (appelée validation croisée à 5 plis ou 5-fold cross-validation) pour s'assurer que les résultats n'étaient pas dus à la chance. La nouvelle méthode a systématiquement battu l'ancienne, améliorant le score moyen de 0,8730 à 0,9569 avec un certain type de cerveau (DINOv2) et de 1,0524 à 1,1948 avec l'autre (FRoundation).

L'essentiel à retenir

L'article suggère qu'en forçant le robot à distinguer les véritables indices émotionnels des indices « faux » (comme l'identité ou l'éclairage) et en se concentrant uniquement sur les parties du visage qui possèdent une valeur prédictive invariante à travers différents sujets, nous pouvons construire des systèmes qui comprennent beaucoup mieux les sentiments humains. Ils n'ont pas seulement supposé cela ; ils l'ont mesuré à travers des milliers d'images et ont constaté que chacun de leurs trois nouveaux tours aidait le robot à de meilleures performances. Bien que le robot ne soit pas encore parfait (il reste de la marge pour améliorer ces scores), cette approche montre une voie claire vers la création de machines qui nous « comprennent » réellement, plutôt que de simplement deviner en fonction de notre apparence.

Résumé technique : Supervision causale de l'attention pour l'analyse du comportement affectif

Énoncé du problème
L'analyse du comportement affectif (ABA) vise à permettre aux machines d'inférer les états émotionnels humains à partir de signaux comportementaux, particulièrement les expressions faciales, dans des environaux non contraints (« in-the-wild »). Bien que les modèles d'apprentissage profond aient réalisé des progrès significatifs, ils peinent souvent à se généraliser à des sujets inconnus. Cette limitation provient du fait que les modèles exploitent fréquemment des corrélations spécieuses — telles que l'identité, la pose, l'illumination, l'âge et les variations démographiques — plutôt que d'apprendre de véritables indices affectifs invariants. Dans le contexte de la 11e compétition ABAW (Affective Behaviour Analysis in-the-wild), ce défi est formalisé par un cadre d'apprentissage multi-tâches (MTL) exigeant simultanément l'estimation de la Valence-Arousal (VA), la reconnaissance de l'Expression (EX) et la détection des Unités d'Action (AU). La difficulté centrale réside dans la distinction entre les signaux pertinents pour l'émotion et ces facteurs de confusion afin d'obtenir des représentations invariantes au sujet.

Méthodologie
Les auteurs proposent un cadre de regroupement par attention (attention pooling) inspiré de la causalité, conçu pour améliorer à la fois la sélection et la représentation des indices affectifs. L'architecture s'appuie sur un pipeline standard comprenant un backbone Vision Transformer (ViT) gelé pour l'extraction de caractéristiques, suivi d'un réseau de convolution temporelle (TCN) pour la modélisation temporelle, et de têtes de prédiction spécifiques à chaque tâche. Le cadre introduit trois modifications spécifiques du mécanisme d'attention pour renforcer la robustesse et l'expressivité :

Supervision causale de l'attention (CSA) : Pour imposer une attention sur les régions faciales ayant une valeur prédictive invariante à travers les sujets, les auteurs intègrent un signal de supervision causale. Cela implique un chemin « factuel » où le modèle prédit en fonction des poids d'attention appris, et un chemin « contrefactuel » où les poids d'attention sont remplacés par des vecteurs normalisés aléatoires échantillonnés à partir d'une distribution gaussienne. Le modèle est entraîné pour maximiser l'Effet Direct Total (TDE) — la différence entre les prédictions factuelles et contrefactuelles — encourageant ainsi le mécanisme d'attention à identifier systématiquement les régions faciales causalement pertinentes plutôt que de s'appuyer sur des corrélations spécieuses.
Régularisation d'indépendance de la co-variance croisée : Pour traiter la redondance entre les projections Clé ( $K$ ) et Valeur ( $V$ ) dans l'attention par produit scalaire à échelle réduite, les auteurs introduisent une perte de régularisation de la co-variance croisée. En minimisant la norme de Frobenius de la matrice de co-variance croisée entre les représentations centrées de $K$ et $V$ , la méthode encourage un encodage de caractéristiques complémentaires et non redondantes, permettant de consacrer davantage de capacité du modèle à des informations distinctes et pertinentes pour la tâche.
Projection de Valeur non linéaire SwiGLU : La projection linéaire standard pour la composante Valeur ( $V$ ) est remplacée par une transformation SwiGLU (Sigmoid Linear Unit Gated Linear Unit). Cette couche non linéaire augmente la capacité de représentation de la projection de valeur, permettant au modèle de capturer des indices affectifs plus fins avant l'étape d'agrégation par attention.

Principales contributions
Le papier présente un cadre unifié qui intègre les principes de l'inférence causale dans les mécanismes d'attention. Les principales contributions sont :

L'introduction de la Supervision causale de l'attention, qui utilise la génération contrefactuelle et la maximisation du TDE pour guider l'attention vers les régions faciales pertinentes et invariantes au sujet.
La formulation d'une perte de régularisation d'indépendance de la co-variance croisée pour découpler les représentations Clé et Valeur, réduisant ainsi la redondance des caractéristiques.
Le remplacement des projections linéaires de Valeur par des transformations non linéaires basées sur SwiGLU pour améliorer l'expressivité des caractéristiques.
Une évaluation complète sur le jeu de données s-Aff-Wild2 démontrant que ces composants améliorent collectivement la généralisation sur plusieurs tâches affectives.

Résultats expérimentaux
La méthode a été évaluée sur le jeu de données s-Aff-Wild2 en utilisant deux backbones différents : DINOv2 (pré-entraîné sur des images à usage général) et FRoundation (spécialisé pour les images faciales). La performance a été mesurée à l'aide de la métrique MTL officielle $P$ , qui additionne le coefficient de corrélation de concordance (CCC) moyen pour la VA, le score F1 moyen pour l'Expression ( $F_{EX}$ ) et le score F1 moyen pour les Unités d'Action ( $F_{AU}$ ).

Comparaison avec la base de référence (Baseline) : Contre la base de référence officielle (ConvNeXt avec MixAugment, $P=0,45$ ), la méthode proposée a obtenu des scores nettement plus élevés. Avec le backbone FRoundation, la méthode a atteint un score global de 1,2214 sur l'ensemble de validation officiel ( $CCC_{VA}=0,5123$ , $F_{EX}=0,3116$ , $F_{AU}=0,3974$ ).
Validation croisée : Dans un protocole de validation croisée à cinq plis, le backbone FRoundation a systématiquement surpassé DINOv2. La méthode proposée a amélioré le score multi-tâche moyen $P$ de 1,0524 (baseline) à 1,1948 avec FRoundation, et de 0,8730 à 0,9569 avec DINOv2.
Étude d'ablation : L'étude a confirmé que chaque composant contribue à la performance. Bien que le SwiGLU seul ait montré des résultats mitigés selon le backbone, la combinaison du SwiGLU avec soit la Supervision Causale, soit la Régularisation de la Co-variance, a systématiquement amélioré les performances. Le modèle complet (les trois composantes actives) a donné les meilleurs résultats, représentant des gains d'environ 9,6 % (DINOv2) et 13,5 % (FRoundation) par rapport à leurs bases de référence respectives.

Signification
Le papier affirme que le cadre proposé répond avec succès au défi des corrélations spécieuses dans l'analyse du comportement affectif en promouvant une attention invariante au sujet. En modélisant explicitement la contribution causale de l'attention et en réduisant la redondance des représentations de caractéristiques, la méthode produit des représentations affectives plus robustes et expressives. Les résultats suggèrent que l'intégration de la supervision causale et de la régularisation structurelle dans les mécanismes d'attention est une stratégie efficace pour améliorer la généralisation dans les tâches de calcul affectif non contraintes, particulièrement lorsqu'on exploite des backbones faciaux spécialisés comme FRoundation.

Les Trois Tours de Magie

Est-ce que cela a fonctionné ?

L'essentiel à retenir

Articles similaires