TAG: Thinking with Action Unit Grounding for Facial Expression Recognition

Ce papier présente TAG, un cadre vision-langage qui améliore la reconnaissance des expressions faciales en contraignant le raisonnement multimodal à s'appuyer sur des unités d'action faciales, réduisant ainsi les hallucinations et augmentant la fiabilité visuelle.

L'essentiel

🎭 Le Problème : Le "Storyteller" vs. Le "Médecin"

Imaginez que vous demandez à un expert en reconnaissance des émotions (un ordinateur) de dire ce qu'une personne ressent en regardant une photo.

• Les anciens modèles (les "boîtes noires") agissaient comme des devins. Ils regardaient la photo et disaient : "C'est de la tristesse". Mais si vous demandiez "Pourquoi ?", ils répondaient souvent : "Parce que c'est écrit dans mes données". C'est flou et on ne peut pas vérifier s'ils ont vraiment "vu" la tristesse ou s'ils ont juste deviné.
• Les nouveaux modèles (VLM) sont comme des conteurs de blagues. Ils sont très intelligents et parlent un langage magnifique : "Oh, cette personne a l'air triste, ses yeux sont baissés, son cœur est lourd..." Le texte est fluide et touchant. Mais attention ! Souvent, ils inventent des détails. Ils peuvent dire "ses yeux sont baissés" alors que sur la photo, ils sont grands ouverts. C'est ce qu'on appelle une hallucination. Ils racontent une belle histoire, mais elle ne correspond pas à la réalité de l'image.

💡 La Solution : TAG (Penser avec des "Unités d'Action")

Les chercheurs ont proposé une nouvelle méthode appelée TAG. Pour comprendre comment ça marche, utilisons une analogie médicale.

Imaginez que vous voulez apprendre à un étudiant en médecine à diagnostiquer une maladie.

• L'approche actuelle : L'étudiant regarde le patient et dit : "Il a l'air malade." (C'est vague).
• L'approche TAG : On apprend à l'étudiant à utiliser le FACS (le système de codage des actions faciales). C'est comme un dictionnaire anatomique qui décompose le visage en petits muscles précis.
  • Au lieu de dire "il a l'air triste", l'étudiant doit dire : "Je vois que le muscle AU12 (le coin de la bouche) est remonté" et "le muscle AU17 (le menton) est tendu".

TAG oblige l'ordinateur à faire pareil. Il ne peut pas juste donner une réponse. Il doit :

1. Observer le visage globalement.
2. Pointer précisément sur la photo (avec un cadre rouge) les muscles qui bougent (les "Unités d'Action" ou AUs).
3. Expliquer pourquoi ces mouvements précis mènent à l'émotion choisie.

🛠️ Comment ça marche ? (La Méthode en 2 Étapes)

Pour entraîner ce modèle, les chercheurs ont utilisé une astuce en deux temps, comme on entraîne un athlète de haut niveau :

1. L'Entraînement (SFT) : Le Cours Magistral
   On montre au modèle des milliers d'exemples où un "professeur" (un autre logiciel très fort) a déjà identifié les muscles qui bougent. Le modèle apprend à imiter ce professeur : "Regarde ici, c'est le muscle du sourcil qui se lève, donc c'est de la surprise". Il apprend à lier ses mots à des zones précises de l'image.

2. La Compétition (Renforcement) : Le Coach Sévère
   Une fois le modèle entraîné, on le laisse jouer. Mais ici, il y a un coach invisible (un détecteur de muscles automatique).

   • Si le modèle dit "C'est de la joie" et pointe le coin de la bouche, le coach vérifie : "Est-ce que le coin de la bouche bouge vraiment ?".
   • Si oui : Le modèle gagne des points.
   • Si non (il a inventé) : Le modèle perd des points.
     Cela force le modèle à arrêter d'inventer des histoires et à se concentrer sur ce qui est réellement visible sur la photo.

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé TAG sur trois grandes bases de données de photos de visages. Les résultats sont impressionnants :

• Plus précis : TAG devine mieux les émotions que les géants de l'intelligence artificielle (comme GPT-5 ou Gemini), même si TAG est un modèle plus petit.
• Plus honnête : Surtout, TAG ne "hallucine" presque plus. Si le modèle dit "Je vois une moue", il y a vraiment une moue sur la photo.
• Plus robuste : Même si on change le style des photos (lumière différente, personnes différentes), TAG reste fiable parce qu'il se base sur l'anatomie (les muscles), qui ne change pas, plutôt que sur des astuces de statistiques.

🌟 En Résumé

TAG, c'est comme passer d'un poète qui invente des émotions à un chirurgien qui les analyse avec précision.

Au lieu de dire : "Je sens que cette personne est triste" (ce qui peut être faux), TAG dit : "J'ai identifié la contraction du muscle AU15 et AU17 sur cette zone précise de la photo, donc mathématiquement et visuellement, c'est de la tristesse."

C'est une avancée majeure pour rendre l'intelligence artificielle fiable, vérifiable et digne de confiance, surtout dans des domaines sensibles comme la santé mentale ou l'interaction humain-machine.

Résumé technique

1. Le Problème : Le Manque d'Étude et d'Explicabilité dans la FER

La reconnaissance des expressions faciales (FER) est une tâche cruciale en vision par ordinateur, mais les systèmes modernes fonctionnent souvent comme des « boîtes noires ». Bien que les modèles récents basés sur les grands modèles de langage multimodaux (VLM/MLLM) puissent générer des explications en langage naturel, ces explications sont souvent non ancrées (ungrounded).

• Hallucinations : Les modèles produisent des raisonnements fluides et plausibles mais déconnectés des preuves visuelles réelles de l'image.
• Fragilité : Ces raisonnements reposent sur des biais de données ou des motifs sémantiques de haut niveau plutôt que sur des indices physiologiques, ce qui réduit la robustesse lors du passage d'un jeu de données à un autre.
• Manque de vérifiabilité : Il est impossible de vérifier si une explication textuelle correspond réellement à une zone spécifique du visage.

2. Méthodologie : Le Framework TAG

Les auteurs proposent TAG (Thinking with Action Unit Grounding), un cadre vision-langage qui contraint explicitement le processus de raisonnement du modèle à s'appuyer sur les Unités d'Action (AU) du système de codage des actions faciales (FACS). Les AU correspondent à des activations musculaires localisées et physiologiquement significatives.

L'approche repose sur deux étapes principales d'entraînement :

A. Construction du Dataset TAG-310k

Les auteurs ont créé un jeu de données à grande échelle (310 000 échantillons) en agrégeant trois benchmarks populaires (RAF-DB, FERPlus, AffectNet).

• Processus : Utilisation de détecteurs d'AU (GraphAU) et de repères faciaux (MediaPipe) pour identifier les zones d'activation musculaire.
• Génération de traces : Un VLM (Qwen2.5-VL-32B) génère des traces de raisonnement structurées qui lient des observations globales à des régions locales spécifiques via des balises <bbox> (boîtes englobantes) correspondant aux AU détectés.
• Filtrage : Un processus itératif élimine les erreurs de format et corrige les prédictions incorrectes par élimination de labels, assurant la qualité des traces d'entraînement.

B. Architecture et Entraînement en Deux Étapes

Le modèle de base (Qwen2.5-VL-7B) est entraîné selon une architecture standard VLM, mais avec des contraintes spécifiques :

1. Affinement Supervisé (SFT) : Le modèle apprend à générer des traces de raisonnement structurées contenant :

   • Une analyse globale.
   • Des vérifications locales liées aux AU avec des coordonnées de boîtes <bbox>.
   • Une conclusion finale <answer>.
   • Objectif : Apprendre au modèle à raisonner avec des indices physiologiques plutôt que des apparences globales.

2. Apprentissage par Renforcement (RL) avec GRPO : Une fois le SFT terminé, le modèle est affiné par renforcement (algorithme GRPO) avec une fonction de récompense composite :

   • Récompense de Réponse ($R_{ans}$) : Exactitude du label d'expression.
   • Récompense de Format ($R_{fmt}$) : Respect de la structure de sortie (balises <bbox>, <answer>).
   • Récompense d'Ancrage AU ($R_{AU}$) : C'est l'innovation clé. Elle mesure l'Intersection over Union (IoU) entre les boîtes prédites par le modèle et les zones d'AU détectées par un détecteur externe. Cela force le modèle à aligner ses « pensées » avec des preuves visuelles vérifiables.

3. Contributions Clés

• Identification du problème : Mise en évidence du problème de « raisonnement non ancré » dans les VLM appliqués à la FER, menant à des hallucinations et une faible robustesse.
• Framework TAG : Introduction d'un paradigme où le raisonnement multimodal est contraint par des preuves physiologiques (AU) via un apprentissage supervisé et un renforcement conscient des AU.
• Dataset TAG-310k : Création d'un vaste corpus de traces de raisonnement ancrées sur les AU, facilitant l'apprentissage de modèles fiables.
• Validation empirique : Démonstration que l'ancrage structuré améliore à la fois la précision de reconnaissance et la fidélité visuelle.

4. Résultats Expérimentaux

Les expériences ont été menées sur trois benchmarks majeurs : RAF-DB, FERPlus et AffectNet.

• Performance de Précision :
  • TAG (7B paramètres) avec RL par jeu de données atteint des performances State-of-the-Art (SOTA) : 92,80 % sur RAF-DB, 91,50 % sur FERPlus et 67,03 % sur AffectNet.
  • Il surpasse des modèles beaucoup plus grands (GPT-5, Gemini-2.5-Pro) et des méthodes spécifiques à la FER, malgré l'utilisation d'un modèle de base plus petit (7B).
• Fidélité Visuelle (Visual Faithfulness) :
  • L'IoU (Intersection over Union) entre les boîtes prédites et les détecteurs d'AU externes est significativement plus élevée avec TAG (60,24 % sur RAF-DB) qu'avec des modèles de base ou des méthodes RL sans récompense d'ancrage.
• Études d'ablation :
  • Le SFT seul améliore la précision et l'IoU par rapport au zero-shot.
  • L'ajout de RL sans récompense d'ancrage ($R_{AU}$) augmente la précision mais dégrade l'IoU, prouvant que le RL standard favorise les raccourcis cognitifs.
  • L'ajout de la récompense $R_{AU}$ restaure et améliore l'ancrage visuel tout en augmentant la précision.
• Évaluations Humaines et LLM :
  • Les juges humains et un LLM (GPT-5) préfèrent massivement les raisonnements de TAG (66-72 % de préférence) par rapport aux baselines, notant une meilleure précision anatomique et une moindre tendance à l'hallucination.

5. Signification et Impact

Ce travail propose un changement de paradigme pour la reconnaissance des émotions : passer d'une prédiction basée sur l'apparence globale à un raisonnement guidé par des preuves physiologiques.

• Confiance et Interprétabilité : En liant chaque étape du raisonnement à une zone musculaire vérifiable, TAG rend les décisions des IA transparentes et vérifiables, ce qui est crucial pour des applications à haut risque (santé mentale, interaction humain-machine).
• Réduction des Hallucinations : La contrainte d'ancrage sur les AU empêche le modèle d'inventer des détails visuels, améliorant la robustesse face aux changements de distribution de données.
• Généralité : Bien que conçu pour la FER, la méthodologie d'« ancrage sur des unités sémantiques structurées » pourrait s'appliquer à d'autres tâches de compréhension visuelle fine (ex: analyse de posture, détection de pathologies).

En résumé, TAG démontre que l'intégration de connaissances physiologiques structurées (les Unités d'Action) dans le processus d'entraînement des modèles de langage multimodaux est essentielle pour obtenir des systèmes d'IA à la fois performants, robustes et dignes de confiance.