🤖 machine learning

Faithful Action-unit Causal Reasoning for Counterfactually Faithful Emotion Explanations

Cet article introduit FACR, un cadre qui impose la fidélité contrefactuelle dans le raisonnement émotionnel multimodal en entraînant les modèles à aligner leurs explications par unités d'action (AU) avec un graphe causal structurel, garantissant ainsi que les AU invoquées sont causalement nécessaires pour les prédictions et se reflètent de manière vérifiable dans le texte généré.

Auteurs originaux : Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

Publié 2026-06-16

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Van Thong Huynh, Hong Hai Nguyen, Thuy Pham, Trong Nghia Nguyen, Soo-Hyung Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une caméra intelligente qui observe le visage d'une personne et dit : « Cette personne souffre ». Habituellement, ces caméras sont comme des étudiants confiants mais malhonnêtes : ils donnent la bonne réponse (la douleur), mais si vous leur demandez pourquoi, ils inventent une histoire qui semble cohérente mais qui n'est pas réellement ce qu'ils pensaient. Ils pourraient dire : « Je sais que c'est de la douleur parce que ses sourcils sont levés », même si la caméra réagissait en réalité à tout autre chose.

Ce document présente un nouveau système appelé FACR (Faithful Action-unit Causal Reasoning - Raisonnement causal par unités d'action fidèle). Son objectif est de forcer la caméra à dire la vérité sur la raison pour laquelle elle a pris sa décision, et non pas seulement à proposer une explication plausible.

Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : Le « menteur plausible »

La plupart des systèmes d'IA sont comme un étudiant qui a mémorisé le corrigé sans avoir compris les mathématiques. Si vous changez les chiffres dans le problème de mathématiques (un changement « contrefactuel »), l'étudiant donne toujours la même mauvaise réponse avec la même mauvaise explication.

Le problème : Les IA actuelles peuvent nommer les muscles faciaux (appelés Unités d'Action ou AU) qui bougent lorsque nous ressentons des émotions. Mais elles devinent souvent quels muscles causent l'émotion, plutôt que d'utiliser réellement ces muscles pour prendre la décision.

2. La Solution : Le « livre de règles strict »

Les auteurs ont construit un Graphe Causal. Considérez cela comme un livre de règles strict ou une carte.

La Carte : Elle trace explicitement des lignes reliant des mouvements musculaires spécifiques à des émotions spécifiques. Par exemple, elle dit : « Si vous voulez détecter la Douleur, vous devez regarder le Muscle A et le Muscle B. Si vous voyez le Muscle C, cela n'a aucune importance pour la Douleur. »
Le Twist : Au lieu d'utiliser simplement cette carte pour deviner l'émotion, ils forcent l'IA à suivre la carte pendant qu'elle s'explique.

3. L'Entraînement : Le « test d'intervention »

Pour rendre l'IA honnête, ils utilisent une méthode d'entraînement appelée Fidélité Contrefactuelle. Imaginez un professeur jouant au jeu du « Et si ? » avec l'étudiant :

Scénario A : « D'accord, je vais faire comme si le Muscle A (que la carte dit être la cause de la Douleur) était figé et incapable de bouger. Si votre système est honnête, votre réponse devrait passer de "Douleur" à "Pas de Douleur". »
Scénario B : « Maintenant, je vais faire comme si le Muscle C (que la carte dit n'avoir aucun rapport avec la Douleur) était figé. Votre réponse devrait rester exactement la même. »

Si l'IA échoue à ce test — c'est-à-dire qu'elle continue de dire « Douleur » même quand le muscle crucial a disparu, ou qu'elle change d'avis lorsqu'un muscle non pertinent est modifié — elle est pénalisée. Cela force l'IA à recâbler son cerveau pour que sa décision dépend réellement des muscles listés dans le livre de règles.

4. Le Résultat : Une IA « sincère »

Ils ont testé ce système sur deux points :

Détection de la douleur : Ils ont utilisé un ensemble de données où la « vérité » était connue (une formule spécifique de muscles égale la douleur).
- Avant : L'explication de l'IA ne correspondait à la vérité que 8 % du temps.
- Après : Avec ce nouvel entraînement, l'explication correspondait à la vérité 57 % du temps.
- Le compromis : L'IA est devenue légèrement moins performante pour simplement deviner « Douleur » vs « Pas de Douleur » (une légère baisse de précision), mais elle est devenue bien meilleure pour expliquer pourquoi. C'est comme un médecin qui est un peu plus lent pour diagnostiquer, mais qui donne une explication beaucoup plus précise des symptômes.
Transfert entre jeux de données : Ils ont testé cela sur un autre ensemble de données (émotions générales, pas seulement la douleur).
- L'IA a appris à respecter le livre de règles, même sur de nouvelles données.
- Constat crucial : L'IA n'est aussi honnête que le livre de règles qui la guide. Si le livre de règles contient des erreurs, l'IA suit fidèlement les mauvaises règles. Mais si le livre de règles est vérifié et correct, l'explication de l'IA devient un reflet fidèle de la réalité.

5. L'amélioration de la « Voix »

Enfin, ils ont attaché un modèle de langage à ce système.

Sans la correction : L'IA regarde le visage, décide qu'il est heureux, puis génère une phrase du type : « La personne semble heureuse parce qu'elle sourit », même si elle n'a pas réellement utilisé le muscle du « sourire » pour prendre cette décision.
Avec la correction : L'IA est « filtrée ». Elle ne peut mentionner un muscle dans sa phrase que si ce muscle a réellement déclenché la décision. Si vous retirez le muscle de l'image, l'IA est forcée de retirer le muscle de la phrase. L'explication est désormais construite par construction pour être vraie.

Résumé

Le document ne prétend pas que cela fait de l'IA un médecin parfait ou un lecteur de pensée. Il affirme que FACR crée un système où l'explication est fidèle.

Ancienne IA : « Je pense que c'est de la douleur parce que... eh bien, ça ressemble à de la douleur. » (Plausible mais peut-être mensonger).
Nouvelle IA (FACR) : « Je pense que c'est de la douleur parce que le Muscle X et le Muscle Y sont actifs, et mon livre de règles dit que ces deux muscles égalent la douleur. Si je les retire, je ne dirais pas que c'est de la douleur. » (Fidèle et vérifiable).

Le papier prouve que vous pouvez entraîner une IA à être « honnête » dans son raisonnement, même si cela signifie qu'elle devient légèrement moins précise dans le jeu de la devinette pure. C'est un compromis : un peu moins de vitesse/précision pour beaucoup plus de confiance et de transparence.

Résumé Technique : Raisonnement Causal sur les Unités d'Action Fidèle (FACR)

1. Énoncé du Problème

Les systèmes de reconnaissance automatique des émotions faciales nécessitent de plus en plus des explications qui ne sont pas seulement plausibles mais fidèles — c'est-à-dire que l'explication doit refléter les facteurs réels qui pilotent la prédiction. Les approches actuelles se divisent en deux catégories, toutes deux dépourvues de fidélité :

Méthodes de causalité structurelle : Elles modélisent les Unités d'Action (AU) et les expressions à l'aide de graphes causaux, mais sont purement discriminatives. Elles rejettent la structure récupérée lors de l'inférence, ne produisant que des étiquettes ou des cartes d'attention sans rationales verbalisées.
Modèles de Langage Multimodaux (MLLM) : Ils génèrent des rationales d'émotion en langage naturel basées sur les AU. Cependant, leur texte n'est pas contraint par des structures causales vérifiées et est évalué uniquement sur la plausibilité (par exemple, le chevauchement de texte ou des juges basés sur GPT). Par conséquent, ils substituent souvent l'attribution causale par un appariement de modèles (template matching) et ne parviennent pas à mettre à jour leurs explications sous l'effet d'éditions contrefactuelles.

L'écart fondamental réside dans l'absence d'un système qui ancre un raisonneur AU $\to$ émotion dans un graphe causal vérifié et impose une fidélité contrefactuelle, garantissant qu'une intervention sur une AU causale modifie à la fois la prédiction et la rationale, tandis qu'une intervention sur une AU non pertinente laisse ces dernières inchangées.

2. Méthodologie : FACR

Le système proposé, Faithful Action-unit Causal Reasoning (FACR), comble cette lacune via trois étapes intégrées :

A. Induction de Graphe Causal Structurel AU $\to$ Émotion ( $G$ )

FACR induit un graphe causal dirigé et sensible à la polarité $G = (A \cup C, E)$ de manière indépendante plutôt que de réutiliser des graphes externes. Le graphe est assemblé à partir de trois sources :

Arêtes AU $\to$ Émotion : Estimées via une régression logistique avec régularisation L1 sur le corpus conjoint AffectNet $\times$ FABA.
Arêtes AU $\to$ AU : Estimées via la sélection de voisinage sur EmotioNet.
Sous-structures vérifiées : La sous-structure de la douleur est fixée en utilisant la formule PSPI (Prkachin–Solomon Pain Intensity) comme vérité de terrain. Pour les autres émotions, les arêtes sont complétées à partir des prototypes EMFACS.
Polarité : Chaque arête porte un signe ( $s \in \{-1, +1\}$ ) indiquant des relations excitatrices ou inhibitrices.

B. Raisonneur Conditionné par le Graphe

Le système projette un visage d'entrée $x$ vers un latent d'AU désenchevêtré $z \in \mathbb{R}^K$ , où chaque coordonnée $z_k$ représente la présence d'une AU $k$ .

Prédiction : Une tête conditionnée par le graphe prédit la classe d'émotion $\hat{y}$ basée sur $z$ .
Rationale : Un verbaliseur de langage génère une explication en langage naturel nommant les AU actives et leurs arêtes causales dans $G$ .
Mécanisme d'intervention : L'espace latent permet des interventions $do$ bien définies (ex: $do(z_k=0)$ ), simulant la suppression d'une AU.

C. Objectif de Fidélité Contrefactuelle

FACR introduit un objectif d'entraînement qui couple la prédiction et la rationale au graphe $G$ via deux termes :

Terme de Sensibilité ( $L_{sens}$ ) : Exige que la suppression d'une AU $a_k$ que $G$ marque comme causale pour la classe $c$ déplace le logit de la classe dans la direction impliquée par la polarité de l'arête.
Terme d'Invariance ( $L_{inv}$ ) : Exige que la suppression d'une AU $a_k$ marquée comme non pertinente pour la classe $c$ laisse le logit de la classe inchangé.

La perte totale combine la perte de classification, la perte d'ancrage AU et ces termes de fidélité :
$L = L_{cls} + \lambda_a L_{au} + \lambda_s L_{sens} + \lambda_i L_{inv}$

D. Construction de la Rationale Verbalisée

Pour garantir que le texte généré est fidèle, le verbaliseur est contrôlé par construction. L'émission de chaque jeton d'AU est biaisée par son activation latente $z_k$ . Si une AU est inactive dans l'espace latent, elle est fortement supprimée de la nomination dans le texte. Cela garantit que l'ablation d'une AU dans l'espace latent supprime de manière fiable sa mention dans l'explication générée.

3. Contributions Clés

Formalisation : Présente le raisonnement AU $\to$ émotion comme un problème de cohérence contrefactuelle entre la rationale, l'étiquette et un graphe causal.
Système FACR : Propose un système qui ancre un raisonneur MLLM dans un graphe causal induit indépendamment et sensible à la polarité, et impose la fidélité via des interventions $do$ dans un espace latent désenchevêtré.
Métrique de Fidélité : Introduit une métrique de fidélité contrefactuelle (sensibilité et invariance) évaluée par rapport à des structures connues (PSPI pour la douleur, EMFACS pour l'émotion). Crucialement, cette métrique teste la fidélité à la structure fournie sur des données non vues, et non la redécouverte de la structure.
Validation Empirique : Démontre que l'objectif de fidélité augmente significativement l'accord entre les AU invoquées et les structures causales (PSPI et EMFACS) à travers différents jeux de données, tout en quantifiant explicitement le compromis avec la précision de détection.

4. Résultats Expérimentaux

A. UNBC-PAIN (Détection de la Douleur)

Évalué par validation croisée de type "leave-one-subject-out" (LOSO) :

Gain de Fidélité : L'objectif de fidélité a élevé l'accord entre les AU invoquées et la composition PSPI vérifiée, passant d'une base de 0,08 (sans objectif) à 0,57.
Compromis de Précision : Ce gain s'est accompagné d'un coût modeste et quantifié sur la précision de détection, l'AUC diminuant de 0,83 (contrôle) à 0,79 (FACR).
Récupération de l'Invariance : L'ajustement du poids d'invariance ( $\lambda_i$ ) a permis au modèle de satisfaire simultanément les contraintes de sensibilité et d'invariance.

B. Transfert d'Émotion entre Jeux de Données (AffectNet $\times$ FABA $\to$ Aff-Wild2)

Généralisation : L'objectif a élevé l'accord causal-graphe de 0,50 à 0,84 pour une tâche d'émotion à sept classes.
Dépendance de la Qualité du Graphe :
- Avec un graphe appris (bruité), l'accord avec les AU réellement actives restait faible (0,24), rejoignant le contrôle.
- Avec un graphe vérifié (EMFACS), l'accord avec les AU réellement actives est monté à 0,59, tandis que l'accord graphe-causal restait élevé (0,74).
- Cela confirme que la fidélité au graphe est nécessaire mais non suffisante ; la justesse du graphe fixe le plafond de l'alignement avec la réalité.
Comparaison avec EmoLA : Un MLLM affectif publié (EmoLA) a obtenu un rappel plus élevé des AU actives (0,52 contre 0,37) en nommant de nombreuses AU de manière indiscriminée. Cependant, FACR avec un graphe vérifié a obtenu une précision plus élevée (0,59 contre 0,51) et une fidélité plus grande (0,74 contre 0,63) à la structure causale, démontant qu'il sélectionne les bonnes AU causales plutôt que simplement beaucoup d'AU.

C. Audit de la Rationale Verbalisée

Construction vs Apprentissage : Un verbaliseur entraîné à nommer les AU actives sans blocage (gating) était infidèle (seulement 6 % des AU ablées étaient supprimées du texte).
Succès du Blocage (Gating) : Avec la contrainte de blocage, l'ablation d'une AU causale supprimait de manière fiable l'AU du texte généré.
Indépendance du Backbone : Le mécanisme de fidélité s'est transféré à un second modèle de langage (Gemma 3), confirmant que le mécanisme n'est pas spécifique au modèle de base.

5. Signification et Revendications

L'article affirme que FACR offre une voie vers des explications contraintes, et non simplement plausibles, dans le raisonnement AU $\to$ émotion.

La Fidélité est distincte de la Précision : L'étude démontre que la fidélité et la précision sont des axes distincts ; un modèle peut être rendu plus fidèle sans devenir plus précis, ce qui nécessite des métriques séparées.
Levier Interventionnel : Contrairement aux travaux précédents, FACR fournit un levier d'intervention auditable (le latent d'AU) qui permet de tester la dépendance de l'explication vis-à-vis de la prédiction.
Principe de Conception : La fidélité est plus robuste lorsqu'elle est imposée par construction (via le blocage et les contraintes causales) plutôt que simplement apprise par la capacité ou les données seules.
Limites : Les auteurs déclarent explicitement que FACR n'est pas un modèle de reconnaissance de pointe (scores AUC/F1 modestes) et que son alignement avec la réalité est borné par la justesse du graphe causal fourni. La méthode ne prétend pas redécouvrir la structure, mais adhérer fidèlement à une structure fournie.