💻 computer science

Conflict-Aware Multimodal Fusion for Ambivalence and Hesitancy Recognition

Le papier présente ConflictAwareAH, un cadre de fusion multimodale qui exploite les divergences entre les modalités (texte, audio, vidéo) pour améliorer la reconnaissance de l'ambivalence et de l'hésitation, surpassant significativement les approches textuelles et les bases multimodales existantes sur le jeu de données BAH.

Auteurs originaux : Salah Eddine Bekhouche, Hichem Telli, Azeddine Benlamoudi, Salah Eddine Herrouz, Abdelmalik Taleb-Ahmed, Abdenour Hadid

Publié 2026-03-18

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Salah Eddine Bekhouche, Hichem Telli, Azeddine Benlamoudi, Salah Eddine Herrouz, Abdelmalik Taleb-Ahmed, Abdenour Hadid

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎭 Le Problème : Quand le corps et la bouche ne disent pas la même chose

Imaginez que vous êtes dans un cabinet médical. Un patient vous dit : "Oui, je suis tout à fait d'accord pour prendre ce traitement." Sa voix est ferme, ses mots sont clairs. Mais en même temps, il se mord la lèvre, son regard fuit et sa voix tremble légèrement.

C'est ce qu'on appelle l'ambivalence ou l'hésitation. C'est un état subtil où la personne est tiraillée entre deux sentiments.

Le problème pour les ordinateurs (les IA), c'est qu'ils sont très forts pour lire les mots, mais ils ont du mal à détecter ce mensonge involontaire. Si on leur donne seulement le texte de la conversation, l'IA va penser : "Ah, il dit 'oui', donc c'est positif !". Elle rate le signal d'alerte envoyé par le visage et la voix.

🕵️‍♂️ La Solution : Le détective des contradictions

Les chercheurs (Salah, Hichem et leur équipe) ont créé un nouveau système appelé ConflictAwareAH. Au lieu de simplement écouter ce que dit le patient, ce système joue le rôle d'un détective qui cherche les incohérences.

Voici comment ça marche, avec une analogie simple :

1. Les trois témoins (Les modalités)

Imaginez que vous interrogez trois témoins pour savoir si quelqu'un est stressé :

Le témoin Texte : Il lit ce que la personne a dit.
Le témoin Vidéo : Il regarde les expressions du visage.
Le témoin Audio : Il écoute le ton de la voix.

Dans une situation normale, les trois témoins racontent la même histoire. Mais dans un cas d'hésitation, ils se contredisent.

2. Le calcul de la "distance" (La fusion consciente du conflit)

C'est le cœur de leur invention. Au lieu de simplement mélanger les avis des trois témoins, le système calcule la différence entre eux.

Si le Texte dit "Je suis content" mais que le Visage fait une grimace de peur, le système mesure cette grande distance.
L'analogie : C'est comme si vous aviez un thermomètre. Si la température de la pièce (le texte) est de 20°C, mais que votre peau (la voix) brûle à 40°C, le thermomètre ne vous dit pas la moyenne (30°C). Il vous dit : "ATTENTION ! Il y a un conflit énorme ici !".

C'est cette "distance" qui permet à l'IA de dire : "Ah, il y a un conflit entre ce qu'il dit et ce qu'il montre. Il est probablement hésitant."

3. Le stratège (La fusion tardive guidée par le texte)

Le système a aussi une petite astuce de génie. Il sait que le Texte est souvent le meilleur indicateur (les mots d'hésitation comme "euh...", "peut-être", "je ne sais pas" sont très révélateurs).

Donc, il garde un "assistant" qui ne regarde que le texte.
À la fin, il combine l'avis de l'expert "Tout-en-un" (qui a vu le conflit) et l'avis de l'expert "Texte seul".
L'analogie : C'est comme un jury. Le chef de jury (le modèle multimodal) écoute tout le monde, mais il demande aussi l'avis d'un expert spécialisé en langage (le texte) pour trancher les cas difficiles. Cela permet d'éviter de se tromper trop souvent.

🏆 Les Résultats : Pourquoi c'est impressionnant ?

Moins d'erreurs : Les anciennes IA avaient tendance à crier "Hésitation !" à chaque fois qu'un mot ambigu apparaissait (trop de faux positifs). Ce nouveau système est plus équilibré. Il sait mieux dire "Non, il n'est pas hésitant" quand tout est cohérent.
Rapidité : Tout cela a été entraîné en moins de 25 minutes sur un seul ordinateur puissant (une carte graphique RTX 4090). C'est comme cuisiner un repas complet en 20 minutes au lieu de 3 heures.
Performance : Ils ont gagné le challenge (ABAW10) avec une note bien supérieure aux autres équipes, battant même des modèles géants qui utilisent des milliards de paramètres.

💡 En résumé

Ce papier nous apprend que pour détecter l'hésitation humaine, il ne faut pas seulement écouter ce que les gens disent, mais surtout surveiller les petits écarts entre leurs mots, leur visage et leur voix.

C'est comme si on apprenait à l'ordinateur à ne pas se fier aveuglément aux paroles, mais à devenir un observateur attentif des contradictions, car c'est souvent là que se cache la vérité émotionnelle.

1. Problématique et Contexte

Définition du problème :
L'ambivalence et l'hésitation (A/H) sont des états affectifs subtils où un individu émet des signaux contradictoires à travers différents canaux (par exemple, dire « je suis d'accord » verbalement tout en affichant des signes de stress ou d'incertitude sur son visage ou dans sa voix).

Défis techniques :

Nature des signaux : Contrairement aux émotions de base (joie, colère) qui sont souvent cohérentes sur un seul canal, l'A/H se définit par le désaccord entre les modalités. Les méthodes de fusion multimodale classiques, conçues pour trouver des points de convergence, échouent souvent car elles tendent à supprimer ces signaux de désaccord essentiels.
Biais des approches textuelles : Les approches dominantes basées uniquement sur le texte ont tendance à sur-détecter l'A/H (faux positifs élevés) car le langage clinique contient naturellement beaucoup d'incertitudes, même en l'absence d'ambivalence réelle. Elles peinent à confirmer l'absence d'A/H (faible F1-NoAH).
Données limitées : Le jeu de données BAH (utilisé pour le défi ABAW10) ne contient que 778 vidéos d'entraînement annotées par des experts, rendant le risque de surapprentissage (overfitting) élevé et la régularisation cruciale.

Objectif :
Développer un système capable de détecter automatiquement ces états en exploitant explicitement les incohérences inter-modales, tout en maintenant une performance équilibrée entre la détection de l'ambivalence et la confirmation de son absence.

2. Méthodologie : ConflictAwareAH

Les auteurs proposent un cadre multimodal nommé ConflictAwareAH, structuré autour de trois piliers principaux :

A. Encodeurs Pré-entraînés

Le système utilise trois encodeurs spécialisés pour extraire des représentations de dimension 768 :

Vidéo : VideoMAE-Base (entraîné sur Kinetics-400), échantillonnant 16 trames par clip.
Audio : HuBERT-Base (entraîné sur LibriSpeech), capturant les indices prosodiques (pauses, variations de hauteur, bégaiements).
Texte : RoBERTa-GoEmotions (finetuné sur le dataset GoEmotions), capable de détecter des nuances émotionnelles fines comme le doute ou la confusion. Le modèle utilise la transcription complète de la vidéo, et non seulement le texte aligné sur la fenêtre visuelle, car l'hésitation peut survenir à n'importe quel moment de l'entretien.

B. Fusion Consciente du Conflit (Cœur de l'approche)

Au lieu de simplement concaténer les embeddings, le modèle calcule explicitement des vecteurs de conflit basés sur les différences absolues élément par élément entre les modalités :

$c_{va} = |v - a|$ (Vidéo vs Audio)
$c_{vt} = |v - t|$ (Vidéo vs Texte)
$c_{at} = |a - t|$ (Audio vs Texte)

Logique bidirectionnelle :

Une grande différence signale un conflit potentiel, indiquant la présence d'A/H.
Une faible différence (cohérence) sert d'ancrage pour la classe négative (absence d'A/H).
Cette représentation fusionnée $[v; a; t; c_{va}; c_{vt}; c_{at}]$ est traitée par un réseau de neurones feed-forward (FFN) pour produire un logit de classification.

C. Fusion Tardive Guidée par le Texte

Pour compenser la dominance du signal textuel tout en évitant son biais, une tête auxiliaire mono-modale (texte uniquement) est entraînée en parallèle.

Entraînement : Les deux têtes (fusion complète et texte seul) sont optimisées conjointement avec une perte pondérée.
Inférence : Les probabilités sont mélangées selon la formule :
$p = \alpha \cdot \sigma(\ell_{text}) + (1 - \alpha) \cdot \sigma(\ell_{full})$
Avec $\alpha = 0.6$ , ce qui permet de s'appuyer sur la force prédictive du texte tout en intégrant les preuves multimodales pour les cas ambigus.

D. Stratégies d'Entraînement et d'Inférence

Gestion des petites données : Gel des poids des encodeurs (ou dégel léger des 2 dernières couches) et utilisation du lissage d'étiquettes (label smoothing).
Inférence multi-fenêtres : Au lieu d'une seule fenêtre de 16 trames, le modèle échantillonne 5 fenêtres aléatoires par vidéo et moyenne les prédictions pour couvrir l'ensemble de l'entretien.
Ensembling : Combinaison de deux checkpoints (l'un avec dégel de couches, l'autre avec lissage d'étiquettes) pour améliorer la robustesse.

3. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données BAH du défi ABAW10.

Performance Principale :
- Le modèle atteint un Macro F1 de 0,694 sur le jeu de test étiqueté et 0,715 sur le leaderboard privé (non étiqueté).
- Cela surpasse les meilleures bases de référence multimodales publiées (ex: LFAN à 0,593) de plus de 10 points.
- L'approche est extrêmement efficace : entraînement complet en moins de 25 minutes sur une seule carte graphique NVIDIA RTX 4090.
Analyse par Composante (Ablation) :
- Fusion guidée par le texte : Apporte un gain de +4,1 points de Macro F1 par rapport à la fusion seule.
- Fonctions de conflit : Améliorent le modèle de +0,9 point global, mais leur impact réel est structurel : elles réduisent l'écart de performance entre les classes.
- Équilibre des classes :
  - Le modèle Texte seul a un F1-NoAH faible (0,670) et un F1-AH élevé (0,804), créant un biais de sur-détection.
  - Le modèle ConflictAwareAH rééquilibre les scores : F1-NoAH passe à 0,716 (+4,6 points) et F1-AH à 0,777, réduisant l'écart de performance de moitié.

4. Contributions Clés

Fusion Multimodale Consciente du Conflit : Introduction de caractéristiques explicites de différence inter-modale qui agissent comme des signaux bidirectionnels (le désaccord signale l'A/H, l'accord confirme son absence). Cela corrige le biais systématique des approches textuelles.
Stratégie de Fusion Tardive Guidée par le Texte : Combinaison intelligente d'une tête textuelle pure avec le modèle multimodal complet, exploitant la puissance du langage tout en utilisant les autres modalités pour valider la cohérence comportementale.
Base de Référence Efficace et Reproductible : Un pipeline complet qui bat les états de l'art avec une fraction des ressources computationnelles (entraînement rapide sur un seul GPU), démontrant que la régularisation et l'ingénierie des caractéristiques (features) sont plus critiques que la complexité du modèle pour ce type de données.

5. Signification et Impact

Ce travail est significatif pour plusieurs raisons :

Pertinence Clinique : Dans les entretiens médicaux, un faux positif (détecter à tort une hésitation) gaspille le temps du clinicien. La capacité du modèle à confirmer l'absence d'ambivalence (F1-NoAH élevé) est aussi cruciale que sa capacité à la détecter.
Paradigme de Conception : Le papier démontre que pour détecter des états définis par la contradiction (comme l'ambivalence), les systèmes de fusion ne doivent pas seulement chercher la cohérence, mais doivent modéliser explicitement l'incohérence.
Robustesse : En intégrant des preuves multimodales, le système devient plus robuste aux erreurs de transcription (ASR) ou aux patients peu verbaux, alignant ainsi l'IA sur la pratique clinique réelle où les signes non verbaux sont primordiaux.

En résumé, ConflictAwareAH propose une solution élégante et performante à un problème difficile en transformant la « faiblesse » des signaux contradictoires en la caractéristique principale de détection.