💻 computer science

CF-Net: Conflict Fusion with Speaker Normalisation and Certainty Weighting for Ambivalence/Hesitancy Recognition

Cet article présente CF-Net, un réseau multimodal profond qui exploite la normalisation du locuteur, la fusion de conflit explicite pour l'incongruence cross-modale et l'entraînement pondéré par la certitude afin d'atteindre des performances de pointe dans la détection de l'ambivalence et de l'hésitation dans des vidéos non contraintes.

Auteurs originaux : Tung Hung Bui, Hong Hai Nguyen, Van Thong Huynh

Publié 2026-07-16

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tung Hung Bui, Hong Hai Nguyen, Van Thong Huynh

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez essayer de lire une pièce non pas en regardant ce que les gens disent, mais en repérant les minuscules fissures là où leurs mots, leur voix et leur visage ne concordent pas tout à fait. C'est le monde fascinant de la reconnaissance d'affect multimodale, une branche de l'intelligence artificielle qui tente de comprendre les émotions humaines en écoutant comment nous parlons, en observant comment nous bougeons et en lisant ce que nous tapons. Généralement, quand les gens sont heureux, leur sourire, leur rire et leur « ouais ! » s'alignent parfaitement. Mais il existe un sentiment plus complexe et plus humain appelé ambivalence et hésitation. C'est ce moment gênant où vous voulez dire « oui » mais où votre voix vacille, ou quand vous paraissez confiant alors que vos paroles semblent incertaines. C'est comme un trio musical où le batteur joue du jazz, le guitariste joue du rock et le chanteur fredonne une berceuse ; le « sentiment » ne réside dans aucun instrument en particulier, mais dans le choc désordonné et confus entre eux. Détecter cela est incroyablement difficile pour les ordinateurs car la plupart des IA sont entraînées pour repérer des sourires joyeux et clairs, et non ces signaux subtils et contradictoires.

Entrez en scène CF-Net, un nouveau détective numérique conçu par les chercheurs Tung Hung Bui, Hong Hai Nguyen et Van Thong Huynh pour résoudre ce puzzle spécifique. Ils ont participé à la 3ème édition du Défi de Reconnaissance Vidéo de l'Ambivalence/Hésitation (faisant partie de la 11ème compétition ABAW) avec un système conçu pour cesser de deviner et commencer à écouter les arguments entre les différents « sens » d'une personne.

Le Problème : Le « Piège de l'Identité » et le « Signal de Confusion »

Les chercheurs ont été confrontés à une situation délicate. Ils disposaient d'un ensemble de données appelé BAH, contenant des clips vidéo de personnes en entretien. L'objectif était de repérer quand un locuteur ressentait de l'ambivalence. Cependant, ils ont dû faire face à trois obstacles majeurs :

Le Signal est un Décalage : Contrairement à un visage « joyeux » limpide, l'ambivalence est définie par l'incongruence. Si une personne dit quelque chose de positif mais que sa voix semble tremblante, l'ordinateur doit remarquer ce désaccord, et non pas seulement les mots ou la voix seuls.
Le Problème de l'« Étranger » : Les vidéos de test présentaient des personnes que l'ordinateur n'avait jamais vues auparavant. Si l'IA apprenait à reconnaître le visage spécifique ou le timbre de voix d'une personne (comme mémoriser le rire d'un ami), elle échouerait complètement face à un étranger. Elle devait ignorer qui parlait pour se concentrer uniquement sur comment la personne parlait.
Les Étiquettes du « Peut-être » : Parfois, même les experts humains ne parvenaient pas à s'entendre pour savoir si un clip montrait de l'ambivalence ou non. L'ensemble de données incluait un « score de certitude » pour chaque clip, indiquant le degré d'accord des annotateurs humains. L'IA devait savoir quand faire confiance à une étiquette et quand être prudente.

La Solution : Le Tour de Magie en Trois Étapes de CF-Net

L'équipe a construit CF-Net, un système qui agit comme un médiateur super intelligent dans une dispute à trois voies entre la Vision (ce que nous voyons), l'Audio (ce que nous entendons) et le Texte (ce qui est dit).

Étape 1 : Le Filtre « Fantôme » (Normalisation du Locuteur)
D'abord, le système examine la vidéo et l'audio. Mais voici l'astuce : avant d'analyser l'émotion, il effectue une « normalisation du locuteur ». Imaginez que vous essayez de juger la performance d'un chanteur, mais que vous soustrayez d'abord sa texture vocale unique et permanente pour n'entendre que les changements de ton pour cette chanson spécifique. CF-Net fait cela mathématiquement. Il calcule le « visage » et la « voix » moyens de chaque locuteur et les soustrait. Cela élimine la « fuite d'identité » — le risque que l'IA se contente de mémoriser que « la Personne A a l'air nerveuse » — et force le système à se concentrer uniquement sur l'hésitation ou le conflit momentané.

Étape 2 : Le Détecteur de « Conflit » (ConflictFusion)
Ensuite, le système prend les signaux nettoyés des yeux, des oreilles et du texte. Au lieu de simplement les fusionner (ce qui suppose qu'ils sont d'accord), CF-Net utilise un module spécial appelé ConflictFusion. Voyez cela comme un arbitre qui ne se contente pas d'écouter les joueurs, mais qui mesure spécifiquement à quel point leurs opinions divergent. Il calcule la « distance » entre le texte et la voix, le texte et le visage, et la voix et le visage. Si le texte dit « Je vais très bien » mais que la voix semble tremblante, le système perçoit un énorme écart. Il transforme cet écart en une caractéristique, enseignant explicitement à l'IA que le désaccord est le signal qu'elle recherche.

Étape 3 : Le Test d'« Honnêteté » (Pondération de Certitude)
Enfin, le système est entraîné à être humble. Les chercheurs ont doté l'IA d'une « tête de certitude » — une cellule cérébrale supplémentaire qui tente de deviner à quel point les annotateurs humains étaient sûrs d'un clip. Si les humains étaient incertains (faible certitude), l'IA reçoit l'instruction : « Ne sois pas trop confiante dans ta réponse ; c'est un cas difficile ». Cela est réalisé grâce à une astuce mathématique appelée perte focale pondérée par la certitude (certainty-weighted focal loss), qui ordonne à l'IA de prêter une attention particulière aux exemples clairs et évidents, et d'être plus nuancée avec les plus confus.

Les Résultats : Une Touche Légère, une Victoire Lourde

L'équipe a testé CF-Net sur le dataset BAH. Ils n'ont pas tenté de réentraîner les cerveaux massifs pré-entraînés (backbones) qui lisent les images et les sons ; ils les ont gardés gelés pour gagner du temps et éviter le surapprentissage (overfitting). Ils n'ont entraîné que les petites parties de « colle » qui les relient.

Les résultats sont impressionnants. Sur l'ensemble de validation (un test d'entraînement), CF-Net a atteint un score F1 Macro de 0,7155. Mais la véritable magie a opéré sur l'ensemble de test privé, qui contenait des locuteurs totalement nouveaux que l'IA n'avait jamais vus. Là, le score est monté à 0,7364 (avec une précision moyenne de 0,7392).

C'est significatif car de nombreux autres systèmes ont obtenu de meilleurs scores sur le test d'entraînement mais ont régressé sur le test réel (signe qu'ils mémorisaient simplement les visages d'entraînement). CF-Net a fait l'inverse : il est devenu meilleur face à des inconnus. Cela prouve que le « Filtre Fantôme » (normalisation du locuteur) et le « Test d'Honnêteté » (pondération de certitude) ont réellement fonctionné, aidant l'IA à se généraliser à de nouvelles personnes plutôt qu'à tricher en mémorisant les anciennes.

Dans un domaine où d'autres équipes passent des heures à affiner des modèles massifs et peinent toujours face au problème de l'« étranger », CF-Net a réussi à battre les meilleurs scores précédents grâce à une approche légère qui s'est entraînée en moins de 15 minutes sur une seule carte graphique grand public. Il a démontré que pour comprendre l'hésitation humaine, il n'est pas nécessaire de savoir qui est la personne ; il suffit d'écouter attentivement là où ses mots, sa voix et son visage sont en désaccord.

Résumé Technique : CF-Net pour la reconnaissance de l'ambivalence et de l'hésitation

Définition du Problème
La détection de l'ambivalence et de l'hésitation (AH) dans des vidéos non contraintes présente un défi unique, distinct de la reconnaissance d'émotions discrètes standard. Alors que des émotions comme la joie ou le dégoût se manifestent généralement par des signaux corrélés à travers les modalités faciales, vocales et textuelles, l'AH est caractérisée par une incongruence cross-modale. Par exemple, les paroles d'un locuteur peuvent exprimer de la positivité tandis que sa prosodie signale de l'hésitation, ou son visage peut rester neutre alors que ses choix lexicaux traduisent du doute. Le signal discriminatif réside dans le désaccord entre les modalités plutôt que dans un canal unique.

Ce défi est accentué par les contraintes du jeu de données BAH utilisé dans la série de défis ABAW AH :

Disjonction des locuteurs : Les ensembles d'entraînement, de validation et de test contiennent des locuteurs entièrement différents. Les systèmes qui encodent par inadvertance l'apparence visuelle spécifique au locuteur ou le timbre de la voix (fuite d'identité) échouent à se généraliser au jeu de test.
Rareté des données : L'ensemble d'entraînement (778 clips) est petit par rapport à la dimensionnalité des grands modèles pré-entraînés, ce qui augmente le risque de surapprentissage (overfitting).
Incertitude de l'annotation : Les étiquettes ne sont pas des certitudes binaires mais incluent un « score de certitude » par clip dérivé de l'accord des annotateurs. Les clips à faible certitude représentent une ambiguïté perceptuelle réelle plutôt que des erreurs d'étiquetage, ce qui nécessite que les modèles évitent une confiance excessive sur les échantillons limites.

Méthodologie : CF-Net
Les auteurs proposent CF-Net, un réseau multimodal profond conçu pour répondre à ces défis spécifiques grâce à des backbones gelés, une modélisation explicite des conflits et une normalisation par locuteur.

Extraction de caractéristiques avec des backbones gelés :
- Visuel : SigLIP2 (gelé) traite des extractions faciales échantillonnées à 30 fps, produisant des plongements (embeddings) de 768 dimensions.
- Audio : HuBERT (gelé) traite des segments audio de 20 ms, avec un calcul de la moyenne par niveau de trame.
- Texte : DistilBERT (gelé) encode des énoncés transcrits manuellement en un vecteur unique de 768 dimensions.
- Note : Tous les poids des backbones restent gelés pendant l'entraînement pour prévenir le surapprentissage et la mémorisation de l'identité.
Normalisation par locuteur :
Avant l'encodage temporel, les caractéristiques visuelles et audio subissent une normalisation par locuteur. Pour chaque locuteur, la moyenne des plongements sur l'ensemble de ses vidéos est calculée et soustraite de chaque trame de chaque vidéo appartenant à ce locuteur. Cela élimine l'« offset d'identité » constant (apparence/timbre) tout en préservant les variations temporelles intra-locuteur (le signal AH).
Encodage Temporel :
Les séquences visuelles et audio normalisées passent par des GRU bidirectionnels (BiGRU) indépendants avec un pooling d'attention MIL (Multiple Instance Learning) pour générer des plongements de 128 dimensions. Le texte est projeté via un simple encodeur linéaire.
Module ConflictFusion :
Au lieu d'une simple concaténation, CF-Net utilise un mécanisme de ConflictFusion. La représentation fusionnée $f$ est construite en concaténant les trois plongements de modalités ( $e_v, e_a, e_t$ ) avec leurs différences absolues par paires :
$f = [e_v; e_a; e_t; |e_v - e_a|; |e_v - e_t|; |e_a - e_t|]$
Cela encode explicitement l'incongruence cross-modale, permettant au modèle d'apprendre directement du désaccord entre les canaux.
Stratégie d'entraînement et régularisation :
- Perte Focal pondérée par la certitude : La fonction de perte pondère les échantillons en fonction des scores d'accord des annotateurs ( $c \in [1,3]$ ). Les échantillons à haute certitude reçoivent jusqu'à 3 $\times$ plus de poids de gradient que les échantillons à faible certitude, dirigeant le modèle vers les signaux fiables.
- Tête d'auxiliaire de certitude : Une tête de régression auxiliaire prédit le score de certitude de l'annotateur à partir de la représentation fusionnée. Cela agit comme un régularisateur, empêchant le modèle de devenir trop confiant sur les échantillons ambigus où les annotateurs ne sont pas d'accord.
- Augmentation de données : Le manifold mixup et le modality dropout (probabilité de 15 %) sont utilisés pour régulariser davantage le modèle face à la petite taille du jeu de données.

Contributions Clés

Architecture ConflictFusion : Un module de fusion léger qui représente explicitement l'incongruence cross-modale via des caractéristiques de différence absolue par paires, adapté à la tâche AH où le désaccord est le signal.
Normalisation par locuteur : Une étape de normalisation pré-encodage qui élimine les offsets d'identité du locuteur des caractéristiques visuelles et audio sans nécessiter d'adaptation spécifique au sujet.
Entraînement sensible à l'incertitude : L'intégration d'une tête de régression de certitude auxiliaire et d'une perte focal pondérée par la certitude pour gérer la subjectivité et l'ambiguïté inhérentes aux annotations de l'AH.
Efficacité : Une approche de backbone entièrement gelé qui s'entraîne en moins de 15 minutes sur un seul GPU grand public tout en obtenant des résultats compétitifs.

Résultats Expérimentaux
Évalué sur le jeu de données BAH (3ème défi ABAW AH) :

Performance de validation : CF-Net a atteint un Macro F1 de 0,7155 sur l'ensemble de validation de 124 clips.
Performance de test : Sur l'ensemble de test privé du défi (152 clips), CF-Net a atteint un Macro F1 de 0,7364 (AP = 0,7392).
Généralisation : Notamment, le modèle a montré un transfert positif de la validation vers le test (+0,021), contrastant avec d'autres méthodes de pointe (ex: Team LEYA) qui ont souffert de surapprentissage (F1 de validation 0,854 chutant à 0,714 sur le test).
Ablation : L'étude a confirmé que supprimer ConflictFusion (retour à une fusion par moyenne) faisait chuter la performance de 1,8 point de pourcentage. La combinaison de la tête auxiliaire, de la perte focal, du mixup et du dropout a contribué à 3,7 points supplémentaires, tandis que la normalisation par locuteur et l'encodeur BiGRU ont ajouté un total de 1,7 point.

Signification
L'article positionne CF-Net comme une solution qui navigue avec succès dans le compromis entre capacité du modèle et généralisation dans un environnement de données rares et de locuteurs disjoints. En modélisant explicitement le désaccord cross-modal et en éliminant la fuite d'identité du locuteur via la normalisation, CF-Net atteint une performance robuste sans les risques de surapprentissage associés au fine-tuning de bout en bout de grands modèles. Les résultats démontrent qu'une architecture légère à backbones gelés, lorsqu'elle est combinée à une gestion rigoureuse de l'incertitude d'annotation et de la normalisation d'identité, peut surpasser ou égaler des ensembles plus complexes et own-tuned sur le benchmark BAH.

Le Problème : Le « Piège de l'Identité » et le « Signal de Confusion »

La Solution : Le Tour de Magie en Trois Étapes de CF-Net

Les Résultats : Une Touche Légère, une Victoire Lourde

Résumé Technique : CF-Net pour la reconnaissance de l'ambivalence et de l'hésitation

Articles similaires