⚡ electrical engineering

Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video

Cet article présente un système de reconnaissance de l'ambivalence et de l'hésitation dans les entretiens vidéo qui exploite des caractéristiques temporelles effacées par l'ASR et une fusion multimodale spécialisée dans l'affect, démontrant qu'un simple ensemblage pondéré par l'AP avec un étalonnage honnête surpasse les architectures complexes et les stratégies de validation sur-ajustées lors du défi ABAW 2026 BAH.

Auteurs originaux : Vikas Kumar, Aditya Mishra, Haroon R. Lone

Publié 2026-07-14

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Vikas Kumar, Aditya Mishra, Haroon R. Lone

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes un détective tentant de résoudre un mystère : Cette personne est-elle partagée entre deux choix, ou hésite-t-elle simplement ? Les indices sont cachés dans une courte vidéo d'une personne répondant à des questions d'entretien. Ce document est le rapport du détective sur la façon dont il a résolu l'enquête en utilisant un nouvel ensemble d'outils, et plus important encore, sur ce qui n'a pas fonctionné.

Le grand mystère : Trouver le « vacillement »

L'objectif était de repérer l'Ambivalence et l'Hésitation (A/H) — ce sentiment interne de « je ne suis pas sûr » où une personne est tirée dans deux directions opposées. L'équipe a testé ses talents de détective sur un ensemble de données appelé BAH, qui contient 1 427 vidéos provenant de 300 personnes différentes. Ils devaient deviner si la personne dans la vidéo montrait des signes d'incertitude.

L'indice « magique » : Le fantôme dans la transcription

La plus grande surprise ? L'équipe a trouvé un signal « fantôme » que personne d'autre n'examinait.

Imaginez un robot de reconnaissance vocale (un ASR) écoutant la vidéo. Son travail est d'écrire les mots. Pour rendre le texte propre, le robot supprime les « euh », les « hmm » et les pauses prolongées. Mais voici l'ast trick : il ne peut pas supprimer le temps que ces sons ont occupé.

L'équipe a réalisé que même si les mots « euh » ont disparu, l'espace vide où ils se trouvaient est toujours présent dans les horodatages. Ils ont construit un nouvel outil appelé « temps effacé par l'ASR » (ASR-erased time). Il mesure les écarts entre les mots restants.

Pourquoi c'est génial : Cet outil de mesure des écarts s'est avéré être le meilleur indice non verbal qu'ils aient trouvé. Il a obtenu un AP de 0,718 (une mesure de la qualité d'un indice).
L'indépendance : Il était si unique qu'il concordait à peine avec les autres indices (corrélation de seulement 0,11 à 0,36). C'était comme trouver une empreinte digitale qu'aucun autre détective n'avait jamais vue auparavant.

Le « Texte » est la star, le Visage est un l'acolyte

L'équipe a testé trois types principaux d'indices : le Texte (ce qu'ils ont dit), l'Audio (comment ils ont sonné) et la Vidéo (à quoi ressemblait leur visage).

Le Texte est Roi : Les mots utilisés étaient de loin le meilleur indice. Lorsqu'ils ont utilisé un modèle de texte spécialisé entraîné sur les émotions, il a obtenu un AP de 0,811. Même une simple liste de « marqueurs d'hésitation » (comme compter combien de fois quelqu'un a dit « mais » ou « peut-être ») était presque aussi efficace (AP 0,800).
L'Audio est le dauphin : Si le modèle audio était entraîné spécifiquement pour détecter les émotions (et pas seulement la parole), il était utile (AP 0,764). Mais s'ils utilisaient un modèle de parole général, il était presque inutile.
La Vidéo est un l'acolyte en difficulté : C'était une dure vérité. Peu importe leurs tentatives — utiliser des modèles sophistiqués de scan facial, suivre les mouvements des yeux ou observer les froncements de sourcils — les indices vidéo sont restés faibles. Ils stagnaient autour d'un AP de 0,63 à 0,67. Le papier suggère qu'avec seulement 778 vidéos d'entraînement, l'ordinateur n'a tout simplement pas pu apprendre les signes faciaux subtils de l'hésitation. Le visage ne donnait pas assez d'informations.

Le piège du « Conflit » : Ce qui n'a pas fonctionné

De nombreux détectives précédents pensaient que la clé pour résoudre cela était de chercher le conflit entre les canaux. Ils pensaient : « Si le texte dit "oui" mais que le visage semble dire "non", c'est de l'hésitation ! »

L'équipe a testé cette idée en construisant une « machine à conflit » qui cherchait ces désaccords.

Le résultat : Cela n'a pas aidé. Que l'on cherche les conflits, qu'on les ignore ou que l'on sépare les données différemment, les résultats n'ont pratiquement pas bougé (changement de moins de 0,05). Le papier écarte explicitement le « design de conflit » comme étant l'arme secrète. Le signal ne résidait pas dans le choc entre les canaux ; il résidait simplement dans le texte et les silences.

Le piège du « Surapprentissage » (Overfitting) : Ne trichez pas au test

Voici la leçon la plus importante sur la façon dont ils ont gagné.

L'équipe disposait d'un petit groupe de 124 vidéos pour s'entraîner (l'ensemble de validation) et d'un groupe plus large de 525 vidéos pour le vrai test.

L'erreur : Si vous essayez de régler vos « boutons » (poids et seuils) spécifiquement pour obtenir le score le plus élevé sur l'ensemble d'entraînement, vous finissez par tricher. L'équipe a essayé cela, et leur score sur l'ensemble d'entraînement était d'un brillant 0,741, mais lors du vrai test, il s'est effondré à 0,690. C'est ce qu'on appelle le surapprentissage (overfitting) — mémoriser les questions d'entraînement au lieu d'apprendre la leçon.
La solution : Ils ont arrêté de régler les boutons. À la place, ils ont utilisé une règle simple et fixe : 0,5 (une ligne de prédiction 50/50) et ont pondéré les indices en fonction de leur précision historique (pondération par AP).
La victoire : En s'en tenant à cette règle simple et honnête, leur score sur le vrai test est passé à 0,731. Cela a battu le précédent vainqueur (qui avait obtenu 0,694).

Le tableau de score final

L'équipe a combiné six « détectives » (modèles) différents en une seule équipe.

Le résultat : Leur système final a obtenu un Macro-F1 de 0,731 sur le test public.
À quel point en sont-ils sûrs ? Ils ont effectué un contrôle statistique (un « bootstrap ») et ont constaté qu'il y a 97 % de chances que leur score soit réellement meilleur que celui du précédent vainqueur de 0,694. C'est une avance solide, mais ce n'est pas un verrou garanti.

La conclusion

Le papier conclut que pour repérer l'hésitation, il faut écouter les mots et les silences entre eux, et non le visage.

Ne tentez pas de forcer l'ordinateur à trouver un « conflit » entre les yeux et la bouche ; cela ne fonctionne pas bien ici.
Faites confiance au texte et aux écarts de temps « fantômes » laissés par la reconnaissance vocale.
Soyez honnêtes dans vos tests : ne modifiez pas vos paramètres juste pour paraître meilleur sur le test d'entraînement, sinon vous échouerez au test réel.

Le système de l'équipe est un script simple, en une seule commande, qui prouve que parfois, la meilleure façon de résoudre un mystère n'est pas avec une machine super complexe, mais avec un regard simple et honnête sur les interstices d'une histoire.

Résumé Technique : Caractéristiques Simples et Calibration Honnête pour la Reconnaissance de l'Ambivalence et de l'Hésitation dans la Vidéo

Formulation du Problème
Ce travail traite de la tâche de reconnaissance de l'Ambivalence et de l'Hésitation (A/H) dans le cadre du défi ABAW 2026 BAH. L'objectif est de prédire, étant donné une courte vidéo d'entretien, si l'interlocuteur présente des signes de conflit interne ou d'incertitude. La tâche est formulée comme un problème de classification binaire au niveau de la vidéo, évalué principalement par le macro-F1 (la moyenne non pondérée des scores F1 des classes présentes et absentes) et, secondairement, par la Précision Moyenne (AP). Le jeu de données (BAH) comprend 1 427 vidéos de 300 participants, réparties en ensembles d'entraînement (778), de validation (124) et de test public (525), sans chevauchement de participants entre les divisions.

Méthodologie
Le système proposé s'écarte du paradigme prédominant de la modélisation complexe des conflits cross-modaux, se concentrant plutôt sur des représentations spécialisées dans l'affect, des indices linguistiques interprétables et une calibration rigoureuse.

Encodeurs de Modalités : Le système utilise des encodeurs pré-entraînés et gelés plutôt que de s'entraîner à partir de zéro.
- Texte : RoBERTa affiné sur GoEmotions (768-dim) et 11 marqueurs d'hésitation faits à la main (ex: taux de modalisateurs, pauses remplies, auto-réparations et inversions de sentiment).
- Audio : Un modèle wav2vec2 spécialisé dans l'émotion (1024-dim). Les encodeurs de parole généraux (HuBERT) ont montré des performances médiocres.
- Vidéo : Un Vision Transformer d'expression faciale (FER-ViT) sur 16 images alignées, fournissant un embedding et un profil d'expression à 7 voies. Les encodeurs vidéo généraux (VideoMAE) ainsi que la dynamique spécifique du regard ou des sourcils n'ont pas amélioré les performances.
- Temps Effacé par l'ASR (ASR-Erased Time) : Un nouvel ensemble de caractéristiques de 16 dimensions dérivées des horodatages des segments de la Reconnaissance Automatique de la Parole (ASR). Puisque les modèles ASR (comme Whisper) suppriment les mots de remplissage et les pauses pour produire un texte propre, les écarts temporels entre les segments restants préservent la durée de ces événements supprimés. Les caractéristiques incluent le nombre de lacunes, leur taille normalisée par le temps de parole, la fragmentation des segments et les schémas de pauses avant les mots contrastifs.
Fusion des Marqueurs Affectifs (AMF) :
- Les flux sont projetés vers une largeur partagée et passent par une porte de fiabilité apprise. Ce mécanisme assigne des poids à chaque flux, réduisant efficacement les canaux faibles (comme la vidéo) plutôt que de les ajouter comme du bruit.
- Une tête auxiliaire prédit l'A/H en utilisant uniquement les 11 marqueurs interprétables, agissant comme un régularisateur pour garantir que la représentation partagée reste prédictive même lorsque les autres modalités sont faibles.
- Le modèle est entraîné avec une entropie croisée binaire équilibrée par classe et un lissage de étiquette ( $\epsilon=0.1$ ).
Ensemble et Calibration :
- La prédiction finale est une moyenne pondérée par l'AP de six membres de l'ensemble (incluant le réseau AMF et les sondes de flux individuels) à un seuil de décision fixe de $\tau = 0.5$ .
- Les auteurs rejettent explicitement l'ajustement du seuil ou des poids de l'ensemble sur l'ensemble de validation, démontrant que cette "recherche" mène au surapprentissage (score de 0,741 sur la validation mais chute à 0,690 sur le test).
- Au lieu de cela, les poids sont dérivés uniquement de la Précision Moyenne de chaque membre, une métrique sans seuil qui reste stable sur de petits jeux de données.
- Le modèle final est entraîné sur toutes les données étiquetées disponibles (train + val + test = 1 427 vidéos) en utilisant un holdout de 113 vidéos stratifié avec une graine (seed) pour l'arrêt précoce et l'ajustement des poids, garantissant l'absence de fuite de données.

Résultats Clés

Performance : Le système atteint un macro-F1 de 0,731 sur l'ensemble de test public, surpassant le gagnant de l'édition précédente (0,694) et tous les baselines, y compris un LLM multimodal zero-shot (0,283) et une baseline de co-attention (0,590).
Distribution du Signal :
- Le texte est dominant : Le flux de texte (RoBERment-GoEmotions) produit l'AP le plus élevé (0,811), suivi de près par les 11 marqueurs d'hésitation (0,800).
- L'audio est secondaire : L'encodeur audio spécialisé dans l'émotion (AP 0,764) surpasse significativement les encodeurs audio généraux (HuBERT, AP 0,606).
- La vidéo est faible : Toutes les représentations visuelles, y compris le FER et la dynamique du regard, restent proches du niveau du hasard (AP 0,63–0,67) et ne contribuent pas de manière significative à l'ensemble.
- Temps Effacé par l'ASR : Ce canal non verbal a atteint un AP de 0,718, surpassant toutes les caractéristiques visuelles et montrant une faible corrélation (0,11–0,36) avec les autres membres du modèle, indiquant une haute indépendance.
Résultats d'Ablation :
- Conception du Conflit : Varier l'opérateur de conflit cross-modal (différence absolue, séparation orthogonale, ou aucun) n'a entraîné que des changements négligeables (<0,05 AP) et des classements incohérents entre la validation et le test, prouvant qu'il ne s'agit pas d'un levier critique.
- Calibration : Le gain le plus significatif provient d'une calibration honnête. Supprimer la recherche de poids et de seuils sur l'ensemble de validation a amélioré le score de test de 0,041 (de 0,690 à 0,731).

Signification et Revendications
L'article soutient que pour le jeu de données BAH, le "signal" de l'ambivalence et de l'hésitation est concentré presque entièrement dans le langage et les écarts prosodiques spécifiques, plutôt que dans les conflits complexes de visage ou de voix cross-modaux. Les auteurs avancent trois conclusions principales :

La conception du conflit n'est pas le levier : Les caractéristiques de conflit pré-conçues n'améliorent pas de manière fiable les performances lorsque les encodeurs sont fixes.
Les caractéristiques aident de manière étroite : Seuls l'audio spécialisé dans l'émotion et les marqueurs linguistiques interprétables apportent des gains substantiels ; les canaux visuels restent inefficaces avec les échelles de données actuelles.
La calibration est primordiale : Le plus grand gain de performance provient de l'évitement du surapprentissage lors de la phase de calibration. Utiliser des ensembles pondérés par l'AP avec un seuil fixe est supérieur à l'ajustement des poids et des seuils sur de petits sous-ensembles de validation.

Le travail souligne qu'une évaluation "honnête" — où les règles de calibration sont fixées avant les tests — est plus impactante que la complexité architecturale. Les auteurs notent que bien que le gain sur le précédent gagnant soit statistiquement probable (intervalle bootstrap à 95 % [0,693, 0,770]), il n'est pas d'une certitude absolue. La direction future la plus prometteuse identifiée est l'exploitation plus poussée du temps effacé par l'ASR, qui offre actuellement un signal fort et indépendant qui attend des jeux de données plus vastes pour convertir pleinement son indépendance en précision.