BAH Dataset for Ambivalence/Hesitancy Recognition in Videos for Digital Behavioural Change

Cet article présente le jeu de données BAH, un ensemble multimodal de vidéos annoté par des experts pour la reconnaissance automatique de l'ambivalence et de l'hésitation dans les interventions numériques de changement de comportement, comblant ainsi un vide critique pour le développement de modèles d'apprentissage machine adaptés.

L'essentiel

🎬 Le Film : "Le Dilemme Humain"

Imaginez que vous êtes face à un ami qui vous dit : "Je devrais vraiment arrêter de manger du sucre, c'est mauvais pour ma santé."

Mais en même temps, il ajoute : "Mais bon, ce gâteau au chocolat a l'air si bon..."

Son visage sourit (il aime le gâteau), sa voix hésite (il doute), et il se gratte la tête (il est nerveux). Il est tiraillé entre deux mondes : l'envie et la raison. En psychologie, on appelle cela l'ambivalence ou l'hésitation.

C'est un état très subtil. C'est comme être au milieu d'une corde raide, entre le "oui" et le "non". Souvent, c'est la raison pour laquelle les gens abandonnent leurs bonnes résolutions (comme faire du sport ou arrêter de fumer).

🤖 Le Problème : Les Robots sont Trop Bêtes

Aujourd'hui, si vous parlez à un médecin en personne, ce dernier peut voir ces signes subtils : un regard fuyant, une voix qui tremble, un sourire forcé. Le médecin comprend : "Ah, il est ambivalent, il a besoin d'aide."

Mais si vous essayez de faire la même chose avec une application de santé sur votre téléphone, c'est un désastre. Les robots actuels sont comme des enfants qui ne comprennent que les émotions "grossières" : "Je suis heureux !" ou "Je suis triste !". Ils ne comprennent pas le "Je suis en train de me battre intérieurement".

Pour entraîner un robot à comprendre cette subtilité, il faut lui montrer des milliers d'exemples. Et là, le problème : il n'existait aucun livre de recettes (aucune base de données) pour apprendre aux robots ce qu'est l'ambivalence.

🎒 La Solution : Le "BAH" (La Boîte à Outils)

C'est là que l'équipe de chercheurs (González et ses collègues) intervient. Ils ont créé quelque chose d'unique : le jeu de données BAH.

Imaginez que vous voulez apprendre à un chien à détecter des truffes. Vous ne pouvez pas lui expliquer avec des mots, vous devez lui faire sentir des milliers de truffes. C'est exactement ce qu'ils ont fait pour les robots :

1. Le Recrutement : Ils ont invité 300 personnes à travers le Canada (des gens de tous âges, de toutes origines) à venir jouer un jeu en ligne.
2. Le Jeu : Sur un site web, un avatar (un petit personnage virtuel) leur posait 7 questions pièges. Par exemple : "Parlez-moi d'une activité que vous aimez mais que vous devriez arrêter."
3. La Capture : Les gens répondaient devant leur webcam. Ils parlaient, ils faisaient des gestes, ils hésitaient.
4. Le Résultat : Ils ont récolté 1 427 vidéos (plus de 10 heures de film).

🕵️‍♀️ Les Détectives Humains

Une fois les vidéos enregistrées, trois experts en comportement humain (des "détectives") ont regardé chaque seconde de chaque vidéo.

Ils ont cherché les indices (les "cues") qui trahissent l'hésitation :

• Le visage : Un regard qui fuit, un sourire qui ne va pas avec les mots.
• La voix : Des "euh...", des pauses, un ton qui change.
• Le corps : Se gratter la tête, changer de posture, hocher la tête "non" en disant "oui".

Ils ont annoté tout cela : "Ici, à la 12ème seconde, la personne hésite." C'est comme si ils avaient écrit un scénario détaillé pour chaque film, indiquant exactement où se cachent les doutes.

🧪 L'Expérience : Est-ce que ça marche ?

Ensuite, les chercheurs ont donné ces vidéos à des intelligences artificielles (des modèles d'apprentissage automatique) pour voir si elles pouvaient apprendre à repérer l'hésitation.

Le verdict ? C'est difficile !
Les robots ont eu du mal. C'est comme essayer d'entendre un chuchotement dans une tempête. Les modèles actuels ne sont pas assez fins. Ils ont besoin de :

• Regarder le contexte : Ne pas juste regarder une photo, mais voir ce qui se passe avant et après.
• Écouter tout : Croiser ce qui est dit (texte), ce qu'on entend (voix) et ce qu'on voit (visage).
• Comprendre les contradictions : Si quelqu'un dit "Je suis content" mais a un visage triste, le robot doit comprendre qu'il y a un conflit.

🚀 Pourquoi c'est important pour vous ?

Pourquoi se donner autant de mal ?

Imaginez un coach de sport virtuel ou un thérapeute en ligne.

• Sans ce système : Le robot vous dit : "Allez, courrez 5 km !" alors que vous êtes en train de pleurer intérieurement et que vous n'avez aucune envie. Vous abandonnez.
• Avec ce système (BAH) : Le robot détecte votre hésitation. Il se dit : "Ah, il est tiraillé. Il ne faut pas le pousser trop fort." Il adapte son message : "On commence doucement, juste 10 minutes, si tu veux."

Cela rend les applications de santé plus humaines, plus efficaces et moins chères (car on n'a pas besoin d'un humain pour chaque conversation).

En résumé

Cette recherche, c'est comme avoir créé le premier dictionnaire universel des doutes humains pour les robots. Ils ont filmé 300 personnes, annoté chaque hésitation, et montré aux développeurs : "Voici à quoi ressemble le doute. Maintenant, essayez de le comprendre."

C'est une première étape cruciale pour que nos futurs assistants numériques ne soient pas juste de froids calculateurs, mais de véritables complices de notre bien-être.

Résumé technique

1. Problématique et Contexte

La reconnaissance des émotions joue un rôle croissant dans la santé numérique, notamment pour soutenir les interventions de changement de comportement. Cependant, les modèles actuels se concentrent principalement sur des émotions discrètes de base (joie, tristesse, colère) ou des états ordonnés (douleur, stress).

Le problème central abordé par cet article est la détection de l'ambivalence et de l'hésitation (A/H). Ces deux concepts, étroitement liés, constituent les principales raisons pour lesquelles les individus retardent, évitent ou abandonnent les changements de comportement liés à la santé.

• Nature du phénomène : L'A/H est un état émotionnel subtil et conflictuel, situé entre des orientations positives et négatives, ou entre l'acceptation et le refus.
• Manifestation : Elle se caractérise par une discordance affective (incohérence) soit entre plusieurs modalités (ex: visage vs voix), soit au sein d'une même modalité (ex: hésitation dans le discours).
• Défi technique : Contrairement aux émotions de base, l'A/H est difficile à détecter car elle est subtile, ambiguë et ne possède pas de "pic" d'intensité unique, mais plutôt un état soutenu ou fluctuant.
• Manque de ressources : À ce jour, il n'existait aucun jeu de données dédié pour entraîner des modèles d'apprentissage automatique capables de reconnaître l'A/H dans des vidéos, limitant ainsi le développement d'interventions numériques personnalisées et efficaces.

2. Méthodologie : Le Jeu de Données BAH

Pour combler ce vide, les auteurs ont créé le jeu de données BAH (Behavioural Ambivalence/Hesitancy).

A. Collecte des Données

• Participants : 300 participants recrutés dans 9 provinces canadiennes, assurant une diversité démographique (âge, origine ethnique, sexe).
• Protocole : Les participants ont utilisé une plateforme web ("Automatic Expression Recognition") pour répondre à 7 questions structurées mais authentiques, conçues par des experts en sciences comportementales pour eliciter des réponses neutres, positives, négatives, ambivalentes, résistants ou hésitantes.
• Modalités : Enregistrement vidéo (webcam) et audio (microphone) via les appareils personnels des participants, simulant un environnement réel ("in-the-wild").
• Volume : 1 427 vidéos au total (environ 10,60 heures), dont 778 contiennent des segments d'A/H (environ 1,79 heure). Le jeu de données comprend 916 618 images au total, dont 156 255 annotées comme contenant de l'A/H.

B. Annotation

• Experts : Trois experts en sciences comportementales ont annoté les données.
• Niveaux d'annotation :
  • Niveau vidéo : Présence ou absence globale d'A/H (binaire : 1 pour A/H, 0 pour non-A/H).
  • Niveau image (frame-level) : Segmentation temporelle précise (début et fin des segments A/H).
  • Indices (Cues) : Les annotateurs ont identifié les indices spécifiques (expressions faciales, langage corporel, ton vocal, contenu textuel) et les incohérences inter-modales (ex: dire "oui" en hochant la tête de gauche à droite).
• Approche binaire : Puisque l'ambivalence et l'hésitation se manifestent de manière similaire, l'annotation est binaire (A/H vs Non-A/H).

C. Structure du Jeu de Données

Le jeu de données est public (avec accès sous licence pour la recherche) et inclut :

• Vidéos brutes avec audio.
• Visages recadrés et alignés.
• Transcriptions textuelles (via Whisper) et métadonnées des participants.
• Séparation Train/Val/Test basée sur les participants (195/30/75) pour éviter le fuite de données (data leakage).

3. Résultats Expérimentaux et Évaluations

Les auteurs ont établi des références (baselines) pour évaluer la difficulté de la tâche et tester différentes architectures.

A. Performance des Modèles de Base

• Unimodalité : Les modèles basés uniquement sur la vision (ResNet, ViT) montrent des performances faibles (AP < 0,21), soulignant que l'A/H ne peut être détectée uniquement par l'image.
• Multimodalité : L'ajout de l'audio et du texte améliore les résultats. Le texte seul obtient les meilleurs scores initiaux (AVGF1 ~0,55), suggérant que les indices verbaux sont cruciaux.
• Fusion : La fusion simple de trois modalités (Visuel + Audio + Texte) n'améliore pas significativement les performances par rapport à la fusion Audio+Texte, indiquant que des techniques de fusion plus sophistiquées sont nécessaires pour gérer les conflits affectifs.
• Modélisation Temporelle : L'utilisation de contextes temporels (fenêtres de frames adjacentes via TCN) améliore les performances par rapport à l'analyse image par image, confirmant que l'A/H est un état temporel.

B. Adaptation de Domaine et Personnalisation

• Des expériences d'adaptation de domaine sans source (SFUDA) et non supervisée (UDA) ont été menées pour personnaliser les modèles par utilisateur.
• Les méthodes basées sur l'étiquetage pseudo (Sub-based) ont montré les meilleurs résultats, surpassant la ligne de base "Source-only" et démontrant le potentiel de la personnalisation pour ce type de tâche.

C. Inférence Zero-Shot (M-LLMs)

• L'utilisation de grands modèles de langage multimodaux (M-LLMs) en inférence zero-shot a donné des résultats mitigés, fortement dépendants des prompts.
• L'inclusion de la transcription textuelle et d'une définition claire de l'ambivalence dans le prompt a considérablement amélioré les performances, confirmant l'importance du texte pour cette tâche.

4. Contributions Clés

1. Premier Jeu de Données BAH : Introduction du premier jeu de données multimodal et basé sur les participants spécifiquement conçu pour la reconnaissance de l'ambivalence et de l'hésitation dans les vidéos.
2. Annotation Fine et Experte : Fourniture d'annotations à deux niveaux (vidéo et image) avec des timestamps précis et une liste détaillée d'indices comportementaux (faciaux, vocaux, corporels, textuels) et d'incohérences inter-modales.
3. Benchmarking Complet : Établissement de résultats de référence pour la classification supervisée (image et vidéo), la prédiction zero-shot, et la personnalisation via l'adaptation de domaine.
4. Accès Public : Mise à disposition du code, des poids pré-entraînés et du jeu de données (via GitHub et un serveur sécurisé) pour la communauté de recherche.

5. Signification et Perspectives

Ce travail est significatif car il ouvre la voie à des interventions de santé numérique plus intelligentes et adaptatives.

• Impact Clinique : La capacité à détecter automatiquement l'A/H permet aux systèmes de santé numériques (chatbots, assistants virtuels) de reconnaître les signes de résistance ou d'incertitude chez l'utilisateur et d'adapter leur discours en conséquence, mimant ainsi l'approche des cliniciens humains.
• Défis Futurs : Les résultats préliminaires, bien que prometteurs, montrent des performances limitées, soulignant la nécessité de développer des modèles multimodaux spécialisés capables de modéliser explicitement les conflits affectifs (incohérences entre modalités) et la dynamique temporelle fine de ces états émotionnels.

En résumé, l'article BAH fournit une ressource fondamentale pour passer de la reconnaissance d'émotions de base à la compréhension de l'état psychologique complexe nécessaire au changement de comportement durable.