Ambivalence/Hesitancy Recognition in Videos for Personalized Digital Health Interventions

1. Problématique et Contexte

Les interventions de santé numériques visent à modifier les comportements à risque (tabagisme, sédentarité, etc.) pour améliorer les résultats médicaux. Cependant, l'adoption et le maintien de ces changements sont souvent entravés par l'ambivalence et l'hésitation (A/H). Ces états affectifs complexes, caractérisés par des sentiments contradictoires (entre l'acceptation et le refus d'agir), sont subtils et se manifestent par une incohérence affective à travers plusieurs modalités (visuelle, vocale, textuelle) ou au sein d'une même modalité.

Le défi principal réside dans le fait que la détection de l'A/H par des experts humains est coûteuse et difficilement scalable dans des environnements numériques. Les modèles d'apprentissage automatique actuels se concentrent principalement sur des émotions discrètes de base (joie, tristesse) ou des états ordonnés (douleur, stress), mais échouent souvent à capturer la complexité des émotions composées et des conflits affectifs inhérents à l'A/H. L'objectif de cet article est d'explorer l'application de modèles d'apprentissage profond pour la reconnaissance automatique de l'A/H dans les vidéos, afin de permettre des interventions de santé personnalisées et adaptatives.

2. Méthodologie

Les auteurs ont mené leurs expériences sur le jeu de données BAH (Behavioural Ambivalence/Hesitancy), un ensemble de données unique et récent composé de 1 427 vidéos de 300 participants, annotées au niveau de la trame et de la vidéo. Le dataset inclut trois modalités : visuel (vidéo), audio et texte (transcription).

L'étude explore trois scénarios d'apprentissage distincts :

A. Apprentissage Supervisé (Frame-level et Video-level)

• Prétraitement : Extraction des visages (RetinaFace), conversion audio en spectrogrammes (VGGish), et transcription textuelle (Whisper + BERT).
• Architectures Visuelles : Comparaison de backbones CNN (ResNet) et Vision Transformers (APViT), pré-entraînés sur des tâches de reconnaissance d'émotions de base, puis affinés sur BAH.
• Modélisation Contextuelle : Introduction d'un réseau de convolution temporelle (TCN) pour capturer les dépendances entre les trames, car l'A/H est un phénomène temporel et non instantané.
• Fusion Multimodale : Évaluation de différentes stratégies de fusion (concaténation simple, attention croisée, transformers) pour combiner les modalités Visuel (V), Audio (A) et Texte (T).

B. Personnalisation par Adaptation de Domaine (Domain Adaptation)

Pour adapter les modèles à des utilisateurs individuels sans nécessiter de nouvelles données étiquetées massives, les auteurs ont testé :

• UDA (Unsupervised Domain Adaptation) : Utilisation de données sources étiquetées et de données cibles non étiquetées (méthodes MMD, ACPL).
• SFDA (Source-Free DA) : Adaptation sans accès aux données sources (méthodes SHOT, NRC).
• TTA (Test-Time Adaptation) : Adaptation du modèle en temps réel lors de l'inférence sur des échantillons non étiquetés (méthodes CLIP-based, TTA-CaP, etc.).

C. Inférence Zero-Shot via les LLMs Multimodaux

• Utilisation de modèles de langage multimodaux (MLLMs) comme Video-LLaVA et AffectGPT.
• Expérimentation de différentes variations de prompts (définitions de l'ambivalence, inclusion de transcriptions) pour évaluer la capacité des modèles à inférer l'A/H sans entraînement spécifique (Zero-Shot) ou avec un finetuning léger.

3. Résultats Clés

Les résultats expérimentaux, mesurés principalement par le score F1 moyen (AVGF1) et la précision moyenne (AP), révèlent des performances limitées, soulignant la difficulté de la tâche :

• Apprentissage Supervisé :
  • La modalité Texte seule surpasse le Visuel et l'Audio, confirmant l'importance cruciale du contenu sémantique pour détecter l'A/H.
  • La fusion multimodale améliore légèrement les performances (AVGF1 ~0.55), mais la combinaison des trois modalités n'atteint pas les performances attendues, suggérant que les techniques de fusion actuelles ne capturent pas efficacement les conflits affectifs (incohérences entre modalités).
  • L'ajout de contexte temporel (TCN) améliore les résultats par rapport à l'analyse de trames isolées.
• Adaptation de Domaine :
  • Les méthodes d'adaptation (notamment ACPL en UDA) surpassent la baseline "Source-only", mais les performances restent inférieures à une limite supérieure théorique (Oracle).
  • Les méthodes TTA améliorent la cohérence des décisions (WAR) mais peinent à résoudre le déséquilibre des classes pour l'A/H.
• Inférence Zero-Shot (LLMs) :
  • Les performances en Zero-Shot sont fortement dépendantes du prompt. L'utilisation de transcriptions textuelles combinées à une définition claire de l'ambivalence donne les meilleurs résultats (AVGF1 ~0.63 en Zero-Shot, ~0.71 avec finetuning).
  • Cela confirme que les LLMs actuels reposent lourdement sur la modalité textuelle pour comprendre ce concept complexe.

4. Contributions Principales

1. Première exploration systématique de l'A/H en vidéo : C'est l'une des premières études appliquant l'apprentissage profond à la reconnaissance de l'ambivalence et de l'hésitation dans un contexte de santé numérique, utilisant le dataset BAH.
2. Analyse comparative des paradigmes d'apprentissage : L'article fournit une évaluation rigoureuse couvrant l'apprentissage supervisé, l'adaptation de domaine pour la personnalisation, et l'inférence Zero-Shot via les LLMs.
3. Identification des limites actuelles : Les résultats démontrent que les modèles multimodaux standards (fusion de caractéristiques) sont insuffisants pour détecter les conflits affectifs subtils.
4. Recommandations architecturales : Les auteurs proposent un cadre à deux niveaux pour les travaux futurs :
   • Niveau 1 : Modélisation indépendante de l'affect par modalité.
   • Niveau 2 : Un mécanisme de fusion dédié spécifiquement à la détection des conflits (incohérences) entre et au sein des modalités, plutôt qu'une simple fusion de caractéristiques.

5. Signification et Impact

Ce travail met en lumière le fossé actuel entre les capacités des modèles d'IA existants et la complexité des comportements humains en santé. Bien que les interventions numériques soient prometteuses pour la santé publique, leur efficacité est limitée par l'incapacité des systèmes actuels à détecter l'ambivalence, un facteur clé d'abandon des traitements.

L'étude conclut que pour rendre les interventions de santé numériques véritablement personnalisées et efficaces, il est nécessaire de développer des modèles spécialisés capables de :

• Modéliser explicitement les conflits spatio-temporels et inter-modaux.
• Intégrer des mécanismes d'interprétabilité pour comprendre pourquoi un conflit affectif est détecté.
• Utiliser des approches hybrides combinant la puissance sémantique des LLMs et la sensibilité des modèles de vision/audition aux micro-expressions.

Enfin, l'article aborde les considérations éthiques, notant que bien que le dataset BAH ait été collecté de manière éthique, la détection de l'A/H doit être utilisée avec prudence pour éviter la manipulation comportementale, tout en soulignant le potentiel de ces outils pour améliorer le bien-être des patients.