Weakly Supervised Learning for Facial Affective Behavior Analysis : A Review

Cet article propose une revue structurée des méthodes d'apprentissage faiblement supervisé pour l'analyse des comportements affectifs faciaux, en présentant une taxonomie des scénarios d'annotation, une synthèse critique des approches existantes pour les tâches de classification et de régression, ainsi qu'une identification des défis et des orientations futures pour des systèmes applicables au monde réel.

L'essentiel

🎭 Le Grand Défi : Apprendre à lire les visages sans dictionnaire parfait

Imaginez que vous voulez apprendre à un ami à reconnaître les émotions sur un visage (joie, colère, tristesse). La méthode classique, c'est de lui montrer des milliers de photos avec un étiquette parfaite : "C'est de la joie", "C'est de la colère".

Le problème ? C'est extrêmement cher et long.
Pour obtenir ces étiquettes parfaites, il faut des experts (des "détecteurs de micro-expressions") qui passent des heures à analyser chaque muscle du visage. C'est comme si vous deviez engager un chef étoilé pour goûter chaque grain de riz d'un repas avant de le servir. De plus, même les experts ne sont pas toujours d'accord : est-ce que ce sourire est de la joie ou de la gêne ? C'est flou.

C'est ici qu'intervient l'article que nous allons explorer. Il parle d'une nouvelle méthode appelée l'Apprentissage Faiblement Supervisé (WSL).

---

🕵️‍♂️ L'Analogie du Détective et du Chef de Brigade

Au lieu de demander à un expert de vérifier chaque muscle de chaque visage (ce qui est impossible à grande échelle), les chercheurs proposent d'utiliser des indices imparfaits.

Imaginez que vous êtes un détective (l'intelligence artificielle) et que vous avez un chef de brigade (les données) qui vous donne des indices, mais pas toujours parfaits :

1. L'Indice Global (Inexact) : Le chef vous dit : "Dans cette vidéo de 5 minutes, il y a eu de la douleur." Mais il ne vous dit pas quand ni où exactement.
   • Le défi : Votre détective doit regarder la vidéo et deviner : "Ah, c'est sûrement à la minute 2:15 quand il grimace." C'est comme chercher une aiguille dans une botte de foin, mais en sachant que l'aiguille est là.
2. L'Indice Manquant (Incomplet) : Le chef vous dit : "Sur cette photo, il y a de la joie," mais il ne vous dit rien sur les autres photos, ou alors il ne vous donne que 10 % des étiquettes.
   • Le défi : Votre détective doit utiliser sa logique pour deviner le reste en observant les ressemblances entre les photos. C'est comme apprendre à nager en regardant seulement quelques mouvements, puis en essayant de copier le reste.
3. L'Indice Bruyant (Inexact/Noisy) : Le chef est fatigué et fait des erreurs. Il dit "C'est de la colère" alors que c'est de la surprise.
   • Le défi : Votre détective doit apprendre à ne pas se fier aveuglément au chef, mais à repérer les erreurs en comparant plusieurs avis. C'est comme écouter un groupe de témoins où certains mentent : il faut trouver la vérité en croisant les témoignages.
4. L'Indice Indirect (Proxy) : Le chef ne vous parle pas du visage, mais de ce que la personne dit. "Il a dit 'Je suis si content !'".
   • Le défi : Votre détective doit faire le lien entre les mots et le visage. Parfois, quelqu'un dit "Je suis content" en riant, mais son visage est triste (ironie). Il faut être très fin pour ne pas se tromper.

---

🧠 Comment les chercheurs ont organisé la solution ?

Les auteurs de l'article ont créé une carte au trésor (une taxonomie) pour classer toutes ces méthodes. Ils disent : "Ne regardons pas juste la méthode, regardons quel type d'indice on utilise et quelle tâche on veut accomplir."

Ils divisent le problème en deux grands types de tâches :

1. Le "Quoi" (Classification) : Est-ce que c'est de la joie ou de la tristesse ? (Comme choisir une étiquette).
2. Le "Combien" (Régression) : À quel point est-ce intense ? (Est-ce un sourire timide ou un rire aux éclats ?).

---

🛠️ Les Outils Magiques du Détective

Pour réussir avec ces indices imparfaits, les chercheurs ont développé des astuces ingénieuses :

• Le "Filtre de Confiance" : Si le détective est très sûr de lui sur une photo, il l'utilise pour apprendre. S'il est hésitant, il la met de côté pour ne pas apprendre de mauvaises habitudes.
• Le "Miroir de la Vérité" : Ils entraînent deux détectives en même temps. S'ils sont d'accord, c'est bon. S'ils sont en désaccord, c'est qu'il y a un problème, et ils révisent leur jugement.
• L'Utilisation du Contexte : Si une personne pleure, c'est probablement triste. Si elle rit, c'est probablement joyeux. Les modèles apprennent à utiliser le contexte (le texte, la musique, les autres expressions) pour deviner ce qui se passe sur le visage.
• Les "Jumeaux" (Modèles Foundation) : Ils utilisent de très gros modèles déjà entraînés sur des milliards d'images (comme des super-intelligences générales) et les adaptent légèrement pour le visage, au lieu de tout réapprendre de zéro.

---

🚧 Les Obstacles Restants (Ce qui est encore difficile)

Même avec ces super-pouvoirs, il reste des défis :

• La Justice (Fairness) : Si les indices imparfaits sont biaisés (par exemple, si les experts sont plus à l'aise pour lire les visages blancs que les visages noirs), le détective va devenir injuste. Il faut veiller à ce que l'IA ne discrimine personne.
• Les Micro-Expressions : Certaines émotions durent moins d'une seconde (comme un flash de peur). C'est comme essayer de photographier un moustique en vol avec un appareil photo qui a du retard. C'est très dur à capturer sans une étiquette précise.
• Le Langage Humain : Utiliser les textes (comme les sous-titres de films) pour aider à lire les visages est prometteur, mais les humains sont pleins d'ironie et de mensonges. L'IA doit apprendre à ne pas se faire avoir par les mots.

---

💡 En Résumé

Cet article est une boussole pour les chercheurs. Il dit : "Arrêtons de chercher des étiquettes parfaites qui coûtent une fortune. Utilisons plutôt les indices imparfaits que nous avons déjà (vidéos entières, textes, quelques étiquettes) et apprenons aux machines à être des détectives intelligents capables de déduire la vérité à partir de fragments."

C'est une étape cruciale pour rendre les systèmes capables de comprendre nos émotions dans la vraie vie (dans les hôpitaux, les voitures autonomes, les écoles), où nous n'avons pas le temps ni l'argent pour annoter chaque seconde de vidéo.

Résumé technique

1. Problématique et Contexte

L'analyse du comportement affectif facial (FABA) est cruciale pour des applications allant de l'interaction homme-machine au diagnostic médical. Cependant, l'entraînement de modèles d'apprentissage profond (DL) performants pour la FABA se heurte à un goulot d'étranglement majeur : le besoin de données massives et finement annotées.

• Coût et complexité de l'annotation : Les annotations de haute qualité, telles que les unités d'action (AU) du système FACS ou les intensités émotionnelles continues, nécessitent une expertise humaine considérable (plus de 100 heures de formation) et sont coûteuses à produire.
• Ambiguïté et bruit : Les expressions faciales subtiles, les micro-expressions et les états émotionnels mixtes sont intrinsèquement ambigus, entraînant un bruit d'annotation (désaccord entre annotateurs, étiquettes imprécises).
• Limitation des approches existantes : La plupart des travaux antérieurs supposent la disponibilité de jeux de données entièrement annotés, ce qui est irréaliste pour des scénarios réels.

Solution proposée : L'article explore l'Apprentissage Faiblement Supervisé (WSL) comme paradigme alternatif. Le WSL permet d'entraîner des modèles en utilisant des annotations faibles (imprécises, incomplètes, bruitées ou indirectes) plutôt que des étiquettes denses et parfaites, rendant ainsi le développement de systèmes FABA plus scalable et applicable au monde réel.

2. Taxonomie et Méthodologie

Les auteurs proposent une taxonomie structurée des scénarios WSL pour la FABA, organisée selon deux axes : le type d'annotation faible et la tâche affective (classification ou régression).

A. Catégories d'Annotations Faibles

L'article définit quatre catégories principales :

1. Annotations Imprécises (Inexactes / Globales) :
   • Définition : Étiquettes au niveau de la vidéo ou de l'image (ex: "colère" pour toute une séquence) sans localisation temporelle ou spatiale précise.
   • Méthodes clés : Multiple Instance Learning (MIL) pour identifier les trames ou régions discriminantes au sein d'un "sac" d'instances. Modèles basés sur l'attention pour localiser les expressions ou les AU.
2. Annotations Incomplètes (Spatiales / Temporelles) :
   • Définition : Seule une fraction des données est annotée (ex: quelques trames clés, ou seulement certains AU étiquetés).
   • Méthodes clés : Apprentissage Semi-Supervisé (SSL) utilisant la régularisation de cohérence (Consistency Regularization) et le pseudo-étiquetage. Techniques de propagation de labels et d'apprentissage par contraste pour exploiter les données non étiquetées.
3. Annotations Inexactes (Bruitées) :
   • Définition : Les étiquettes contiennent des erreurs dues à l'ambiguïté sémantique ou au désaccord des annotateurs.
   • Méthodes clés : Sélection d'échantillons "propres" (Clean Sample Selection), apprentissage de distributions d'étiquettes (Label Distribution Learning - LDL) pour modéliser l'incertitude, et ensembles de modèles (Ensembling) pour atténuer le bruit.
4. Annotations Indirectes (Proxy) :
   • Définition : Utilisation de signaux auxiliaires (texte, dialogue, descriptions) pour superviser la tâche principale (ex: utiliser des sous-titres pour apprendre la reconnaissance d'émotions).
   • Méthodes clés : Alignement multimodal (Vision-Langage), apprentissage par transfert de supervision via des modèles de langage (LLM) ou des statistiques d'association entre expressions et AU.

B. Tâches Couvertes

• Classification : Reconnaissance d'expressions faciales (FER) et détection d'Unités d'Action (AU).
• Régression : Estimation de l'intensité des expressions et des AU (souvent modélisée comme une régression ordinaire ou continue).

3. Contributions Principales

1. Taxonomie Structurée : Une classification systématique des scénarios WSL en FABA, reliant les types d'annotations aux tâches spécifiques (classification vs régression).
2. Revue Critique des Méthodes : Une analyse approfondie des méthodes de l'état de l'art (SOTA) pour chaque scénario, mettant en lumière leurs idées centrales, leurs forces et leurs limites.
3. Analyse Comparative des Performances : Synthèse des résultats expérimentaux sur des jeux de données de référence (RAF-DB, FER+, BP4D, DISFA, UNBC-McMaster, AffectNet) en utilisant des protocoles d'évaluation standardisés.
4. Identification des Défis et Perspectives : Mise en évidence des verrous technologiques actuels et proposition de directions de recherche futures.

4. Résultats et Analyse des Performances

L'article compare les performances des méthodes WSL sur plusieurs benchmarks :

• Classification d'Expressions (FER) :
  • Les approches basées sur le MIL (Inexact) montrent une robustesse lorsque les expressions sont sparses et intenses.
  • Les méthodes Semi-Supervisées (Incomplet) avec régularisation de cohérence (ex: Progressive Teacher, AdaCM) surpassent les méthodes traditionnelles sur RAF-DB et FER+, même avec un faible pourcentage de données étiquetées.
  • La gestion du bruit (Inaccurate) via l'apprentissage de distributions d'étiquettes (LDL) ou la sélection d'échantillons (SCN, RUL) améliore significativement la précision sur des jeux de données bruités comme AffectNet.
• Détection d'Unités d'Action (AU) :
  • Les mécanismes d'attention couplés à la modélisation des relations inter-AU (Graph Neural Networks, Transformers) sont essentiels pour compenser le manque d'annotations spatiales.
  • Les approches utilisant des signaux indirects (expressions pour guider les AU) montrent un potentiel, bien que la qualité des priors statistiques soit critique.
• Estimation d'Intensité (Régression) :
  • Les modèles intégrant des contraintes ordinales et des structures temporelles (ex: BORMIR, OSVR) obtiennent de meilleurs résultats en termes de corrélation (PCC) et d'erreur absolue moyenne (MAE) que les régressions classiques, surtout avec des annotations incomplètes (seules les trames de pic sont étiquetées).

Observation clé : Les modèles basés sur l'apprentissage profond (Deep Learning) surpassent systématiquement les méthodes traditionnelles (features manuelles) dans tous les scénarios WSL, à condition d'utiliser des architectures capables de modéliser les dépendances temporelles et relationnelles.

5. Signification et Perspectives Futures

Cet article souligne que le WSL est indispensable pour déployer des systèmes FABA robustes dans des conditions réelles. Les auteurs identifient plusieurs axes de recherche prometteurs :

• Apprentissage Few-Shot (FSL) : Combiner WSL et FSL pour gérer les classes rares (ex: émotions composées) avec très peu d'exemples.
• Apprentissage Multimodal : Exploiter l'audio, le texte, la thermique et le flux optique pour fournir des signaux proxy et réduire la dépendance aux annotations visuelles pures.
• Équité (Fairness) : Aborder les biais démographiques dans les annotations faibles, qui peuvent être amplifiés par les stratégies de pseudo-étiquetage.
• Reconnaissance de Micro-Expressions : Utiliser le WSL pour surmonter la difficulté d'annotation des micro-expressions (durée < 500ms) via des signaux indirects.
• Modèles de Langage (LLM) : Utiliser les LLM pour générer des annotations indirectes, des rationales explicatives et affiner les étiquettes bruyantes.
• Modèles Unifiés et Interprétables : Développer des cadres unifiés capables de traiter simultanément classification, régression et détection d'AU avec des types d'annotations hétérogènes, tout en fournissant des explications (rationales spatiales/temporelles).

Conclusion :
Cette revue établit un état de l'art complet du WSL en FABA. Elle démontre que, bien que des défis subsistent (bruit, biais, complexité computationnelle), les méthodes actuelles permettent de construire des systèmes performants sans nécessiter de jeux de données entièrement annotés. L'avenir réside dans l'intégration de modèles de fondation (Foundation Models), de l'apprentissage multimodal et de l'attention portée à l'équité et à l'interprétabilité.