iMiGUE-3K: A Large-Scale Benchmark for Micro-Gesture Analysis with Self-Supervised Learning

Résumé Technique : iMiGUE-3K : Un Benchmark à Grande Échelle pour l'Analyse des Micro-Gestes par Apprentissage Auto-Supervisé

Énoncé du Problème
La recherche actuelle en informatique affective et en compréhension des émotions repose principalement sur les expressions faciales et la parole, négligeant souvent le langage corporel. Bien qu'il existe des jeux de données pour les comportements faciaux posés ou spontanés, il manque considérablement de ressources à grande échelle pour les Micro-Gestes (MG) — mouvements involontaires et subconscients motivés par des sentiments intérieurs (par exemple, se frotter les mains en raison du stress). Ces gestes sont cruciaux pour comprendre les émotions refoulées, mais ils sont difficiles à capturer et à analyser en raison de leur nature spontanée. De plus, les jeux de données de gestes existants sont souvent de petite échelle, entraînant un surapprentissage et une transférabilité limitée dans les modèles de base. Par ailleurs, de nombreux jeux de données existants reposent sur des données biométriques sensibles, soulevant des préoccupations en matière de vie privée. Il n'existe actuellement aucun jeu de données à grande échelle, « in-the-wild », conçu pour soutenir l'entraînement préalable de modèles de base spécifiquement pour l'analyse des micro-gestes.

Méthodologie
L'article propose un cadre complet comprenant un nouveau jeu de données, une stratégie d'échantillonnage des données et une série de modèles de base.

1. Construction du Jeu de Données iMiGUE-3K :

   • Source : Des vidéos ont été collectées lors des conférences de presse après-match de joueurs de tennis professionnels sur une période de sept ans. Ce cadre fournit un déclencheur émotionnel naturel (victoire/défaite) et minimise le temps de préparation, favorisant l'émergence de MG spontanés.
   • Échelle : Le jeu de données contient 3 484 clips vidéo (totalisant plus de 37 millions de trames) issus de 332 sujets distincts.
   • Annotation : Il inclut 32 classes de micro-gestes organisées en cinq groupes de parties du corps (Corps, Tête, Main, Corps-Main, Tête-Main) et des étiquettes d'émotion au niveau de la vidéo (Victoire/Défaite).
   • Partitionnement : Le jeu de données est divisé en un sous-ensemble étiqueté (341 vidéos, 17 800 instances de MG annotées manuellement) pour l'évaluation en aval et un grand sous-ensemble non étiqueté (environ 3 000 vidéos) pour l'entraînement préalable auto-supervisé.
   • Caractéristiques : Les données présentent une distribution à longue traîne des catégories de gestes et couvrent divers contextes culturels et de genre.

2. Stratégie d'Échantillonnage des Données pour l'Apprentissage Auto-Supervisé (SSL) :

   • Pour exploiter les vidéos non étiquetées sans annotations temporelles exhaustives, les auteurs proposent une stratégie d'échantillonnage pour générer des clips candidats de haute qualité.
   • Mécanisme : La stratégie échantillonne des clips basés sur une priorité de durée empirique dérivée de l'ensemble d'entraînement étiqueté. Elle impose des contraintes de visibilité des points clés faciaux (assurant que des ancres comme le nez et les yeux sont détectables) et un filtrage de non-chevauchement temporel pour réduire la redondance et le bruit.
   • Sortie : Ce processus produit 120 000 clips squelettiques non étiquetés adaptés à l'entraînement préalable.

3. MG-FM (Modèles de Base) :

   • Les auteurs introduisent les MG-FM, une série de modèles de base discriminatifs conçus pour apprendre des représentations transférables pour les MG.
   • Architecture : Le cadre comprend deux branches spécifiques à la modalité :
     • MG-FM-Skele : Un modèle basé sur le squelette adaptant l'architecture USDRL avec un Encodeur Spatio-Temporel Dense à Double Flux (DSTE). Il utilise des objectifs de décorrélation des caractéristiques (similarité, variance, corrélation croisée) sur des vues augmentées (jitter de vitesse, suppression de trames, corruption des articulations).
     • MG-FM-RGB : Un modèle basé sur l'RGB utilisant un cadre de modélisation de vidéos masquées de type enseignant-étudiant SMILE. Il reconstruit des cibles sémantiques de haut niveau (extraites par un encodeur ViCLIP figé) plutôt que des pixels bruts, en employant une stratégie d'entraînement préalable progressive en deux étapes.

4. Protocoles d'Évaluation :
   Le benchmark évalue les modèles à travers cinq tâches :

   • Reconnaissance non supervisée des MG (Sondage linéaire).
   • Reconnaissance semi-supervisée des MG (Ajustement fin avec 10 % de données étiquetées).
   • Reconnaissance supervisée des MG (Ajustement fin complet).
   • Recherche de MG (Recherche de plus proche voisin sans entraînement).
   • Reconnaissance d'émotion basée sur les MG (Classification binaire au niveau de la vidéo : Victoire vs Défaite).

Contributions Clés

1. iMiGUE-3K : Le premier jeu de données à grande échelle, « in-the-wild », spécifiquement conçu pour l'analyse des micro-gestes, soutenant l'entraînement préalable de modèles de base. Il comble le fossé entre la reconnaissance du comportement et la compréhension des émotions en reliant les MG aux états émotionnels (victoire/défaite).
2. Benchmark Élargi : Étend la portée au-delà de la classification à ensemble fermé pour inclure la recherche de MG et la reconnaissance d'émotion basée sur les MG, évoluant vers une analyse affective au niveau de l'instance et de la vidéo.
3. Stratégie d'Échantillonnage Nouvelle : Une méthode évolutive pour générer des clips candidats de haute qualité, de la durée des MG, à partir de vidéos non étiquetées en utilisant des priorités de durée empiriques et des contraintes de visibilité, permettant un SSL efficace.
4. MG-FM : Une série de modèles pré-entraînés par apprentissage auto-supervisé (branches squelette et RGB) qui apprennent des représentations transférables pour les micro-gestes.
5. Évaluation Complète : Des expériences extensives démontrant que l'entraînement préalable auto-supervisé à grande échelle améliore considérablement les performances sur diverses tâches en aval, correspondant souvent ou surpassant les bases de référence supervisées complètes.

Résultats

• Reconnaissance Non Supervisée : La variante multi-flux basée sur le squelette (MG-FM-Skele) a atteint 57,61 % de précision Top-1 via un sondage linéaire, performant de manière équivalente au BlockGCN 4-flux entièrement supervisé (57,85 %). La branche RGB a atteint 43,59 %.
• Reconnaissance Semi-Supervisée : Avec seulement 10 % de données étiquetées, MG-FM-RGB s'est considérablement amélioré à 60,16 % de précision Top-1, tandis que la branche squelette est restée compétitive.
• Reconnaissance Supervisée : MG-FM-RGB a atteint la précision la plus élevée parmi les méthodes comparées avec 69,42 % de précision Top-1. Un ensemble multimodal (combinant squelette et RGB) a atteint 71,60 % de précision Top-1, surpassant les méthodes d'ensemble supervisées existantes.
• Recherche : Le modèle squelette a démontré des performances de recherche supérieures sans entraînement (40,06 % de précision Top-1 pour le flux de mouvement) par rapport au modèle RGB (22,56 %).
• Reconnaissance d'Émotion : Dans la tâche au niveau de la vidéo (prédire victoire/défaite), la méthode proposée à deux flux a atteint 0,64 de précision, surpassant les bases de référence externes (0,63) qui utilisaient des pipelines plus complexes incluant des caractéristiques faciales.

Signification et Revendications
L'article revendique que ce travail fournit des outils complets pour l'analyse des micro-gestes et établit une base solide pour les recherches futures en diagnostics psychologiques, en informatique affective et en interaction homme-machine. En démontrant que l'apprentissage auto-supervisé sur des données à grande échelle, respectueuses de la vie privée (non spécifiques aux biométries), peut produire des représentations hautement transférables vers des tâches en aval, les auteurs soutiennent que l'analyse basée sur les micro-gestes est une approche viable et efficace pour améliorer la compréhension des émotions. Le travail met en évidence que les machines peuvent reconnaître et interpréter avec précision ces indices subtils et involontaires pour inférer des états émotionnels, offrant une alternative respectueuse de la vie privée à la reconnaissance d'émotion biométrique traditionnelle.