💻 computer science

GMoT: Gated Motion-Aware Tokenization for Fine-Grained Micro-Gesture Video Reasoning with Multimodal LLMs

Ce document introduit GMoT, un module de tokenisation sensible au mouvement à porte (Gated Motion-Aware Tokenization) combiné à un paradigme de raffinement de politique progressif guidé par récompense, afin d'améliorer la capacité des grands modèles de langage multimodaux à effectuer un raisonnement vidéo sur les micro-gestes fins en distillant explicitement les preuves cinématiques éparses et l'ancrage anatomique, atteignant ainsi des performances de pointe sur les benchmarks iMiGUE et SMG.

Auteurs originaux : Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

Publié 2026-07-21

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Taorui Wang, Wei Xia, Hui Ma, Zijia Song, Jiayu Zhang, Zeheng Wang, Yong Xu, Zitong Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre le langage corporel humain. Vous lui montrez la vidéo d'une personne, et vous voulez que le robot vous dise exactement ce que cette personne ressent ou pense à partir d'un mouvement infime. C'est le monde de la vision par ordinateur, une branche de la science où les ordinateurs apprennent à « voir » et à interpréter le monde visuel. Habituellement, ces ordinateurs sont excellents pour repérer des actions larges et évidentes comme courir, sauter ou faire un signe de la main. Mais il existe un recoin complexe dans ce monde appelé micro-gestes. Ce sont les mouvements super subtils que nous faisons tous sans y réfléchir : un léger tressautement du doigt, un haussement d'épaules presque imperceptible, ou un resserrement momentané des lèvres. Ils se produisent si vite et dans un espace si restreint qu'ils sont faciles à manquer.

Le problème est que les ordinateurs lecteurs de vidéos les plus intelligents d'aujourd'hui, connus sous le nom de Modèles de Langage Multimodaux (MLLM), sont comme des étudiants qui sont très doués pour lire des manuels scolaires mais terribles pour regarder une pièce de théâtre en direct. Ils sont tellement concentrés sur l'image globale — la pose statique, l'arrière-plan, le visage de la personne — qu'ils passent souvent à côté des indices minuscules et éphémères qui révèlent réellement la vérité. Ils pourraient regarder une personne aux bras croisés et deviner « en colère », manquant complètement le fait que la personne vient de tapoter son doigt une fois, ce qui signifie en réalité « impatient ». Ce papier s'attaque au défi d'apprendre à ces puissants modèles d'IA à arrêter de deviner basés sur l'image globale pour commencer à prêter attention aux détails minuscules et mouvants qui comptent.

Le Problème : Le Piège du « Instantané Statique »

Pensez à une IA vidéo standard comme à un photographe qui prend un cliché unique et flou d'un film et essaie de deviner l'intrigue. Si le film concerne une personne qui secoue les épaules nerveusement, une IA standard pourrait simplement voir une personne immobile et deviner « debout ». Elle manque le mouvement parce qu'elle regarde la vidéo trop lentement ou qu'elle fait une moyenne de tout, effaçant ainsi les mouvements minuscules et rapides.

Les auteurs de ce papier, Taorui Wang et son équipe, ont remarqué que les modèles d'IA existants faisaient des « suppositions hâtives ». Ils regardaient une posture de bras croisés et décidaient immédiatement que la personne était « défensive », ignorant un tapotement de doigt subtil qui pourrait signifier tout autre chose. Les modèles se reposaient sur des apparences statiques (ce à quoi la personne ressemble) plutôt que sur des preuves cinématiques (comment elle a bougé). Pire encore, parce que les modèles n'étaient récompensés que lorsqu'ils trouvaient la bonne réponse finale, ils pouvaient parfois « halluciner » — inventant une raison sophistiquée pour leur supposition qui semblait logique mais qui n'avait rien à voir avec ce qui se passait réellement dans la vidéo.

La Solution : GMoT (Le « Détective du Mouvement »)

Pour corriger cela, l'équipe a construit un nouvel outil appelé GMoT (Gated Motion-Aware Tokenization). Imaginez que vous avez un détective très intelligent mais légèrement paresseux (le modèle d'IA) qui essaie de résoudre un mystère. Le détective jette généralement un coup d'œil rapide à la scène de crime et devine. GMoT est comme un assistant spécialisé qui tend au détective une loupe et un surligneur.

Voici comment fonctionne GMoT, étape par étape :

Mettre l'action en lumière : Au lieu de regarder l'ensemble de la trame vidéo de manière égale, GMoT agit comme un projecteur. Il scanne la vidéo pour trouver exactement où le mouvement se produit (comme un doigt spécifique ou une épaule) et ignore le bruit de fond ennuyeux.
Geler le mouvement : Il prend deux images de la vidéo qui sont l'une à côté de l'autre et soustrait l'une de l'autre. C'est comme prendre deux photos d'un coureur et soustraire la première de la seconde pour ne laisser que le « flou » du mouvement. Cela isole l'énergie pure du mouvement, en dépouillant les parties statiques du corps de la personne.
L'injection « Gated » (à porte contrôlée) : L'équipe craignait que l'ajout de cette nouvelle « information de mouvement » ne confonde le cerveau existant de l'IA. Ainsi, ils ont construit une « porte » (un interrupteur de contrôle). Au début, la porte est presque fermée, laissant l'IA s'appuyer sur ce qu'elle sait déjà. À mesure que l'IA apprend, la porte s'ouvre lentement, laissant entrer juste la bonne quantité d'indices de mouvement pour aider l'IA à faire une meilleure supposition sans la submerger.

L'Entraînement : Apprendre à Expliquer, pas seulement à Deviner

L'équipe ne voulait pas seulement que l'IA obtienne la bonne réponse ; elle voulait qu'elle explique son raisonnement basé sur ce qu'elle a réellement vu. Pour ce faire, ils ont créé un processus d'entraînement spécial en quatre étapes :

Échauffement (Warm-up) : Ils ont d'abord appris au nouveau module GMoT à trouver le mouvement sur des vidéos générales.
Adaptation au domaine : Ils lui ont montré des milliers de vidéos de micro-gestes afin qu'il apprenne le langage spécifique des mouvements minuscules.
Apprentissage par Chaîne de Pensée (Chain-of-Thought - CoT) : Ils ont appris à l'IA à écrire ses pensées avant de donner la réponse. Au lieu de dire simplement « Secouer les épaules », elle devait dire : « Je vois les épaules monter et descendre rapidement, ce qui indique... »
Raffinement guidé par la récompense : C'était le polissage final. Ils ont mis en place un système de notation qui punissait l'IA pour les « suppositions paresseuses » (choisir la réponse la plus commune sans regarder) et récompensait l'accent mis sur le mouvement réel. Si l'IA tentait d'inventer une histoire sur l'arrière-plan ou l'humeur de la personne sans voir le mouvement, elle recevait une pénalité. Si elle pointait la partie du corps spécifique en mouvement, elle recevait une récompense.

Les Résultats : Voir l'Invisible

L'équipe a testé son nouveau système sur deux ensembles de données majeurs pour les micro-gestes : iMiGUE et SMG.

Sur l'ensemble de données iMiGUE, leur modèle (basé sur l'architecture Qwen3-VL-8B) a atteint une précision de 67,32 %. C'est un bond énorme, améliorant le modèle de base de 6,80 points.
Sur l'ensemble de données SMG, il a atteint 73,11 % de précision, soit une amélioration de 3,11 points par rapport au modèle de base.

Ces chiffres signifient que le modèle est nettement meilleur pour repérer ces mouvements minuscules et fugaces que les autres modèles manquent. Mais l'équipe ne s'est pas arrêtée au score. Ils ont introduit une nouvelle façon de mesurer si l'IA était réellement « ancrée » dans la réalité. Ils ont vérifié si l'explication de l'IA mentionnait la bonne partie du corps (comme « les lèvres » ou « les épaules ») lorsqu'elle obtenait la bonne réponse. Ils appellent cela la Récupération de l'Ancrage Régional Corporel (Body-Region Grounding - BRG Recall). Leur modèle a montré qu'il ne faisait pas que deviner ; il regardait réellement aux bons endroits.

Pourquoi cela compte

Ce papier suggère que pour que l'IA comprenne véritablement le comportement humain, elle doit cesser de s'appuyer sur des instantanés statiques et commencer à prêter attention au « scintillement » du mouvement. En construisant un système qui traque explicitement ces indices minuscules et transitoires et qui force l'IA à expliquer son raisonnement basé sur ceux-ci, les chercheurs ont créé un modèle moins susceptible de halluciner et plus susceptible de comprendre le langage subtil et non-dit du corps humain. C'est une étape vers une IA qui ne se contente pas de voir à quoi nous ressemblons, mais qui comprend ce que nous faisons.

Résumé Technique : GMoT pour le raisonnement vidéo sur les micro-gestes fins

Énoncé du Problème

La reconnaissance des micro-gestes (MGR - Micro-Gesture Recognition) consiste à détecter des mouvements humains fugaces et spatialement localisés (par exemple, un léger haussement d'épaules ou une pression des lèvres) qui révèlent des états affectifs et cognitifs latents. Ces actions se caractérisent par une faible amplitude, une courte durée et des régions spatiales étroites, ne s'étendant souvent que sur quelques images.

Les modèles de langage visuels multimodaux (MLLM) actuels, bien que puissants pour la compréhension vidéo générale, peinent avec la MGR en raison de deux limitations principales :

Biais Statique : Les MLLM vidéo standards reposent sur un échantillonnage temporel parcimonieux et un regroupement temporel (pooling), ce qui dilue ou manque les signaux cinématiques subtils. Par conséquent, les modèles ont tendance à s'appuyer sur des « priors de posture statique » (par exemple, classer une posture de bras croisés) plutôt que sur les indices de mouvement discriminants.
Raisonnement Halluciné : Sans contraintes explicites, les MLLM génèrent souvent des traces de raisonnement plausibles en apparence mais visuellement non fondées (« supposition hâtive ») pour satisfaire l'étiquette de classification finale, échouant ainsi à fournir des explications basées sur des preuves.

Les évaluations existantes se concentrant uniquement sur la précision Top-1 au sein d'un seul jeu de données ne parviennent pas à vérifier si les modèles capturent réellement des micro-dynamiques transférables ou s'ils mémorisent simplement des biais d'apparence spécifiques au jeu de données.

Méthodologie : GMoT

Les auteurs proposent GMoT (Gated Motion-Aware Tokenization), un module léger conçu pour injecter un biais cinématique explicite dans un MLLM vanilla sans perturber son interface visuelle-linguistique pré-entraînée. GMoT fonctionne via trois mécanismes clés :

1. Tokenisation Sensible au Mouvement (Motion-Aware Tokenization)

GMoT distille des indices spatio-temporels parcimonieux en une séquence compacte de jetons de mouvement (motion tokens) avant qu'ils ne soient fusionnés avec le flux visuel :

Saillance Spatiale Promptée par le Mouvement : Un scoreur léger projette les jetons de patch pour générer des scores de pertinence, appliquant un softmax spatial pour créer une représentation par niveau de trame pondérée. Cela agit comme un filtre appris pour amplifier les preuves de mouvement localisées tout en supprimant le bruit de fond.
Différenciation Temporelle Inspirée de la Cinématique : Au lieu de s'appuyer sur des mélanges temporels complexes, GMoT calcule des différences explicites entre trames adjacentes. Il décompose cela en deux flux : l'amplitude moyenne (quantifiant l'énergie du mouvement) et la différence signée (préservant la cinématique directionnelle). Ils sont concaténés et projetés en un jeton de mouvement de longueur fixe.
Porte Adaptative Préservant la Sémantique : Pour éviter de perturber l'espace visuel-sémantique aligné du MLLM pré-entraîné, le jeton de mouvement est fusionné via une porte sémantique initialisée de manière conservatrice ( $\tilde{z}_t = z_t + \sigma(g) \odot m_t$ ). La porte commence dans un régime « presque fermé », permettant au modèle d'apprendre progressivement quelle quantité de preuve de mouvement introduire.

2. Stratégie d'Entraînement

Les auteurs emploient un pipeline d'entraînement progressif en quatre étapes pour faire passer le modèle de la simple classification au raisonnement fondé sur des preuves :

Étape 0 (Warm-up) : Le module GMoT est entraîné sur des jeux de données vidéo généraux en figeant l'LLM et l'encodeur de vision pour stabiliser la génération des jetons de mouvement.
Étape 1 (Appariement Vidéo-Étiquette) : Fine-tuning supervisé (SFT) sur des paires vidéo-étiquette de micro-gestes en utilisant LoRA pour aligner les représentations visuelles avec la sémantique spécifique au domaine.
Étape 2 (SFT au format CoT) : Le modèle est entraîné à générer des descriptions de type Chaîne de Pensée (CoT) focalisées sur les preuves de mouvement observables. Cette étape utilise un pipeline d'annotation semi-automatique où plusieurs LMM génèrent des descriptions candidates, et un sélecteur (Qwen3-VL-MoE) choisit celle qui est correcte au niveau de la classe, visuellement fondée et exempte d'hallucinations.
Étape 3 (Affinement de la Politique Guidé par la Récompense) : Une phase d'apprentissage par renforcement utilisant l'Optimisation de Politique Relative de Groupe (GRPO). La fonction de récompense ( $R_i$ $R_{i}$ ) combine quatre termes :
- Correction de l'Étiquette ( $R_{label}$ ) : Récompense les correspondances exactes, pénalise les suppositions incorrectes et pénalise sévèrement les hallucinations hors domaine.
- Pénalité de Prédiction Paresseuse ( $R_{lazy}$ ) : Décourage le modèle d'exploiter les distributions à longue traîne en devinant répétitivement les classes à haute fréquence.
- Conformité du Format ( $R_{format}$ ) : Assure que la sortie suit le template CoT requis.
- Focus sur l'Observation ( $R_{focus}$ ) : Pénalise les traces de raisonnement contenant des mots-clés de fond non pertinents.

Contributions Clés

Module GMoT : Une nouvelle approche de tokenisation qui intègre la saillance spatiale, la différenciation temporelle explicite et la fusion par porte dans les MLLM, permettant de capturer des micro-gestes subtils sans convolutions 3D lourdes.
Entraînement Orienté Raisonnement : Un cadre combinant la supervision CoT semi-automatique avec une stratégie de raffinement de politique progressive guidée par la récompense. Cela encourage l'ancrage anatomique et la résistance aux suppositions basées sur l'apparence « paresseuse ».
Protocoles d'Évaluation Plus Larges :
- Rappel de l'Ancrage Régionnel Corporel (BRG Recall) : Une nouvelle métrique calculée sur les échantillons correctement classés pour quantifier la fréquence à laquelle le raisonnement du modèle identifie correctement la région anatomique pertinente.
- Transfert Cross-Domain : Un protocole de transfert de labels chevauchants entre les jeux de données iMiGUE et SMG pour tester la robustesse sous changement de domaine.

Résultats Expérimentaux

La méthode a été évaluée sur les jeux de données iMiGUE et SMG en utilisant le backbone Qwen3-VL-8B.

Précision Top-1 : GMoT a atteint 67,32 % sur iMiGUE et 73,11 % sur SMG. Cela représente une amélioration de +6,80 et +3,11 points par rapport au baseline Qwen3-VL-8B, respectivement.
Comparaison : Le modèle augmenté par GMoT a surpassé tous les baselines CNN, Transformer et modèles d'espace d'état (SSM) comparés, ainsi que d'autres MLLM (ex: InternVL2.5, Video-LLaMA2).
Robustesse : Le modèle a maintenu des gains clairs sous des corruptions préservant les étiquettes et a démontré de fortes capacités de transfert cross-domain.
Ancrage : Le framework a démontré un fort ancrage anatomique dans les rationales générées, tel que mesuré par le proposé BRG Recall.

Signification et Revendications

L'article soutient que le domaine de la reconnaissance des micro-gestes nécessite un changement de paradigme, passant d'une reconnaissance purement pilotée par l'étiquette à un raisonnement cinématique fondé sur des preuves.

Les auteurs affirment que GMoT répond avec succès au « biais statique » inhérent aux MLLM vidéo actuels en distillant explicitement le mouvement local faible en jetons compacts. En imposant un régime d'entraînement qui pénalise les hallucinations et récompense le focus anatomique, le framework améliore non seulement la précision de la classification, mais génère également des explications interprétables et visuellement fondées. Ce travail souligne que pour l'analyse comportementale fine, les modèles doivent être forcés d'être attentifs à ce qui a bougé et comment cela a changé, plutôt que de s'appuyer sur des motifs d'apparence statiques.

Les auteurs notent que bien que l'approche montre des améliorations significatives, elle est spécifiquement conçue pour le raisonnement sur les micro-gestes et ne résout pas intrinsèquement les défis de l'apprentissage incrémental de classes, bien qu'elle tire inspiration des méthodes d'apprentissage continu concernant l'adaptation de la représentation. Tout le code sera rendu public.