💻 computer science

Fine-grained Human Motion Understanding with Language Models

Cet article présente \methodname, un modèle basé sur les LLM qui atteint l'état de l'art en matière de compréhension fine du mouvement humain en représentant les poses squelettiques avec des horodatages explicites et en exploitant une supervision diversifiée au niveau de la pose et du mouvement, permettant ainsi des performances supérieures sur les benchmarks 2D et 3D sans dépendre de la capture de mouvement 3D de vérité terrain.

Auteurs originaux : Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Thomas Markhorst, Zhi-Yi Lin, Jouh Yeong Chew, Jan van Gemert, Xucong Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot très intelligent à comprendre le mouvement humain. La plupart des robots d'aujourd'hui tentent d'apprendre en regardant des vidéos, comme un enregistrement de caméra de surveillance. Mais les vidéos sont désordonnées : ce sont des fichiers énormes, elles montrent des vêtements et des arrière-plans (ce qui peut être distrayant ou poser un risque pour la vie privée), et si on les accélère ou on les ralentit, le robot se confond sur le moment où les choses se sont produites.

Ce document présente un nouveau cerveau pour robot appelé FiGMo (Fine-Grained Motion understanding - Compréhension du mouvement à grain fin). Au lieu de regarder une vidéo, FiGMo regarde le "bonhomme allumette" (squelette) d'une personne. Mais voici le tour de magie : FiGMo ne voit pas seulement le squelette ; il voit le squelette avec une horloge attachée à chaque pose.

Voici comment cela fonctionne, décomposé en concepts simples :

1. L'analogie du "Squelette Horodaté"

Imaginez que vous essayiez de décrire une danse à un ami par téléphone.

L'ancienne méthode : Vous dites : "Il a fait une rotation, puis un saut, puis un squat." Votre ami connaît l'ordre, mais il n'a aucune idée de la durée de la rotation ou si le saut était un petit bond rapide ou un grand saut lent.
La méthode de FiGMo : Vous dites : "À 0,0 seconde, il commence sa rotation. À 2,4 secondes, il arrête de tourner et saute. À 3,2 secondes, il atterrit en position de squat."

FiGMo traite le mouvement humain exactement comme cela. Il décompose le mouvement en une séquence de poses statiques, et il dit explicitement à l'IA : "Cette pose s'est produite à ce moment précis". Cela permet à l'IA de répondre à des questions telles que : "Combien de temps a duré le squat ?" ou "Que s'est-il passé juste avant qu'il ne se lève ?" avec une précision incroyable.

2. Le "Traducteur Universel" (L'encodeur de pose)

Habituellement, les modèles d'IA sont exigeants. Certains ne comprennent que les données de mouvement 3D parfaites capturées dans un laboratoire avec des équipements spéciaux (comme un studio de capture de mouvement de Hollywood). D'autres ne comprennent que les dessins 2D provenant de caméras classiques.

FiGMo possède un "Traducteur Universel" spécial (appelé Encodeur de Pose Unifié). Considérez cela comme un traducteur qui parle à la fois le "Costume de Labo" (3D) et la "Caméra de Téléphone" (2D).

Si vous lui donnez un squelette 2D désordonné et bruité provenant d'une vidéo classique, il le nettoie et le comprend.
Si vous lui donnez des données 3D parfaites, il les comprend aussi.
Le résultat : FiGMo est si bon que même lorsqu'il utilise uniquement des squelettes 2D (qui sont moins détaillés), il bat d'autres modèles qui dépendent de données 3D coûteuses et de haute qualité.

3. Le "Programme Scolaire" (Stratégie d'entraînement)

Pour apprendre à FiGMo à être aussi intelligent, les chercheurs ne se sont pas contentés de lui jeter un tas géant de données. Ils ont construit un programme scolaire, comme un système d'enseignement :

Étape 1 (Les bases) : Ils lui ont appris à décrire une pose unique et figée. "Regardez ce genou ; il est plié."
Étape 2 (Les détails) : Ils lui ont appris à répondre à des questions spécifiques sur les parties du corps. "Le bras gauche est-il plus haut que le droit ?"
Étape 3 (L'histoire) : Ils ont commencé à connecter les poses en séquences courtes. "Quelle action est en train de se produire ici ?"
Étape 4 (Le film) : Enfin, ils lui ont appris à gérer des séquences longues et complexes avec des questions de chronologie. "Combien de temps a duré la phase de course ?"

Le document a révélé que la partie la plus importante de cette école était la diversité des leçons. Il était crucial de lui enseigner à la fois des poses individuelles et des séquences de mouvement complètes. L'approche "par étapes" (apprentissage progressif) a aidé un peu, mais son véritable superpouvoir venait de la diversité des données d'entraînement.

4. Pourquoi cela importe (Vie privée et Précision)

Le document souligne deux avantages principaux :

Vie privée : Parce que FiGMo ne regarde que le squelette (le bonhomme allumette), il ne voit pas le visage de la personne, ses vêtements ou son environnement. C'est comme regarder un spectacle d'ombres chinoises plutôt qu'un film. Cela le rend sûr pour une utilisation dans des lieux où l'enregistrement vidéo est illégal ou contraire à l'éthique, comme une salle de sport ou un hôpital.
Précision : Parce qu'il possède "l'horloge" sur chaque pose, il peut saisir des détails subtils. Il peut faire la différence entre un squat lent et contrôlé et un squat rapide et saccadé, ce qui est difficile pour une IA basée sur la vidéo.

L'essentiel

FiGMo est une nouvelle façon pour les ordinateurs de comprendre le mouvement humain. Au lieu de regarder une vidéo floue, il lit un "script de squelette" où chaque mouvement est marqué par un horodatage. En apprenant à l'IA à lire ce script grâce à un mélange de descriptions de poses simples et d'histoires de mouvements complexes, il est devenu le meilleur dans son domaine, même en utilisant des données 2D simples au lieu de données 3D coûteuses. Il prouve que vous n'avez pas besoin d'un film d'Hollywood pour comprendre le mouvement humain ; vous avez juste besoin du bon "script de squelette" et d'une bonne horloge.

Résumé Technique : FiGMo – Compréhension du Mouvement Humain à Grain Fin avec des Modèles de Langage

Énoncé du Problème

Comprendre le mouvement humain avec une précision temporelle fine est une étape critique vers la construction de systèmes d'IA centrés sur l'humain pour des applications telles que l'interaction humain-robot, le suivi de la rééducation et le coaching sportif. Bien que les avancées récentes des grands modèles de langage (LLM) aient étendu le raisonnement multimodal, les approches existantes font face à des limitations significatives :

Limitations centrées sur la vidéo : La plupart des méthodes reposent sur des entrées vidéo brutes, ce qui est coûteux en termes de calcul, nécessite un sous-échantillonnage temporel agressif (obscurcissant les dynamiques rapides ou subtiles) et introduit des problèmes de confidentialité en raison des informations d'identité et d'arrière-plan.
Perte d'ancrage temporel : Les LLM basés sur le squelette existants compressent souvent le mouvement en jetons discrets (par exemple, via VQ-VAE) ou concatènent des séquences de poses sans horodatage explicite. Cela traite les clips de mouvement comme des unités atomiques, empêissant le modèle de raisonner sur le moment exact, la durée et le rythme d'actions spécifiques.
Contraintes de données : De nombreux travaux antérieurs reposent exclusivement sur des données de capture de mouvement (MoCap) 3D propres et contrôlées, limitant leur applicabilité aux scénarios du monde réel où le mouvement est dérivé de détecteurs de pose 2D bruités sur des vidéos monoculaires.

Méthodologie

Les auteurs proposent FiGMo (Fine-Grained Motion), un cadre basé sur les LLM qui modélise explicitement le mouvement humain comme une séquence de poses squelettiques ancrées temporellement.

1. Encodeur de Pose Unifié

Pour gérer de manière robuste les entrées 2D et 3D, les auteurs adaptent l'encodeur de mouvement de MotionBERT.

Architecture : L'encodeur ne conserve que les blocs de transformateurs spatiaux pour encoder des poses statiques individuelles plutôt qu'un mouvement continu.
Pré-entraînement : L'encodeur est pré-entraîné pour reconstruire des poses 3D à partir d'entrées corrompues (bruit additif et masquage aléatoire des articulations). Il est entraîné sur un mélange de poses 2D détectées, de données MoCap 3D et de projections 2D de séquences 3D. Cela produit un encodeur unifié capable de gérer de manière cohérente les détections 2D bruitées et les données 3D propres.

2. Structure LLM Multimodale avec Ancrage Temporel

L'innovation centrale réside dans la manière dont le mouvement est représenté pour le LLM :

Traducteur de Pose : Un MLP léger à deux couches projette les plongements (embeddings) de pose dans l'espace sémantique du LLM.
Horodatage Explicite : Contrairement à une simple concaténation de poses, FiGMo concatène chaque plongement de pose avec un jeton d'horodatage spécifique (par exemple, Time: 0.00s <pose>, Time: 0.03s <pose>). Cela permet au LLM de raisonner sur l'ordre du mouvement, la durée et le rythme au niveau de la pose.
Contexte Vidéo Optionnel : L'architecture prend en charge une entrée vidéo optionnelle via un encodeur visuel pour fournir des indices contextuels sans contraindre l'espace de représentation du mouvement.

3. Stratégie de Supervision Diversifiée

Les auteurs étudient la nécessité de différents niveaux de supervision en construisant un mélange d'entraînement diversifié couvrant quatre modules :

Supervision au niveau de la Pose : Comprend le légendage de pose (PS-short, PS-fine) et les questions-réponses sur la pose (PS-QA, PF-fine) dérivés des jeux de données PoseScript et PoseFix. Ces tâches se concentrent sur les configurations corporelles statiques et les relations spatiales.
Supervision au niveau du Mouvement : Comprend le légendage de mouvement (BABEL-cap) et les questions-réponses sur le mouvement (HML3D-QA, BABEL-QA, FTM-QA). Le module FTM-QA est spécifiquement conçu pour superviser le raisonnement temporel fin (durée, temps de début/fin, ordre).
Calendrier d'Entraînement : Les auteurs comparent une approche d'entraînement en une seule étape à un curriculum par étapes (Pose $\to$ Mouvement). L'approche par étapes introduit d'abord les tâches de niveau pose, suivies des tâches de niveau mouvement, afin d'établir un alignement avant d'aborder le raisonnement temporel complexe.

Principales Contributions

Architecture FiGMo : Une méthode basée sur les LLM qui représente explicitement le mouvement comme une séquence de poses squelettiques horodatées, permettant un raisonnement fin sur l'ordre des actions, la durée et le rythme.
Encodeur Unifié 2D/3D : Un encodeur de pose pré-entraîné sur des données mixtes et corrompues, permettant au même modèle d'opérer sur des détections 2D pratiques et des séquences MoCap 3D.
Analyse de la Supervision : Une étude d'ablation démontrant que la supervision diversifiée au niveau de la pose et du mouvement est le principal moteur des gains de performance, tandis que l'entraînement par étapes apporte un bénéfice supplémentaire plus faible. Crucialement, l'étude montre que la supervision au niveau de la pose est essentielle pour la compréhension du mouvement en aval.
Performance de l'État de l'Art : La méthode atteint des performances de haut niveau sur plusieurs benchmarks, avec une observation notable : une variante 2D uniquement surpasse les méthodes précédentes basées sur la 3D.

Résultats Expérimentaux

FiGMo a été évalué sur cinq benchmarks : BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D et QEVD-Coach.

BABEL-QA (Motion QA) : FiGMo (3D) a atteint une précision globale de 0,758, surpassant les méthodes précédentes de l'état de l'art comme HuMoCon (0,711). Remarquablement, la variante FiGMo (2D) a atteint 0,750, surpassant toutes les méthodes 3D antérieures malgré l'utilisation de seules entrées squelettiques 2D. Les gains ont été particulièrement significatifs sur les requêtes temporellement filtrées ("Avant", "Après", "Entre-deux").
HuMMan-QA : La méthode a obtenu les meilleures performances sur tous les indicateurs (Global : 0,824 pour 3D, 0,792 pour 2D), démontrant une forte généralisation au-delà de BABEL.
CompMo (Légendage Dense) : FiGMo surpasse substantiellement UniMotion et DEMO tant dans les métriques de légendage (ex: CIDEr : 456,95 contre 134,44) que dans la localisation temporelle (tIoU : 98,44 contre 77,94), validant l'efficacité de l'ancrage temporel explicite.
NTU-RGB+D 120 (Reconnaissance d'Action One-Shot) : En utilisant uniquement l'entrée de mouvement 2D, FiGMo a atteint 69,2 % de précision, surpassant les méthodes précédentes. L'ajout de la vidéo comme modalité auxiliaire a porté ce chiffre à 77,4 %.
QEVD-Coach (Feedback d'Exercice) : Le modèle basé sur le mouvement a surpassé les LLM uniquement vidéo pour fournir un feedback sur l'exécution des exercices, soulignant l'efficacité des représentations squelettiques explicites.

Signification et Revendications

L'article affirme que l'encodage temporel explicite et la supervision diversifiée sont les clés d'une compréhension fine du mouvement humain.

Confidentialité et Efficacité : En s'appuyant sur des poses squelettiques plutôt que sur des vidéos brutes, FiGMo offre une alternative respectueuse de la vie privée et efficace en termes de calcul, adaptée aux appareils de bord et aux applications sensibles comme la rééducation.
Robustesse de la Modalité d'Entrée : La capacité de la variante 2D uniquement à surpasser les bases 3D remet en question l'hypothèse selon laquelle une MoCap 3D de haute fidélité est strictement nécessaire pour un raisonnement fin, à condition que le modèle soit entraîné avec une supervision et un encodage appropriés.
Hiérarchie de la Supervision : Ce travail établit que la compréhension au niveau de la pose est un prérequis à un raisonnement efficace au niveau du mouvement, suggérant que les futurs LLM de mouvement devraient intégrer des tâches de pose statique même lorsque l'objectif ultime est le raisonnement temporel.

Les auteurs concluent que bien que leur méthode représente une étape importante, les travaux futurs pourraient explorer l'intégration du contexte de la scène et des objets, car les poses squelettiques seules omettent les informations relatives aux interactions avec les objets et la disposition de la scène 3D.