💻 computer science

T-MOR: Learning Motion-Aware Skeleton Representations for Human Action Recognition

Cet article propose T-MOR, un cadre sensible au mouvement qui exploite un nouveau jeu de données à grande échelle, PoseCap-1M, ainsi qu'un apprentissage contrastif multimodal pour aligner les séquences de squelettes avec les représentations vidéo et textuelles, atteignant ainsi une performance de reconnaissance d'actions humaines supérieure et généralisable grâce à une inférence légère basée uniquement sur le squelette.

Auteurs originaux : Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Di Yang, Mahmoud Ali, Quan Kong, Gianpiero Francesca, Francois Bremond

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à comprendre les actions humaines, comme « jouer au tennis » ou « épousseter des meubles ».

La plupart des modèles d'IA actuels sont comme des touristes avec un appareil photo. Ils regardent une vidéo et essaient de deviner ce qui se passe en fonction de ce à quoi les choses ressemblent : la couleur du t-shirt, le décor de l'arrière-plan ou la forme de la raquette de tennis. Si la lumière change ou si la personne porte un t-shirt différent, le robot est confus.

D'autres modèles sont comme des dessinateurs de bonshommes allumettes. Ils ne regardent que le squelette (les articulations et les os) pour voir comment le corps bouge. C'est excellent car cela ignore l'arrière-plan désordonné, mais ces modèles doivent généralement être enseignés chaque action à partir de zéro. Si on leur présente une nouvelle action qu'ils n'ont jamais vue, ils sont perdus.

T-MOR est un nouveau cadre proposé dans cet article qui tente de tirer le meilleur des deux mondes. Pensez à lui comme à un professeur de danse qui a regardé des millions de vidéos et lu des millions de livres, mais qui n'a besoin de voir que le squelette du danseur pour comprendre le mouvement.

Voici comment cela fonctionne, décomposé en concepts simples :

1. Le « Super-Professeur » (Apprentissage Multi-Modal)

Pendant sa phase d'entraînement, T-MOR est comme un étudiant assis dans une salle de classe avec trois professeurs différents :

Le Professeur Visuel : Lui montre des vidéos de personnes en train d'accomplir des actions.
Le Professeur de Langage : Lit les descriptions de ces actions (par exemple, « Une personne est en train d'épousseter des meubles »).
Le Professeur de Mouvement : Lui montre les données du squelette (le mouvement réel des articulations).

L'objectif est d'apprendre au modèle que le mouvement du squelette, l'apparence de la vidéo et les mots décrivant l'action signifient la même chose. Il utilise une technique appelée « apprentissage contrastif », qui est comme un jeu de « correspondance de paires ». Il apprend à dire : « Ce mouvement de squelette correspond à ce clip vidéo et à cette description textuelle ».

2. Le « Jeu de Groupement » (Apprentissage Guidé par Clusters)

L'un des tours de passe-passe de l'article est la façon dont il gère les erreurs. Imaginez que vous triez une énorme pile de photos mélangées. Si vous prenez simplement des photos au hasard pour les comparer, vous pourriez accidentellement choisir deux photos de la même action et penser qu'elles sont différentes (un « faux négatif »).

T-MOR utilise une stratégie de « groupement ». Avant de comparer, il organise les mouvements en clusters (comme trier des photos dans des dossiers). Il compare ensuite les mouvements au sein d'un même dossier comme étant des « amis » (paires positives) et les mouvements dans des dossiers différents comme des « étrangers » (paires négatives). Cela aide le modèle à comprendre la véritable structure du mouvement humain sans être confondu par le bruit aléatoire.

3. La « Nouvelle Bibliothèque » (PoseCap-1M)

Pour enseigner ce modèle, les auteurs ont réalisé qu'ils avaient besoin d'une immense bibliothèque de données qui combine vidéos, texte et squelettes en même temps. Ils n'en trouvaient pas une assez grande, alors ils en ont construit leur propre : PoseCap-1M.

Considérez cela comme une bibliothèque de plus d'un million d'entrées.
Chaque entrée possède un clip vidéo, les données du squelette correspondantes et une description textuelle.
Ce vaste ensemble de données permet au modèle d'apprendre des règles générales sur la façon dont les humains bougent, plutôt que de simplement mémoriser des exemples spécifiques.

4. La « Performance Légère » (Inférence)

C'est la partie la plus importante pour une utilisation dans le monde réel. Après que le modèle a appris de toutes ces vidéos et de tous ces textes, il n'en a plus besoin.

Entraînement : Il utilise des données vidéo et textuelles lourdes pour apprendre.
Test (Inférence) : Il n'a besoin que du squelette.

C'est comme un chef qui a appris à cuisiner en goûtant des milliers de plats et en lisant des recettes, mais qui peut maintenant préparer un repas parfait en regardant simplement la liste des ingrédients (le squelette) sans avoir besoin de la recette originale ou du menu de dégustation. Cela le rend très rapide et efficace, parfait pour les appareils dotés d'une puissance limitée.

Qu'ont-ils trouvé ?

Les auteurs ont testé T-MOR sur plusieurs défis du monde réel :

Reconnaissance d'actions : Il s'est avéré meilleur pour identifier des actions comme « jouer au tennis » ou « épousseter » par rapport aux méthodes précédentes, même lorsque l'arrière-plan était désordonné ou que la lumière était mauvaise.
Détection du timing : Il pouvait dire exactement quand une action commençait et s'arrêtait dans une longue vidéo.
La « Magie » du Zero-Shot : C'est la partie la plus impressionnante. Ils ont demandé au modèle de reconnaître des actions qu'il n'avait jamais vues auparavant (comme « jouer à un jeu spécifique » pour lequel il n'a pas été entraîné). Parce qu'il a appris le concept du mouvement à travers le langage et la vidéo, il peut deviner l'action simplement en lisant le nom de l'action et en regardant le squelette. Il a performé aussi bien, voire mieux, que des modèles qui avaient été entraînés spécifiquement sur ces actions.

Résumé

En bref, T-MOR est un système qui apprend à comprendre le mouvement humain en étudiant des vidéos et en lisant du texte, mais il n'a besoin que de voir un squelette en bonhomme allumettes pour faire son travail. En utilisant un nouvel ensemble de données massif et une stratégie de « groupement » intelligente, il crée un modèle qui est précis, rapide et capable de comprendre de nouvelles actions qu'il n'a jamais rencontrées auparavant.

Résumé Technique : T-MOR

Énoncé du Problème

Bien que les modèles de vision-langage (VLM) comme CLIP aient connu un grand succès dans la compréhension visuelle, ils reposent principalement sur une supervision au niveau de l'apparence et manquent d'une modélisation explicite du mouvement humain. Cette limitation entrave leur efficacité dans les tâches de reconnaissance d'actions centrées sur l'humain et à grain fin, où les actions sont définies par des mouvements corporels temporellement structurés et physiquement ancrés. À l'inverse, les méthodes existantes basées sur le squelette opèrent souvent dans des contextes en ensemble fermé (closed-set), ce qui les rend difficiles à transférer vers de nouvelles actions ou tâches sans un réentraînement extensif. Le défi central abordé est la manière de tirer parti d'une supervision sémantique à grande échelle (provenant de la vidéo et du texte) pour apprendre des représentations de mouvement humain transférables, physiquement ancrées et temporellement cohérentes, tout en restant robustes et légères pour l'inférence.

Méthodologie

Les auteurs proposent T-MOR (Transferable skeleton MOtion Representation), un cadre sensible au mouvement conçu pour apprendre des représentations d'action transférables à partir de séquences de squelettes en utilisant la supervision vidéo et linguistique pendant l'entraînement.

1. Architecture et Extraction de Caractéristiques

Représentation Centrale : Le cadre utilise des séquences de squelettes ( $s_k$ ) comme entrée principale pour l'inférence. L'encodeur de mouvement ( $E_M$ ) est basé sur UNIK, une architecture hybride combinant des Transformers et des TCN pour capturer les relations spatiales entre les articulations et l'évolution temporelle.
Alignement Multi-modal : Pendant le pré-entraînement, T-MOR aligne les plongements de mouvement ( $E_M(s_k)$ $E_{M} (s_{k})$ ) avec :
- Plongements Visuels ( $E_V(v)$ ) : Extraits des images de vidéos RGB à l'aide d'un encodeur vidéo ViCLIP gelé.
- Plongements Textuels ( $E_T(a)$ ) : Extraits des descriptions d'actions à l'aide d'un encodeur de texte ViCLIP gelé.
Efficacité de l'Inférence : Les encodeurs vidéo et texte sont gelés et écartés après le pré-entraînement. Lors de l'inférence, le modèle n'utilise que l'encodeur de squelette léger, ce qui le rend adapté aux scénarios à ressources limitées.

2. Apprentissage Contrastif Multi-modal Guidé par le Clustering

T-MOR emploie une stratégie d'entraînement en deux étapes, améliorée par un mécanisme de contraste guidé par le clustering pour affiner la sélection des échantillons positifs et négatifs, atténuant ainsi les faux négatifs causés par l'échantillonnage aléatoire dans les banques de mémoire.

Clustering : Après chaque époque, les plongements de mouvement sont regroupés par clustering via DBSBDSCAN. Les échantillons au sein d'un même cluster sont traités comme des paires positives, tandis que ceux des autres clusters servent de négatifs.
Pré-entraînement Auto-supervisé (Mouvement-Vidéo) : Le modèle optimise une fonction de perte ( $L_{self} = L_{mm} + L_{mv}$ ) pour aligner les paires mouvement-mouvement et mouvement-vidéo sans utiliser d'annotations d'action. Cela permet d'apprendre un encodeur de squelette transférable, aligné avec les indices de mouvement visuels.
Alignement Supervisé (Mouvement-Texte) : Une seconde étape aligne les représentations de mouvement avec la sémantique du langage ( $L_{mt}$ ) pour permettre un transfert zero-shot. L'objectif supervisé total est $L_{sup} = L_{mm} + L_{mv} + L_{mt}$ .
Formulation de la Perte : La perte contrastive utilise la similitude cosinus avec une mise à l'échelle par température, encourageant les plongements de mouvement à former des variétés sémantiquement compactes mais discriminantes à travers les modalités.

3. Jeu de Données PoseCap-1M

Pour soutenir un pré-entraînement à grande échelle, les auteurs ont construit PoseCap-1M, un nouveau jeu de données contenant plus d'un million de triplets synchronisés de vidéo, squelette et texte. Ce jeu de données couvre diverses activités humaines et répond au manque de ressources squelettiques multi-modales à grande échelle dans les jeux de données publics existants.

Contributions Clés

Cadre T-MOR : Un cadre novateur qui apprend des représentations de squelette transférables en alignant les plongements de mouvement avec les plongements visuels et linguistiques via un apprentissage contrastif multi-modal guidé par le clustering.
Jeu de Données PoseCap-1M : Un jeu de données d'action à grande échelle fournissant des triplets mouvement-vidéo-texte pour faciliter le pré-entraînement multi-modal des modèles basés sur le squelette.
Performance et Généralisation : Des expériences approfondies démontrant que T-MOR améliore les performances des tâches de classification d'actions et de détection temporelle image par image, tout en soulignant l'importance de la modélisation du mouvement incarné pour une compréhension de l'action transférable.

Résultats Expérimentaux

Les auteurs ont évalué T-MOR sur plusieurs benchmarks, notamment Toyota Smarthome, UAV-Human, Penn Action, TSU et Charades, sous des configurations de sondage linéaire (linear probing) et de fine-tuning.

Classification d'Actions : T-M0R surpasse systématiquement les méthodes précédentes basées sur le squelette (SoTA). Par exemple, sur le jeu de données Penn Action, T-MOR a atteint une précision Top-1 de 97,8 % (fine-tuné avec un pré-entraînement V+M+T), contre 97,3 % pour le précédent SoTA et 29,8 % pour l'architecture UNIK entraînée à partir de zéro.
Détection d'Actions : Sur les jeux de données TSU et Charades, T-MOR montre des gains significatifs. En fine-tuning sur TSU, il a atteint 38,3 % de précision CS, surpassant le précédent SoTA (SD-TCN) qui atteignait 31,2 %.
Transfert Zero-Shot : T-MOR a démontré une forte généralisation dans des contextes zero-shot. Sur le jeu de données Smarthome, il a atteint 21,9 % de précision en utilisant uniquement des entrées de mouvement, surpassant les modèles de squelettes existants entraînés avec des caractéristiques visuelles-textuelles et rivalisant avec les modèles de fondation vidéo-langage.
Transfert 3D : Le cadre a également montré une forte transférabilité à la détection d'actions 3D sur le jeu de données PKU-MMD, atteignant 94,3 % de mAP à un IoU de 0,1.

Signification et Revendications

L'article affirme que T-MOR comble avec succès le fossé entre la supervision sémantique à grande échelle et la modélisation de mouvement physiquement ancrée. En tirant parti des données vidéo et textuelles pendant l'entraînement, mais en ne s'appuyant que sur des entrées de squelettes lors de l'inférence, le cadre offre une solution pratique pour les scénarios réels où les ressources computationnelles sont limitées.

Les auteurs soulignent que les représentations centrées sur le mouvement et incarnées sont cruciales pour une compréhension de l'action transférable. Les résultats suggèrent que les données vidéo à grande échelle peuvent considérablement bénéficier aux tâches descendantes basées sur le squelette, même sans étiquettes d'action explicites pendant le pré-entraînement. De plus, l'approche proposée démontre que la combinaison des caractéristiques de mouvement avec les caractéristiques visuelles-linguistiques (ou l'utilisation du mouvement seul dans des contextes zero-shot) conduit à une plus grande généralisation dans les scénarios de reconnaissance d'actions complexes et de grain fin. Ce travail positionne les représentations de mouvement conscient et incarné comme une direction clé pour la compréhension future de l'action humaine.