📊 statistics

Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching

Ce papier présente RMG, un cadre unifié pour la génération de mouvements humains qui modélise les données sur une variété riemannienne via l'appariement de flux riemannien, permettant d'atteindre des performances state-of-the-art en surmontant les limitations des approches euclidiennes.

Auteurs originaux : Fangran Miao, Jian Huang, Ting Li

Publié 2026-03-17

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Fangran Miao, Jian Huang, Ting Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous voulez apprendre à un robot à danser. Jusqu'à présent, la plupart des scientifiques ont enseigné au robot en lui donnant des coordonnées mathématiques très simples, comme si le corps humain était une série de points flottant dans l'espace vide, un peu comme des étoiles sur une carte. C'est ce qu'on appelle l'espace "euclidien".

Le problème ? Le corps humain n'est pas une série de points flottants. Il est articulé, comme une marionnette. Si vous essayez de faire bouger une marionnette en tirant simplement sur des ficelles dans le vide, elle se tord de manière bizarre et peu naturelle.

Voici comment l'équipe de ce papier (RMG) a résolu le problème, en utilisant une idée plus intelligente : la géométrie courbe.

1. Le problème : Essayer de plier un papier plat

Imaginez que vous voulez apprendre à quelqu'un à plier un origami (un avion en papier).

L'ancienne méthode (Euclidienne) : Vous donnez à la personne une feuille de papier carrée et vous lui dites : "Déplacez chaque coin de 2 cm vers la gauche, puis 3 cm vers le haut". C'est compliqué, et souvent, le papier se déchire ou ne forme pas un avion. C'est comme si on essayait de décrire un mouvement de danse en utilisant uniquement des lignes droites sur une grille.
La nouvelle méthode (Riemannienne) : Au lieu de donner des coordonnées, vous donnez à la personne le papier lui-même et vous lui montrez comment le plier le long de ses lignes naturelles. Vous respectez la forme du papier.

Dans ce papier, les auteurs disent : "Le corps humain a sa propre géométrie naturelle (des rotations, des courbes). Au lieu de l'ignorer, utilisons-la !"

2. La solution : Le "Manifold" (La surface courbe)

Les auteurs ont créé un cadre appelé RMG (Riemannian Motion Generation). Voici l'analogie pour comprendre :

L'ancien monde (Les coordonnées) : Imaginez que vous décrivez le mouvement d'un bras en donnant les coordonnées X, Y, Z de chaque os. C'est redondant et lourd. C'est comme décrire un tour de piste en disant "avance de 1 mètre, tourne de 1 degré, avance de 1 mètre..." des milliers de fois.
Le monde RMG (Les rotations pures) : Ils disent : "Oublions les coordonnées inutiles. Concentrons-nous uniquement sur ce qui compte : où est le corps dans l'espace (translation) et comment les articulations tournent (rotation)."

Ils utilisent des mathématiques spéciales (les "quaternions" sur une sphère) pour représenter les rotations.

Analogie : Imaginez que vous êtes sur une balle de tennis (la sphère). Pour aller d'un point à un autre, vous ne pouvez pas traverser le centre de la balle (ce qui serait une ligne droite "fausse"). Vous devez suivre la courbe de la surface. C'est exactement ce que fait le corps humain : ses articulations tournent sur des courbes, pas en ligne droite.

3. Comment ça marche ? (Le Flow Matching)

Pour apprendre au modèle à générer ces mouvements, ils utilisent une technique appelée "Flow Matching".

L'analogie du fleuve : Imaginez que vous voulez transformer une goutte d'eau pure (le mouvement de repos, comme un T-pose) en une vague complexe (une danse).
- Les anciennes méthodes essaient de tracer une ligne droite entre la goutte et la vague, ce qui crée des mouvements bizarres au milieu.
- La méthode RMG trace le chemin le plus naturel, comme un fleuve qui suit le relief de la terre. Elle apprend au modèle à suivre les "courbes" naturelles du mouvement humain.

4. Les résultats : Pourquoi c'est génial ?

Grâce à cette approche, le modèle produit des mouvements beaucoup plus réalistes et fluides.

Moins d'erreurs : Le robot ne se tord pas de manière impossible.
Plus de diversité : Il peut inventer des danses variées qui respectent toujours la physique du corps.
Échelle : Cela fonctionne aussi bien sur de petits ensembles de données que sur des bases de données géantes (comme "MotionMillion", qui contient un million de clips).

En résumé

Ce papier dit essentiellement : "Arrêtez de traiter le corps humain comme un tas de points dans le vide. Traitez-le comme une marionnette articulée qui tourne sur des courbes naturelles."

En respectant la géométrie naturelle du corps (comme on respecte la forme d'un papier pour faire de l'origami), ils ont créé un système capable de générer des mouvements humains d'une qualité incroyable, bien supérieure aux méthodes précédentes. C'est comme passer d'un dessin animé rigide à une animation 3D fluide et vivante.

1. Problématique

La génération de mouvements humains conditionnelle (par exemple, à partir de texte) est un défi majeur en modélisation générative. Bien que les méthodes récentes aient progressé grâce à des architectures avancées (comme les modèles de diffusion ou les transformers), la représentation géométrique des mouvements reste souvent sous-optimisée.

Espace Euclidien vs Géométrie Intrinsèque : La plupart des pipelines existants encodent les mouvements dans des coordonnées euclidiennes redondantes (positions des articulations, vitesses, etc.). Cependant, un mouvement humain valide physiquement réside sur une variété (manifold) de dimension inférieure et possède une structure géométrique non-euclidienne stricte (ex: les rotations sont des quaternions unitaires sur une sphère, pas des vecteurs libres dans $\mathbb{R}^3$ ).
Conséquences : L'entraînement dans un espace ambiant de haute dimension ( $\mathbb{R}^D$ ) alors que les données sont sur une variété de dimension $d$ ( $d \ll D$ ) introduit des directions "plates" dans le paysage de perte, rendant l'optimisation difficile, le sampling instable et la plausibilité physique moins garantie. Les méthodes actuelles tentent souvent de corriger ces invalidités par des contraintes post-traitement, ce qui est inefficace.

2. Méthodologie : RMG (Riemannian Motion Generation)

Les auteurs proposent RMG, un cadre unifié qui modélise le mouvement directement sur une variété produit et apprend la dynamique via le Flow Matching Riemannien.

A. Représentation Géométrique Compacte

Au lieu d'utiliser des coordonnées redondantes, RMG décompose le mouvement en facteurs naturels, chacun représenté sur sa variété riemannienne intrinsèque :

Translation Globale ( $T$ ) : Représentée dans l'espace euclidien $\mathbb{R}^3$ .
Orientations et Rotations ( $R$ ) :
- L'orientation globale et les rotations des articulations sont modélisées par des quaternions unitaires ( $q \in S^3$ ).
- Pour un squelette de $J$ articulations, la partie rotationnelle réside sur la variété produit $(S^3)^J$ .
- Cela évite les ambiguïtés (comme le gimbal lock) et assure une interpolation géodésique lisse.
Posture Locale (Optionnelle) : Les configurations relatives peuvent être modélisées dans l'espace de pré-forme de Kendall ( $S^J_3$ ), bien que l'étude montre que $T+R$ suffit souvent.

La représentation finale adoptée est donc :
$\mathcal{M}_{RMG} = \mathbb{R}^3 \times (S^3)^J$
Cette approche fournit une représentation sans échelle (scale-free) avec une normalisation intrinsèque, éliminant le besoin de normalisation statistique externe (moyenne/écart-type).

B. Flow Matching Riemannien

Le modèle apprend un champ de vecteurs dépendant du temps pour transporter une distribution prior vers la distribution de données réelles.

Interpolation Géodésique : Contrairement à l'interpolation linéaire euclidienne, RMG utilise des géodésiques sur la variété pour interpoler entre un échantillon prior $x_0$ et un échantillon réel $x_1$ .
Vecteur Cible : La vitesse cible $v_t(x_t | x_1)$ est définie dans l'espace tangent $T_{x_t}\mathcal{M}$ comme le vecteur tangent à la géodésique reliant $x_t$ à $x_1$ .
Projection : Le réseau de neurones $v_\theta$ produit une sortie dans l'espace ambiant, qui est ensuite projetée sur l'espace tangent via un opérateur de projection $\Pi_{T_{x_t}\mathcal{M}}$ pour garantir que la dynamique reste sur la variété.
Intégration : L'inférence utilise une intégration d'ODE préservant la variété (mise à jour d'Euler Riemannien : $x_{t+h} = \text{Exp}_{x_t}(h \cdot \Pi v_\theta)$ ).

3. Contributions Clés

Paradigme Géométrique Unifié : Proposition de RMG, le premier cadre à modéliser la génération de mouvement sur des variétés produits via le Flow Matching Riemannien, intégrant la géométrie directement dans la représentation et la dynamique.
Représentation Compacte et Efficace : Démonstration qu'une combinaison de translation ( $\mathbb{R}^3$ ) et de rotations ( $S^3$ ) est suffisante et plus robuste que les représentations complexes incluant des coordonnées de postures ou des différences temporelles.
Évolutivité à Grande Échelle : Première démonstration que le Flow Matching Riemannien peut être mis à l'échelle sur de grands ensembles de données (MotionMillion, 1M d'échantillons) et des architectures modernes (Transformers de diffusion).
Analyse Théorique et Empirique : Preuve théorique que le Flow Matching sur une variété de dimension $d$ offre des bornes d'erreur asymptotiques strictement meilleures que dans l'espace ambiant de dimension $D$ ( $d < D$ ), réduisant la complexité statistique du problème.

4. Résultats Expérimentaux

Les expériences ont été menées sur HumanML3D et MotionMillion.

Sur HumanML3D :
- RMG atteint un FID (Fréchet Inception Distance) de 0.043, surpassant l'état de l'art (MoMask à 0.045).
- Il obtient le meilleur score global sur le format MotionStreamer (FID 5.835, R@1 0.710), surpassant tous les modèles de base rapportés.
- Le modèle offre un équilibre optimal entre qualité de mouvement, alignement texte-mouvement et diversité.
Sur MotionMillion (Données massives) :
- RMG dépasse les modèles de base (ScaMo, MotionMillion-7B) avec un FID de 5.6 (contre 10.3 pour le meilleur concurrent).
- L'alignement texte-mouvement (R@1) atteint 0.86.
- Ces résultats prouvent que les gains ne proviennent pas seulement de la mise à l'échelle du modèle, mais de l'efficacité de la représentation riemannienne.
Études d'Ablation :
- La représentation $T + R$ (Translation + Rotations) s'avère être la plus stable et performante.
- L'ajout de différences temporelles ($dT, dR$) ou de coordonnées de posture ( $P$ ) dégrade la stabilité, en particulier sous des guidages forts, car cela introduit du bruit et affaiblit la modélisation structurelle à long terme.

5. Signification et Impact

Ce travail marque un tournant dans la génération de mouvement humain en démontrant que la géométrie de la représentation est aussi critique que l'architecture du modèle.

Efficacité : En respectant la structure intrinsèque des données (rotations sur sphère, translation en espace plat), le modèle évite les artefacts physiques et les instabilités d'entraînement.
Généralisation : La méthode s'adapte bien aux petits et grands ensembles de données, suggérant qu'elle est une voie évolutive pour les futurs systèmes d'IA générative.
Fondement Théorique : L'article fournit une justification mathématique solide (via le Flow Matching sur variétés) pour privilégier les espaces de faible dimension intrinsèque, offrant une nouvelle direction pour la modélisation générative au-delà du mouvement humain (ex: physique, robotique).

En résumé, RMG remplace l'approche "brute force" des coordonnées euclidiennes par une approche géométriquement consciente, permettant une génération de mouvements plus réaliste, stable et diversifiée.