Riemannian Motion Generation: A Unified Framework for Human Motion Representation and Generation via Riemannian Flow Matching

Probleemstelling

De huidige generatieve modellen voor menselijke beweging (human motion generation) opereren over het algemeen in Euclidische ruimtes (vrije vectorruimtes). Hoewel dit wiskundig handig is, negeert het de fundamentele geometrische structuur van menselijke beweging.

• Redundantie: Bestaande methoden coderen bewegingen vaak met redundante Euclidische coördinaten (bijv. positie van gewrichten), wat leidt tot een hoge dimensie die veel groter is dan de intrinsieke vrijheidsgraden van het skelet.
• Geometrische inconsistentie: Geldige bewegingen liggen op een laag-dimensionale Riemannse variëteit (manifold), maar modellen worden getraind in een onbeperkte omgevingsruimte. Dit zorgt voor optimalisatieproblemen, instabiele steekproefprocessen (sampling) en fysiek onrealistische bewegingen.
• Afscheiding van representatie en dynamiek: De geometrie van de bewegingsrepresentatie wordt vaak losgekoppeld van het generatieve model, terwijl deze twee aspecten inherent met elkaar verbonden zouden moeten zijn.

Methodologie: Riemannse Bewegingsgeneratie (RMG)

De auteurs stellen RMG voor, een unificerend kader dat beweging modelleert op een productvariëteit en dynamiek leert via Riemannse Flow Matching.

1. Bewegingsrepresentatie op Variëteiten

In plaats van beweging als een reeks Euclidische punten te behandelen, decomposeert RMG een bewegingsframe in factoren, waarbij elke factor op zijn natuurlijke Riemannse variëteit wordt geplaatst:

• Globale Translatie ($T$): Gemodelleerd in de Euclidische ruimte $\mathbb{R}^3$ (bijv. het bekken).
• Rotaties ($R$): Globale oriëntatie en per-gewricht rotaties worden gemodelleerd met eenheidsquaternionen op de hypersfeer $S^3$. Voor een skelet met $J$ gewrichten ligt de rotatiecomponent op de productvariëteit $(S^3)^J$.
• Compacte Representatie: Het paper toont aan dat een combinatie van translatie en rotatie ($T + R$) voldoende is. De auteurs verwerpen de noodzaak van complexe "pre-shape" representaties (Kendall pre-shape space) of temporale differentiaties voor de basisgeneratie, wat leidt tot een compacte representatie:
  $$\mathcal{M}_{RMG} = \mathbb{R}^3 \times (S^3)^J$$
  Dit biedt een schaalvrije representatie met intrinsieke normalisatie, waardoor externe normalisatiestappen overbodig zijn.

2. Riemannse Flow Matching

RMG past Flow Matching toe op deze niet-Euclidische ruimtes:

• Geodesische Interpolatie: In plaats van lineaire interpolatie tussen een bronpunt $x_0$ (prior) en een doelpunt $x_1$ (data), wordt de kortste weg (geodetische) op de variëteit gebruikt.
• Tangentruimte Supervisie: Het model leert een vectorveld $v_\theta$ dat de snelheid langs de geodetische voorspelt. Omdat neurale netwerken Euclidische uitgangen produceren, wordt het output-vectorveld geprojecteerd op de tangentruimte ($T_{x_t}\mathcal{M}$) van het huidige punt op de variëteit.
• Training: De loss functie minimaliseert de fout tussen de target-geodetische snelheid en de geprojecteerde voorspelling.
• Inferentie: Tijdens het genereren wordt een Riemannse ODE geïntegreerd (via een Euler-update op de variëteit) om van de prior naar de data-verdeling te gaan, waarbij de manifold-beperkingen altijd behouden blijven.

Belangrijkste Bijdragen

1. RMG Framework: Het introduceren van een geometrisch paradigma voor bewegingsgeneratie dat beweging modelleert op productvariëteiten en dynamiek leert via Riemannse Flow Matching.
2. Compacte Riemannse Representatie: Het ontwerpen van een efficiënte representatie ($T+R$) die wiskundig consistent is met de fysieke structuur van het menselijk lichaam, zonder redundante coördinaten.
3. Schalbaarheid: Het eerste bewijs dat Riemannse Flow Matching effectief schaalt naar grote datasets (MotionMillion) en moderne, hoog-capaciteit generatieve architecturen (Diffusion Transformers).
4. Theoretische Onderbouwing: Het paper biedt theoretisch bewijs dat het werken op de intrinsieke variëteit leidt tot betere statistische convergentie (minder fouten) dan werken in de omgevingsruimte, vanwege de lagere intrinsieke dimensie.

Resultaten

De methode is geëvalueerd op twee grote datasets: HumanML3D en MotionMillion.

• HumanML3D (Tekst-naar-Beweging):
  • RMG bereikt de State-of-the-Art (SOTA) op de belangrijkste FID-metriek (Fréchet Inception Distance) in het standaard HumanML3D-formaat met een score van 0.043 (ter vergelijking: MoMask 0.045).
  • Het presteert consistent hoog op alle gerapporteerde metrieken in het MotionStreamer-formaat, waarbij het de beste scores behaalt voor kwaliteit, tekst-uitlijning (R@1) en diversiteit.
• MotionMillion (Grootschalige Dataset):
  • RMG overtreft sterke baselines aanzienlijk, met een FID van 5.6 en een R@1 van 0.86.
  • De prestaties tonen aan dat de voordelen van de Riemannse representatie behouden blijven bij schaling naar veel grotere datasets en modellen, wat wijst op superioriteit in generalisatie.
• Ablatie Studies:
  • De studie bevestigt dat de $T+R$ (Translatie + Rotatie) representatie de meest stabiele en effectieve is.
  • Het toevoegen van extra factoren (zoals pre-shapes of temporale differentiaties) verbetert de kwaliteit niet significant en kan zelfs leiden tot instabiliteit bij hoge "guidance scales".

Significantie en Impact

Dit werk markeert een verschuiving in het veld van bewegingsgeneratie:

• Geometrie als Kernprincipe: Het demonstreert dat het respecteren van de onderliggende geometrie van data (in dit geval de variëteit van menselijke beweging) cruciaal is voor het bereiken van hoge kwaliteit en stabiliteit, in plaats van dit als een naderende correctie te behandelen.
• Efficiëntie: Door de representatie te vereenvoudigen tot de intrinsieke dimensie, worden trainingsproblemen vermeden die voortvloeien uit redundante vrijheidsgraden.
• Toekomstperspectief: RMG biedt een schaalbare route voor het genereren van realistische bewegingen voor toepassingen zoals interactieve AI, augmented reality en gaming, en opent de deur voor geometrisch bewust modelleren in andere domeinen buiten beweging.

Kortom, RMG lost het probleem van fysiek onrealistische bewegingen op door de generatieve processen direct te koppelen aan de wiskundige structuur van het menselijk lichaam, wat resulteert in superieure prestaties op zowel kleine als zeer grote datasets.