MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery

Technische Samenvatting van MOTIONGRPO

Probleemstelling
Het herstellen van volledige 3D-beweging van het menselijk lichaam vanuit signalen van een Head-Mounted Device (HMD), zoals die van Project Aria, blijft een kritieke uitdaging voor VR/AR-toepassingen. In tegenstelling tot opnames vanuit het derde perspectief, lijden egocentrische settings onder ernstige occlusie waarbij het lichaam van de gebruiker grotendeels niet wordt waargenomen. Bestaande op diffusie gebaseerde methoden lossen dit op door bewegingspriors te leren die zijn geconditioneerd op hoofdtrajecten. Deze methoden vertrouwen echter vaak op globale distributiematching, wat leidt tot lokale fouten in de reconstructie van gewrichten, ruimtelijke misalignement en visuele artefacten zoals voetglijden, bewegingsjitter en doordringen van de grond. Bovendien staat het toepassen van Versterkingslering (RL) direct op diffusie-gebaseerde bewegingsherstel voor een specifieke bottleneck: het probleem van "lage diversiteit binnen de groep". Omdat bewegingsherstel zwaar wordt beperkt door deterministische hoofdsignalen, vertonen de geproduceerde outputs binnen een groep minimale variantie. Dit gebrek aan diversiteit zorgt ervoor dat de standaardafwijking in de GRPO-voordeelberekeningen (Group Relative Policy Optimization) naar nul nadert, wat resulteert in verdwijnende gradiënten en onstabiele training.

Methodologie
De auteurs stellen MOTIONGRPO voor, een framework dat RL-post-training benut om fijnmazige begeleiding in te brengen in het diffusie-samplingproces. De methodologie is gestructureerd rond drie kerncomponenten:

1. MDP-formulering en GRPO: Het diffusie-samplingproces wordt gemodelleerd als een Markov Decision Process (MDP). Het beleid wordt geoptimaliseerd met Group Relative Policy Optimization (GRPO), wat waardenbaselines direct schat uit scores per groep zonder een apart waardenetwerk te vereisen. Het beleid $\pi_\theta$ komt overeen met de reverse overgangsdistributie van het diffusiemodel.
2. Hybride Beloningmechanisme: Om de optimalisatie te sturen, is een hybride beloningssysteem ontworpen:
   • Globale Visuele Beloning: Een traject-geconditioneerd perceptueel model evalueert visuele plausibiliteit. Dit model wordt getraind via online contrastief leren, waarbij actief harde negatieve voorbeelden worden gegenereerd (gegenereerde bewegingen gekoppeld aan hoofdtrajecten) om natuurlijke bewegingen te onderscheiden van artefacten zoals voetglijden en jitter.
   • Lokale Gewrichtsbeloning: Expliciete sub-beloningen dwingen precisie af op gewrichtsposities, rotaties en snelheden. Deze omvatten pose-beloningen die worden berekend met en zonder per-frame similariteitstransformatie-uitlijning, lokale rotatieverschillen en snelheidsverschillen.
3. Strategie voor Ruisinjectie: Om de bottleneck van lage diversiteit binnen de groep aan te pakken, introduceren de auteurs een strategie voor ruisinjectie. Temporaal gesmoothde Perlin-ruis wordt toegevoegd aan het translatiecomponent van de invoer hoofdtrajectcondities. Dit simuleert pseudo-uit-distributie-invoer, waardoor het diffusiebeleid wordt gedwongen om met licht verschoven staten om te gaan. Dit verhoogt de modelonzekerheid en de outputdiversiteit binnen de geprobeerde groep, wat zorgt voor een niet-triviale standaardafwijking voor de GRPO-voordeelberekening en het leerproces stabiliseert.

Belangrijkste Bijdragen

• MOTIONGRPO Framework: De introductie van een op RL gebaseerd post-training framework voor egocentrisch bewegingsherstel dat een hybride beloning optimaliseert die een geleerd perceptueel model voor globale plausibiliteit combineert met expliciete doelstellingen voor precieze gewrichtsuitlijning.
• Identificatie en Mitigatie van Lage Diversiteit: De identificatie van "lage diversiteit binnen de groep" als een fundamentele bottleneck voor het toepassen van GRPO op deterministische bewegingshersteltaken. De auteurs stellen een strategie voor tijdelijk gesmoothde ruisinjectie voor om outputdiversiteit te vergroten en verdwijnende gradiënten te voorkomen.
• State-of-the-Art Prestaties: Uitgebreide experimenten die aantonen dat het framework superieure prestaties behaalt in zowel gewrichtsnauwkeurigheid als visuele fideliteit in vergelijking met bestaande baselines.

Experimentele Resultaten
De methode werd geëvalueerd op de AMASS- en RICH-benchmarks, met aanvullende kwalitatieve validatie op het Aria Digital Twins (ADT)-dataset.

• Kwantitatieve Prestaties: MOTIONGRPO behaalde state-of-the-art resultaten en presteerde significant beter dan concurrerende baselines zoals EgoAllo. Op het AMASS-dataset reduceerde het de Mean Per-Joint Position Error (MPJPE) van 124,985 mm naar 114,207 mm en de Procrustes-gealigneerde MPJPE (PA-MPJPE) van 103,958 mm naar 95,512 mm. Vergelijkbare verbeteringen werden waargenomen op het RICH-dataset.
• Visuele Kwaliteit: Het framework mitigeerde effectief hoogfrequente artefacten. Metrieken voor Jitter, Foot Skating en Ground Penetration lieten consistente verbeteringen zien ten opzichte van baselines, wat de effectiviteit bevestigt van het hybride beloningmechanisme.
• Ablatiestudies:
  • Vanilla GRPO met gewrichtsbeloningen verbeterde de lokale precisie, maar vereiste de visuele beloning om globale fysieke plausibiliteit aan te pakken.
  • De strategie voor Perlin-ruisinjectie was cruciaal; zonder deze stortte de groepsdiversiteit in en waren de prestatiewinsten beperkt.
  • Het gebruik van gegenereerde harde negatieve voorbeelden verbeterde significant het vermogen van het perceptuele model om te onderscheiden tussen natuurlijke en gebrekkige bewegingen in vergelijking met eenvoudige ruisinjectie op ground truth.
• Efficiëntie: Als post-training strategie legt MOTIONGRPO verwaarloosbare rekenkundige overhead op tijdens inferentie, waarbij inferentiesnelheden en VRAM-gebruik vergelijkbaar blijven met de basisdiffusiemodellen.

Betekenis
Het artikel stelt dat MOTIONGRPO een aanzienlijke vooruitgang vertegenwoordigt door de kloof te overbruggen tussen generatieve diffusiemodellen en de precieze geometrische beperkingen die vereist zijn voor bewegingsherstel. Door GRPO aan te passen met een nieuwe strategie voor ruisinjectie, overwint het framework de beperkingen van standaard distributiematching en het probleem van verdwijnende gradiënten dat inherent is aan deterministische hersteltaken. Het resultaat is een systeem dat hoogwaardige volledige lichaamsbeweging kan herstellen met superieure visuele plausibiliteit en gewrichtsnauwkeurigheid, en een robuuste oplossing biedt voor egocentrisch bewegingsherstel in VR/AR-toepassingen.