Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

Technische Samenvatting: Voorbij MoCap: Het schalen van bewegingstokenizers met synthetische menselijke beweging voor generatieve modellering

Probleemstelling
Huidige modellen voor het genereren van menselijke beweging, met name diegene die vertrouwen op discrete latente representaties (bijv. VQ-VAE-tokenizers gekoppeld aan autoregressieve transformatormodellen zoals MotionGPT), worden fundamenteel beperkt door de beperkte diversiteit van bestaande motion capture (MoCap) datasets. Datasets zoals Human3.6M en AMASS worden gedomineerd door veelvoorkomende, repetitieve acties (bijv. lopen, zitten), wat resulteert in een "beperkt bewegingsvocabulaire" binnen de geleerde latente ruimte. Bijgevolg slagen deze modellen er niet in om zeldzame, complexe of zeer dynamische bewegingen (de "long tail" van beweging) te generaliseren, zoals acrobatiek of gestileerde optredens. De auteurs stellen dat het simpelweg schalen van de modelarchitectuur of de trainingstijd deze bottleneck niet kan overwinnen; de primaire beperking ligt in de ondersteuning (support) van de geleerde bewegingsrepresentatie zelf.

Methodologie
Het artikel stelt een framework voor dat zowel de distributie van de bewegingsdata als de capaciteit van de bewegingstokenizer gezamenlijk schaalt. De aanpak bestaat uit twee primaire componenten:

1. Schaalbare pipeline voor synthetische bewegingsgeneratie:

   • Pose Synthese: Geïnspireerd door genetische algoritmen, voert de pipeline een gestructureerde stochastische exploratie van de pose-ruimte uit. Het representeert poses als kinematische bomen geworteld in het bekken, waarbij bolcoördinaten worden gebruikt voor de oriëntatie van botten. Via crossover (het uitwisselen van subbomen van ledematroots tussen ouder-poses) en mutatie (het verstoren van botoriëntaties met Gaussische ruis), genereert het systeem diverse poses.
   • Fysieke Filtering: Om anatomische validiteit te garanderen, worden gegenereerde poses gefilterd met behulp van een dynamische pose-prior (Akhter en Black [2015]), die gewrichtshoeken beperkt tot haalbare bereiken. Alleen poses met een validatiescore die gelijk aan of hoger dan die van hun ouders is, worden behouden.
   • Pose-naar-Beweging Conversie: Valide poses worden via sferische interpolatie omgezet in bewegingssequenties. Een lichtgewicht Transformer-gebaseerd herstelmodel wordt vervolgens gebruikt om globale worteltrajecten (oriëntatie en translatie) te voorspellen en te herstellen vanuit de lichaamskenmerken, zodat de bewegingssequenties fysiek plausibel en temporeel coherent zijn.
   • Datagrootte: De pipeline genereert ongeveer 64× aanvullende synthetische bewegingen op basis van de HumanML3D-dataset, waardoor de dekking van de bewegingsruimte aanzienlijk wordt uitgebreid, met name in ondervertegenwoordigde regio's.

2. Augmented VQ-VAE Tokenizer:

   • Codeboek Schaling: In het besef dat een vaste codeboekgrootte (bijv. ~512 vermeldingen) onvoldoende is voor de uitgebreide distributie, verhogen de auteurs de codeboekgrootte ($K$) naar 2048.
   • Gezamenlijke Training: De tokenizer wordt getraind op een mix van echte en synthetische data ($D = (1-\lambda)D_{real} + \lambda D_{syn}$). De auteurs hanteren een mengverhouding (specifiek 1:2 echt-tot-synthetisch) om een balans te vinden tussen in-distributie getrouwheid en out-of-distribution generalisatie.
   • Stabiliteitsstrategieën: Om codeboek-instorting (codebook collapse) met de grotere vocabulaire te voorkomen, maakt de training gebruik van exponential moving average (EMA) updates en periodieke codeboek-resets.

3. Adaptatie aan Downstream Modellen:

   • De verbeterde tokenizer wordt geïntegreerd in bestaande autoregressieve bewegingsgeneratiemodellen (bijv. T2M-GPT, MotionGPT, MotionAgent) zonder hun architecturen te wijzigen. De modellen worden gefinetuned door de trainingsdata opnieuw te tokenizen met de nieuwe augmented tokenizer, terwijl de oorspronkelijke tekst-bewegingsparen ongewijzigd blijven.

Belangrijkste Bijdragen

• Identificatie van de Bottleneck: Dit werk identificeert de beperkte support van bewegingstokenizers, veroorzaakt door smalle MoCap-data, als een kritieke bottleneck in moderne bewegingsgeneratie, in plaats van enkel een modelarchitectuurprobleem.
• Gezamenlijke Schaling: Het demonstreert dat het verbeteren van generatie vereist dat men zowel de trainingsdatadistributie als de tokencapaciteit gezamenlijk opschaalt, in plaats van enkel de modelgrootte te vergroten.
• Synthetische Pipeline: De introductie van een schaalbare pipeline die diverse, fysiek plausibele bewegingen genereert die de "long tail" van de bewegingsruimte dekken.
• Augmented Tokenizer: De ontwikkeling van een VQ-VAE tokenizer met een uitgebreid codeboek dat zich aanpast aan de synthetische distributie, wat leidt tot een hogere codeboekbenutting en een rijker bewegingsvocabulaire.
• Architectuur-Agnostische Verbetering: De methode biedt een praktisch recept voor het upgraden van bestaande discrete-token modellen, wat consistente verbeteringen oplevert over verschillende backbones zonder architecturale wijzigingen.

Resultaten
Uitgebreide experimenten op HumanML3D (in-distributie) en Motion-X++ (out-of-distribution) demonstreren de effectiviteit van de aanpak:

• Tokenizer Prestaties: Op HumanML3D verbeterde de reconstructie FID met 42,4% (een daling van 0,132 naar 0,076). Op de onbekende Motion-X++ dataset vertoonde de tokenizer significante winst in generalisatie, met reducties in MPJPE over diverse subsets (bijv. een reductie van 12,4% in de "Sports" subset).
• Generatieve Prestaties: Wanneer toegepast op downstream modellen, verbeterde de augmented tokenizer consequent de bewegingsgetrouwheid (FID). Zo verbeterde de FID van T2M-GPT met 16,4%, MotionGPT met 24,1% en MotionAgent met 20,0%.
• Kwalitatieve Verbeteringen: De modellen toonden een verbeterd vermogen om complexe, zeldzame bewegingen te synthetiseren (bijv. breakdance flares, yoga-poses, kung fu) die voorheen slecht gerepresenteerd of onmogelijk te genereren waren met standaard tokenizers.
• Ablatie-studies: Experimenten bevestigden dat een codeboekgrootte van 2048 een optimaal evenwicht biedt tussen reconstructiekwaliteit en codeboekbenutting. Bovendien werd een mengverhouding van 1:2 (echt:synthetisch) gevonden als de beste afweging tussen in-distributie getrouwheid en out-of-distribution generalisatie.

Betekenis en Claims
Het artikel claimt dat de primaire bottleneck in menselijke bewegingssynthese niet de generatieve modelarchitectuur is, maar de beperkte tokenruimte voortvloeiend uit beperkte data. Door synthetische beweging te schalen in tandem met representatieleer, bieden de auteurs een "geprincieerd pad" naar meer expressieve, controleerbare en generaliseerbare bewegingssynthese. Het werk suggereert dat het vakgebied verder moet kijken dan enkel gecureerde MoCap-datasets en synthetische data-expansie moet omarmen om het volledige potentieel van generatieve bewegingsmodellen te ontsluiten. De auteurs merken beperkingen op, specifelijk dat de huidige pipeline zich richt op lichaamsbeweging (exclusief fijnmazige hand-/gezichtsdynamiek) en nog geen synthetische bewegingen koppelt aan tekstannotaties, maar zij stellen dat het toevoegen van tekstlabels in de toekomst de semantische afstemming verder kan verbeteren.