ActionPlan: Future-Aware Streaming Motion Synthesis via Frame-Level Action Planning

Probleemstelling

Bestaande methoden voor tekst-gedreven menselijke bewegingsgeneratie (Text-to-Motion) vallen doorgaans in twee gescheiden categorieën, die elkaars sterke punten missen:

1. Offline-modellen: Deze gebruiken bidirectionele aandacht (kijken naar het volledige toekomstige verloop) en genereren zeer hoge kwaliteit bewegingen. Ze zijn echter niet geschikt voor real-time streaming omdat ze de volledige sequentie nodig hebben voordat ze kunnen beginnen met genereren (niet-causaal).
2. Streaming-modellen: Deze genereren bewegingen stap voor stap (causaal) voor lage latentie, maar missen context over de toekomst. Dit leidt vaak tot "temporale myopie": het model reageert alleen op het verleden en mist de semantische consistentie van complexe prompts (bijv. "loop vooruit, draai om, ga zitten"), wat resulteert in onnauwkeurige of incompleet bewegingen.

Het doel is een uniek model te creëren dat zowel real-time streaming (lage latentie) mogelijk maakt als hoge kwaliteit behoudt door bewust te zijn van toekomstige acties, zonder de flexibiliteit te verliezen voor taken zoals bewerken of in-betweening.

Methodologie: ActionPlan

ActionPlan introduceert een hiërarchisch diffusion-framework dat bewegingsgeneratie ontkoppelt in twee lagen: hoog-niveau actieplanning en laag-niveau kinematische synthese.

1. Frame-Level Actieplanning (Action Plans)
In plaats van alleen te vertrouwen op één tekst-prompt voor de hele sequentie, voorspelt het model per frame een fijnkorrelige tekstuele actie-latent (bijv. "loop", "draai", "ga zitten").

• Deze actieplannen fungeren als dichte semantische ankers tijdens het denoising-proces.
• Ze worden gegenereerd uit de sequentie-tekst en zijn temporair uitgelijnd met elke bewegingsframe.

2. Latent-Specifieke Diffusie en Ruisbeheer
Het model gebruikt een unieke aanpak voor ruisniveaus (noise levels) tijdens training en inferentie:

• Heterogene ruis: Elke bewegingslatent krijgt een onafhankelijke tijdstap ($t^x_i$), terwijl de actieplannen een globale tijdstap ($t^y$) delen.
• Training: Het model wordt getraind op een gemengde dataset (HumanML3D en BABEL) waarbij een mask-loss wordt gebruikt om te leren van zowel sequentie-tekst als frame-level annotaties.
• Architectuur: Een Transformer-denoiser die zowel de bewegingslatents als de tekst-actielatents (gecodeerd via CLIP en een MLP-autoencoder) gezamenlijk reconstrueert.

3. Flexibele Sampling Strategieën
De onafhankelijke tijdstappen maken verschillende inferentiemodi mogelijk binnen één enkel model:

• Offline Modus: Actieplannen worden eerst volledig gegenereerd. Vervolgens worden de bewegingslatents in een willekeurige volgorde (random order) gedenoised voor maximale kwaliteit.
• Streaming Modus (Online): Actieplannen worden gegenereerd terwijl de eerste bewegingslatent wordt gedenoised. De resterende latents worden sequentieel (raster-order) gedenoised. Omdat het model de toekomstige actieplannen al kent, blijft de semantische consistentie behouden, zelfs zonder toegang tot de volledige toekomstige beweging.
• Andere Taken: Dezelfde mechanismen ondersteunen zero-shot beweging-bewerking (editing) en in-betweening (het invullen van beweging tussen twee vaste poses) zonder extra fine-tuning.

Belangrijkste Bijdragen

1. Unificatie van Streaming en Offline: Een enkel model dat zowel real-time streaming als hoogwaardige offline generatie ondersteunt, wat eerder als onverenigbaar werd beschouwd.
2. Frame-Level Actieplanning: De introductie van een tussenlaag van tekstuele actieplannen die als semantische gids dienen, wat de nauwkeurigheid van complexe, meervoudige acties drastisch verbetert.
3. Latent-Specifieke Noise Scheduling: Een trainingstechniek met onafhankelijke ruisniveaus voor tekst en beweging, wat flexibele sampling-strategieën mogelijk maakt.
4. Zero-Shot Flexibiliteit: Het model ondersteunt bewerking, in-betweening en lange sequentie-generatie zonder extra training.

Resultaten

De methode is geëvalueerd op de HumanML3D-272 dataset en vergeleken met state-of-the-art methoden zoals MARDM en MotionStreamer.

• Kwaliteit (FID):
  • In offline modus verbetert ActionPlan de beste concurrentie met 22% in FID.
  • In streaming modus overtreft het de beste bestaande streaming-methode (MotionStreamer) met 51% in FID en zelfs de beste offline methode met 18%.
• Snelheid (Latentie):
  • ActionPlan is 5.25x sneller in token-generatie dan de beste bestaande methoden.
  • Het bereikt een latentie van slechts 40ms voor vervolg-tokens in streaming modus.
• Semantische Nauwkeurigheid:
  • User studies tonen aan dat ActionPlan door 67,5% van de deelnemers wordt verkozen boven bestaande methoden, voornamelijk vanwege betere semantische consistentie en realisme.
  • Kwalitatieve tests tonen aan dat het model complexe prompts (bijv. "loop vooruit, pak iets op, loop terug") correct uitvoert, terwijl baselines vaak acties missen of verkeerd ordenen.

Betekenis en Impact

ActionPlan doorbreekt de traditionele trade-off tussen snelheid en kwaliteit in bewegingsgeneratie. Door de toekomstige actieplannen expliciet te modelleren, lost het het probleem van "temporale myopie" in streaming systemen op. Dit maakt het mogelijk om realistische, interactieve digitale mensen te creëren die direct reageren op tekstuele instructies zonder in te leveren op de complexiteit of nauwkeurigheid van de beweging. De mogelijkheid om bewerkingen en in-betweening zero-shot uit te voeren, opent nieuwe deuren voor interactieve toepassingen in virtual reality, gaming en robotica.