SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens

SceMoS is een nieuw raamwerk voor het genereren van realistische 3D-menselijke bewegingen in scènes dat de globale planning en lokale uitvoering ontkoppelt door gebruik te maken van efficiënte 2D-scènevoorstellingen in plaats van zware 3D-data, waardoor het state-of-the-art resultaten bereikt met minder dan de helft van de trainingsparameters.

De kern

Stel je voor dat je een regisseur bent voor een film, maar in plaats van acteurs, werk je met digitale poppen. Je wilt dat deze poppen een opdracht uitvoeren, zoals "loop naar de bank en ga zitten". Het probleem is dat de poppen vaak dwars door meubels lopen, in de vloer zakken of op een onnatuurlijke manier bewegen, alsof ze in een droom zonder zwaartekracht lopen.

Het nieuwe onderzoek SceMoS (Scene-Aware Motion Synthesis) lost dit probleem op. Het is een slimme manier om te zorgen dat digitale mensen niet alleen weten wat ze moeten doen, maar ook waar ze zich bevinden, zonder dat de computer er uren over doet om te rekenen.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het oude probleem: De zware last

Vroeger probeerden computers om een volledige 3D-wereld (met elke steen, elk meubel en elke hoek) in hun hoofd te houden om te beslissen hoe iemand moet bewegen.

• De analogie: Stel je voor dat je een routeplanner maakt voor een fietsfiets, maar je moet eerst elke steen op de weg, elke boom en elke wolk in de lucht in 3D scannen en in je hoofd bewaren voordat je kunt zeggen "ga linksaf". Dat is enorm zwaar, traag en onnodig gedoe. De computer verliest zich in de details en vergeet soms dat hij gewoon moet fietsen.

2. De SceMoS-oplossing: Twee slimme helpers

SceMoS splitst de taak op in twee eenvoudige stappen, net als een team van twee mensen die samenwerken: een Strateeg en een Uitvoerder.

De Strateeg (De Plannende Hoofd)

Deze helper kijkt niet naar elke steen, maar naar een vogelvluchtfoto (een plattegrond van bovenaf) van de kamer.

• Hoe het werkt: De computer neemt een foto van de kamer van bovenaf (een 'Bird's Eye View'). Hij gebruikt een slimme bril (een AI-model genaamd DINOv2) om te begrijpen: "Ah, daar is een bank, daar is een deur, en daar is een open ruimte."
• De taak: Hij denkt na over het grote plaatje: "Oké, de opdracht is 'ga naar de bank'. De route is vrij. Ik plan de route." Hij maakt geen gedetailleerde bewegingen, maar alleen een ruw plan: "Loop daarheen, draai dan links."
• Waarom dit slim is: Het is alsof je een plattegrond van een stad gebruikt om een route te plannen. Je hoeft niet te weten hoe de tegels eruitzien om te weten welke straat je moet nemen.

De Uitvoerder (De Fysieke Voet)

Zodra de Strateeg een stap heeft gepland, komt de Uitvoerder in actie. Deze kijkt alleen naar de grond direct onder de voeten van de pop.

• Hoe het werkt: In plaats van de hele kamer te scannen, maakt de computer een klein, 2D-kaartje van de hoogte van de grond rondom de voeten (een 'hoogtekaart'). Is het vlak? Is er een drempel? Zit er een kussen op de grond?
• De taak: Hij zorgt dat de pop niet door de vloer zakt. Hij past de beweging aan: "Ah, ik moet mijn knieën buigen om op die bank te zitten," of "Ik moet mijn voet optillen omdat er een drempel is."
• De analogie: Stel je voor dat je dansstappen leert. De Strateeg zegt: "Dans naar de muur." De Uitvoerder is je eigen lichaam dat voelt: "Oh, er ligt een tapijt, ik moet mijn voet iets hoger tillen om niet te struikelen."

3. De Magie: Woorden in Beweging

Het meest interessante aan SceMoS is dat het bewegingen niet als oneindige lijnen bouwt, maar als blokken (zoals Lego-stenen).

• De computer leert een woordenboek van bewegingen. In plaats van "buig je knie 15 graden", leert het: "Blok A: Zitten op een stoel" of "Blok B: Over een drempel stappen".
• Omdat deze blokken zijn getraind met de hoogtekaart van de grond, weten ze van nature hoe ze zich moeten gedragen op een vloer of op een bank. Ze bevatten de fysica al in zich.

Waarom is dit een doorbraak?

1. Snelheid en Efficiëntie: Omdat ze geen zware 3D-modellen hoeven te scannen, maar alleen een platte foto en een klein kaartje, is het 50% sneller en lichter dan eerdere methoden. Het is alsof je van een zware vrachtwagen overstapt op een snelle scooter.
2. Realisme: De poppen lopen niet meer dwars door meubels. Ze raken de grond correct aan. Het voelt echt.
3. Slimme Samenwerking: Door het plannen (Strateeg) en het uitvoeren (Uitvoerder) te scheiden, kan de computer zich focussen op wat belangrijk is: de route en de fysica, zonder in de details te verdrinken.

Samenvatting in één zin

SceMoS is als een slimme regisseur die eerst een plattegrond bekijkt om de route te plannen, en dan een slimme danser die alleen naar de grond onder zijn voeten kijkt om te zorgen dat hij niet struikelt, waardoor de hele show veel sneller en realistischer verloopt dan wanneer je alles in één keer zou proberen te berekenen.

Technische samenvatting

Probleemstelling

Het genereren van tekstgestuurde 3D menselijke bewegingen binnen realistische omgevingen (Human-Scene Interaction of HSI) vereist twee cruciale vaardigheden: het begrijpen van semantische intentie (bijv. "loop naar de bank") en het waarborgen van fysieke haalbaarheid (bijv. het vermijden van botsingen met meubels).

Bestaande methoden kampen met een fundamenteel compromis:

1. Efficiëntie vs. Detail: Methodes die gebruikmaken van volledige 3D-scenedata (zoals point clouds, voxelroosters of signed distance fields) zijn computatief zwaar en vereisen complexe 3D-backbones. Ze zijn vaak te traag en moeilijk te schalen.
2. Ontkoppeling: Anderzijds missen lichtere methodes vaak de nodige details voor fijnmazige contactredenering (bijv. precies waar de voeten de grond raken), wat leidt tot onrealistische bewegingen die door objecten heen lopen of fysiek onmogelijk zijn.
3. Gekoppelde leerprocessen: Huidige state-of-the-art modellen proberen vaak planning (globale route) en uitvoering (lokaal contact) tegelijkertijd te leren in één verstrengeld proces, wat de training instabiel maakt en de generalisatie beperkt.

De kernvraag is: Hoe kan een 3D-scene worden gerepresenteerd om zowel semantische planning als fysieke haalbaarheid te ondersteunen, zonder de kosten van volledige 3D-volumetrische verwerking?

Methodologie: SceMoS

SceMoS (Scene-aware Motion Synthesis) lost dit op door een tweestapsframework te introduceren dat globale planning loskoppelt van lokale uitvoering, gebruikmakend van gestructureerde 2D-scene-representaties in plaats van zware 3D-data.

1. Twee-staps Architectuur

Het framework bestaat uit twee hoofdcomponenten die samenwerken:

• Fase A: Globale Motion Planner (Semantische Planning)

  • Input: Een tekstprompt (bijv. "ga zitten") en een Bird's-Eye-View (BEV) afbeelding van de scène, gerenderd vanuit een verhoogde hoek.
  • Feature Extractie: De BEV-afbeelding wordt verwerkt door een voorgeïmplementeerde visuele foundation model (DINOv2) om semantische features te extraheren. Dit vat de ruimtelijke lay-out en de locatie van objecten samen.
  • Model: Een autoregressieve transformer voorspelt een reeks discrete bewegingstokens op basis van de tekst en de DINOv2-features. Deze tokens vertegenwoordigen hoog-niveau bewegingsprimitieven (bijv. "loop naar rechts").
  • Voordeel: Dit vermijdt de noodzaak om de volledige 3D-geometrie te verwerken voor het plannen van de route.

• Fase B: Geometry-Grounded Motion Tokenizer (Lokale Uitvoering)

  • Concept: Een Conditionele VQ-VAE (Vector Quantized Variational Autoencoder) die een discrete vocabulaire van bewegingstokens leert.
  • Unieke Eigenschap: In tegenstelling tot standaard VQ-VAE's, wordt de decoder in dit model expliciet gekonditioneerd op een lokaal 2D heightmap (hoogtekaart) rondom de positie van het personage.
  • Werking: De heightmap (een raster van de oppervlaktehoogte) wordt gebruikt tijdens het trainen van de decoder. Dit dwingt de discrete tokens om niet alleen kinematische patronen te coderen, maar ook fysiek compatibel gedrag voor specifieke oppervlakken (bijv. "buig knieën om contact te maken met een oppervlak op hoogte $h$").
  • Inference: Tijdens het genereren wordt voor elke gegenereerde token een nieuwe heightmap berekend op basis van de huidige positie van het personage, wat causale consistentie garandeert.

2. Trajecto-Refinement Module

Om artefacten zoals "foot-sliding" (voeten die over de grond glijden) te minimaliseren, wordt een lichtgewicht regressor gebruikt die de root-velocity (beweging van het lichaamsmidden) verfijnt op basis van lokale gewrichtsfeatures.

Kernbijdragen

1. Ontkoppeling van Planning en Executie: Een efficiënt tweestapsframework dat globale semantische redenering (via BEV + DINOv2) scheidt van lokale fysieke haalbaarheid (via heightmaps).
2. Geometry-Grounded Tokenization: Een nieuwe VQ-VAE-architectuur die lokale 2D-heightmaps gebruikt om een bewegingsvocabulaire te leren dat direct fysieke contactregels in de discrete tokens verankert.
3. Efficiëntie zonder Kwaliteitsverlies: Het bewijs dat gestructureerde 2D-representaties (BEV + heightmaps) voldoende informatie bieden voor realistische HSI, met een drastische reductie in het aantal trainbare parameters voor scene-encoding.

Resultaten

Het model is geëvalueerd op de TRUMANS-dataset, een benchmark voor complexe mens-scène interacties.

• Kwaliteit: SceMoS bereikt state-of-the-art resultaten op het gebied van bewegingsrealisme (laagste FID-score van 0.31) en contactnauwkeurigheid (hoogste score van 0.98).
• Efficiëntie: Het model vereist < 5 miljoen trainbare parameters voor scene-encoding, wat meer dan een orde van grootte minder is dan concurrenten die gebruikmaken van 3D-voxels of point clouds (bijv. TRUMANS gebruikt ~86M parameters).
• Ablatiestudies:
  • Het verwijderen van de tweestaps-opzet (A5) leidt tot een sterke daling in kwaliteit.
  • Het vervangen van DINOv2 door CLIP (A6) resulteert in slechtere bewegingsnauwkeurigheid, wat aantoont dat DINOv2 beter is voor ruimtelijke lay-out.
  • Het gebruik van 3D-voxels in plaats van 2D-heightmaps (A3) biedt geen significant voordeel en verhoogt de rekentijd, wat bevestigt dat 2D-data voldoende is voor nabij-oppervlakte interacties.
  • De toevoeging van de trajecto-refinement module verbetert de fysieke consistentie aanzienlijk.

Betekenis en Toekomst

SceMoS demonstreert dat het niet nodig is om zware 3D-scenedata te verwerken om hoogwaardige, fysiek plausible menselijke bewegingen te genereren. Door slimme 2D-projecties (BEV voor semantiek, heightmaps voor fysica) te combineren met een token-gebaseerde aanpak, biedt het een schaalbare en efficiënte oplossing voor Human-Scene Interaction.

Beperkingen en Toekomstperspectief:

• Huidige implementatie is beperkt tot statische scènes en macro-schaal bewegingen (lopen, zitten).
• Fijnmazige objectmanipulatie (bijv. een kopje vastgrijpen) is nog lastig omdat heightmaps grote oppervlakken modelleren en niet de fijne details van hand-object interacties.
• Toepassing in dynamische of buitenomgevingen met ongelijk terrein vereist verdere aanpassing.

Samenvattend biedt SceMoS een nieuwe richting voor generatieve AI in de animatie en robotica, waarbij de balans tussen computationele efficiëntie en fysieke realisme wordt herdefinieerd.