SceMoS: Scene-Aware 3D Human Motion Synthesis by Planning with Geometry-Grounded Tokens

SceMoS è un framework innovativo per la sintesi di movimenti umani 3D guidati dal testo che, disaccoppiando la pianificazione globale dall'esecuzione locale tramite rappresentazioni 2D (immagini BEV e mappe di altezza), raggiunge uno stato dell'arte nel realismo e nell'accuratezza dei contatti riducendo al contempo i parametri di addestramento rispetto ai metodi basati su dati 3D completi.

L'essenziale

Immagina di dover insegnare a un robot come muoversi in una stanza piena di mobili, seguendo un comando vocale come "vada a sedersi sul divano". Il problema è duplice: il robot deve capire cosa fare (il significato della frase) e come farlo senza sbattere contro i tavoli o attraversare i muri (la fisica della realtà).

Fino a poco tempo fa, per insegnare questo ai computer, gli scienziati dovevano fornire loro una mappa 3D incredibilmente dettagliata e pesante della stanza, come se dovessero caricare un intero edificio digitale in memoria. Era come cercare di guidare un'auto usando un satellite che scansiona ogni singolo mattone del muro: potente, ma lentissimo e costoso.

SceMoS è la nuova soluzione proposta in questo articolo, e funziona come un cervello umano che usa due tipi diversi di "occhi": uno per il piano generale e uno per i dettagli immediati.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Pianificatore Globale: La vista dall'alto (L'Uccello)

Immagina di voler attraversare una città affollata. Non hai bisogno di sapere esattamente com'è fatta la texture dell'asfalto sotto ogni tuo passo per sapere dove andare. Ti basta una mappa aerea (vista dall'alto) per vedere dove sono i parchi, le strade e gli ostacoli principali.

• Cosa fa SceMoS: Usa una singola immagine della stanza vista dall'alto (come se fossi un uccello). Questa immagine viene analizzata da un'intelligenza artificiale molto potente (chiamata DINOv2) che capisce subito: "Ah, lì c'è un divano, lì c'è un tavolo".
• Il vantaggio: Invece di caricare milioni di punti 3D, SceMoS usa questa "foto aerea" per pianificare il percorso. È come guardare la mappa di Google Maps invece di camminare toccando ogni singolo mattoncino. È veloce e intelligente.

2. L'Esecutore Locale: La vista dei piedi (Il Tatu)

Una volta che il "pianificatore" ti dice "vai verso il divano", devi sapere esattamente come appoggiare i piedi per non inciampare. Qui serve un dettaglio diverso.

• Cosa fa SceMoS: Mentre cammini, il sistema guarda solo il terreno immediatamente sotto i tuoi piedi. Immagina di avere un piccolo scanner che misura l'altezza del pavimento solo per un metro intorno a te. Se c'è un tappeto rialzato o un gradino, lo vede subito.
• Il trucco: Invece di ricostruire l'intera stanza in 3D, SceMoS usa queste "mappe di altezza" locali per insegnare al robot come muovere le gambe in modo realistico. È come se imparassi a camminare su una superficie irregolare sentendo solo cosa c'è sotto la suola delle scarpe, senza dover conoscere la forma di tutta la montagna.

3. Il Linguaggio dei Movimenti (Il Dizionario)

Il sistema più geniale di SceMoS è come impara a muoversi. Invece di calcolare ogni movimento da zero ogni volta, ha creato un dizionario di movimenti.

• L'analogia: Pensa a un dizionario di parole. Invece di scrivere ogni volta "piega il ginocchio di 30 gradi, sposta il peso di 2 cm...", SceMoS ha imparato una parola speciale che significa "sedersi sul divano".
• La magia: Questa "parola" (o token) non è generica. È stata addestrata guardando il terreno. Quindi, quando SceMoS sceglie la parola "sedersi", sa già che deve piegare le gambe in modo specifico per adattarsi all'altezza del divano che sta vedendo sotto i piedi. Non deve "pensare" alla fisica ogni volta, la fisica è già scritta nella parola stessa.

Perché è una rivoluzione?

Fino ad ora, per fare queste cose, i computer dovevano essere "giganti" (con milioni di parametri di memoria) per gestire la complessità 3D.
SceMoS è come uno smartphone: è leggero, veloce e fa tutto quello che serve usando le informazioni giuste al momento giusto.

• Risultato: I robot generati da SceMoS camminano, si siedono e interagiscono con gli oggetti in modo incredibilmente realistico, senza attraversare i mobili o scivolare.
• Efficienza: Usa meno della metà della potenza di calcolo necessaria per i metodi precedenti. È come passare da un camioncino pieno di sabbia (i vecchi metodi 3D) a una moto elettrica agile (SceMoS) che arriva alla stessa destinazione molto più velocemente.

In sintesi: SceMoS insegna al computer a muoversi nel mondo reale non mostrandogli l'intero universo in 3D, ma dandogli una mappa aerea per capire dove andare e un sensore sotto i piedi per capire come appoggiarsi, tutto mentre ascolta le tue istruzioni. È un approccio più intelligente, più veloce e molto più umano.

Sommario tecnico

1. Il Problema

La sintesi di movimenti umani 3D guidati dal testo all'interno di scene realistiche richiede la capacità di comprendere sia l'intento semantico (es. "cammina verso il divano") sia la fattibilità fisica (es. evitare collisioni con gli oggetti).
Le metodologie attuali affrontano due sfide principali:

1. Complessità Computazionale: I metodi esistenti spesso utilizzano rappresentazioni 3D dense e costose (come griglie di voxel, nuvole di punti o campi di distanza signed - SDF) per rappresentare l'ambiente. Questo richiede backbone neurali pesanti e un numero elevato di parametri.
2. Accoppiamento Entangled: I modelli attuali tendono a imparare simultaneamente la pianificazione di alto livello e il ragionamento sui contatti di basso livello in un unico processo, rendendo difficile scalare a scene complesse e rumorose senza perdere coerenza fisica o semantica.

L'obiettivo è generare movimenti che siano semanticamente coerenti con il prompt testuale e fisicamente plausibili rispetto alla geometria della scena, riducendo al contempo il costo computazionale.

2. Metodologia: SceMoS

SceMoS propone un framework disaccoppiato che separa la pianificazione globale dall'esecuzione locale, utilizzando rappresentazioni 2D strutturate invece di dati 3D volumetrici completi. L'architettura si basa su due componenti principali:

A. Rappresentazione della Scena (Cue 2D)

Invece di usare dati 3D grezzi, SceMoS utilizza due modalità 2D complementari:

• Visione Globale (Bird's-Eye-View - BEV): Per la pianificazione semantica, viene renderizzata un'immagine BEV della scena da un angolo elevato. Da questa immagine vengono estratti feature utilizzando un modello fondazionale visivo pre-addestrato (DINOv2). Questo cattura il layout spaziale e la semantica degli oggetti (es. dove si trova il divano).
• Geometria Locale (Heightmap): Per il ragionamento sui contatti fisici, viene calcolato un heightmap 2D locale attorno alla radice del personaggio. Questo fornisce informazioni precise sulla superficie immediatamente sotto il personaggio, essenziale per evitare penetrazioni e garantire il contatto col suolo.

B. Architettura a Due Stadi

1. Pianificatore di Movimento Globale (Global Motion Planner):

   • È un modello autoregressivo basato su Transformer.
   • Prende in input l'embedding del testo e le feature DINOv2 della scena BEV.
   • Predice una sequenza di token discreti che rappresentano primitive di movimento coerenti con l'intento e il layout globale.
   • Non gestisce direttamente la geometria fine, ma pianifica la traiettoria di alto livello.

2. Tokenizzatore di Movimento Grounded sulla Geometria (Geometry-Grounded Motion Tokenizer):

   • Utilizza un VQ-VAE condizionale (Vector Quantized Variational Autoencoder).
   • Mappa i token discreti predetti dal pianificatore in un movimento 3D continuo.
   • Innovazione chiave: Il decoder del VQ-VAE è condizionato esplicitamente dall'heightmap 2D locale. Questo forza il vocabolario di token appreso a codificare non solo pattern cinematici, ma anche comportamenti specifici legati alla geometria (es. "piega le ginocchia per toccare una superficie a altezza $h$").
   • Durante l'inferenza, l'heightmap viene ricalcolato dinamicamente in base alla nuova posizione del personaggio, garantendo causalità e adattamento alla topologia della scena.

C. Raffinamento della Traiettoria

Un modulo leggero aggiuntivo corregge le velocità della radice per eliminare artefatti come lo "scivolamento dei piedi" (foot sliding), migliorando la coerenza fisica finale.

3. Contributi Chiave

1. Framework a Due Stadi Disaccoppiato: La separazione esplicita tra pianificazione semantica globale ed esecuzione fisica locale permette un ragionamento efficiente su scene complesse senza input volumetrici densi.
2. Vocabolario di Movimento Grounded sulla Geometria: Un dizionario di movimento appreso tramite VQ-VAE condizionale che integra direttamente la fisica delle superfici (tramite heightmap 2D) nei token discreti, colmando il divario tra intento linguistico e interazione fisica.
3. Efficienza tramite Rappresentazioni 2D: Dimostrazione che le proiezioni 2D (BEV per la semantica, heightmap per la geometria) sono sufficienti per la sintesi di movimento 3D di alta qualità, riducendo drasticamente i parametri addestrabili.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark TRUMANS, uno standard per le interazioni uomo-scena (HSI).

• Qualità del Movimento: SceMoS raggiunge lo stato dell'arte (SOTA) in termini di realismo (FID più basso: 0.31) e accuratezza dei contatti (0.98), superando o eguagliando metodi basati su voxel 3D e diffusion.
• Efficienza Computazionale:
  • Riduce i parametri addestrabili per la codifica della scena di oltre il 50% rispetto ai baselines (es. ~4M parametri contro ~50M o ~86M di metodi come TRUMANS o SceneDiffuser).
  • Elimina la necessità di backbone 3D pesanti (come Point Transformer o CNN volumetriche).
• Ablation Study:
  • La rimozione della separazione in due stadi (A5) degrada significativamente la fedeltà e i contatti.
  • L'uso di feature CLIP invece di DINOv2 (A6) peggiora la fedeltà semantica.
  • La sostituzione dell'heightmap con voxel 3D (A3) non offre benefici significativi e peggiora la velocità di movimento e le penetrazioni, confermando che la geometria 3D densa è ridondante per le interazioni near-surface.
  • La risoluzione dell'heightmap 32x32 offre il miglior compromesso tra dettaglio e rumore.

5. Significato e Impatto

SceMoS rappresenta un cambio di paradigma nella sintesi di movimento umano-scena:

• Scalabilità: Dimostra che non è necessario un modello 3D completo e costoso per ottenere interazioni fisicamente plausibili. L'uso di cue 2D ben progettati rende il sistema più scalabile e applicabile a scenari reali con asset non strutturati.
• Efficienza: La drastica riduzione dei parametri rende fattibile l'addestramento e l'inferenza su hardware meno potente, aprendo la strada a applicazioni in tempo reale o su larga scala.
• Integrazione Semantica-Fisica: Il successo del tokenizzatore condizionato geometricamente suggerisce che l'incorporazione della fisica direttamente nel vocabolario di movimento (token space) è una strategia superiore rispetto alla correzione post-hoc o all'uso di loss di contatto generiche.

In sintesi, SceMoS valida l'ipotesi che una rappresentazione ibrida 2D (semantica globale + geometria locale) sia sufficiente per guidare la sintesi di movimenti 3D complessi, offrendo un equilibrio superiore tra realismo fisico, coerenza semantica ed efficienza computazionale.