Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

Sintesi Tecnica: Oltre il MoCap: Scalare i Tokenizer del Movimento con il Movimento Umano Sintetico per la Modellazione Generativa

Problema
Gli attuali modelli di generazione di movimento umano, in particolare quelli che si affidano a rappresentazioni latenti discrete (ad esempio, tokenizer VQ-VAE accoppiati con transformer autoregressivi come MotionGPT), sono fondamentalmente limitati dalla diversità ridotta dei dataset esistenti di motion capture (MoCap). Dataset come Human3.6M e AMASS sono dominati da azioni comuni e ripetitive (ad esempio, camminare, sedersi), il che risulta in un "vocabolario di movimento ristretto" all'interno dello spazio latente appreso. Di conseguenza, questi modelli non riescono a generalizzare su movimenti rari, complessi o altamente dinamici (la "coda lunga" del movimento), come l'acrobazia o le performance stilizzate. Gli autori sostengono che non sia sufficiente scalare semplicemente l'architettura del modello o il tempo di addestramento per superare questo collo di bottiglia; il limite primario risiede nel supporto stesso della rappresentazione del movimento appresa.

Metodologia
Il documento propone un framework che scala congiuntamente la distribuzione dei dati di movimento e la capacità del tokenizer del movimento. L'approccio consiste in due componenti primarie:

1. Pipeline di Generazione di Movimento Sintetico Scalabile:

   • Sintesi della Posa: Ispirata agli algoritmi genetici, la pipeline esegue un'esplorazione stocastica strutturata dello spazio delle pose. Rappresenta le pose come alberi cinematici con radice nel bacino, utilizzando coordinate sferiche per le orientazioni delle ossa. Attraverso il crossover (scambio di sottoportanti tra le radici degli arti tra pose genitrici) e la mutazione (perturbazione delle orientazioni ossee con rumore Gaussiano), il sistema genera pose diversificate.
   • Filtraggio Fisico: Per garantire la validità anatomica, le pose generate vengono filtrate utilizzando un prior di posa dinamica (Akhter e Black [2015]), che restringe gli angoli articolari a intervalli fattibili. Solo le pose con punteggi di validità uguali o superiori ai loro genitori vengono mantenute.
   • Conversione da Posa a Movimento: Le pose valide vengono convertite in sequenze di movimento tramite interpolazione sferica. Un modello di recupero leggero basato su Transformer viene poi utilizzato per predire e recuperare le traiettorie della radice globale (orientamento e traslazione) dalle caratteristiche corporee, garantendo che le sequenze di movimento siano fisicamente plausibili e temporalmente coerenti.
   • Scala dei Dati: La pipeline genera circa 64 volte il volume di movimenti sintetici aggiuntivi rispetto al dataset HumanML3D, espandendo significativamente la copertura dello spazio del movimento, in particolare nelle regioni sottorappresentate.

2. Tokenizer VQ-VAE Aumentato:

   • Scaling del Codebook: Riconoscendo che un codebook di dimensione fissa (ad esempio, ~512 voci) è insufficiente per la distribuzione espansa, gli autori aumentano la dimensione del codebook ($K$) a 2048.
   • Addestramento Congiunto: Il tokenizer è addestrato su un mix di dati reali e sintetici ($D = (1-\lambda)D_{real} + \lambda D_{syn}$). Gli autori utilizzano un rapporto di miscelazione (specificamente 1:2 reale-sintetico) per bilanciare la fedeltà in-distribution con la generalizzazione out-of-distribution.
   • Strategie di Stabilità: Per prevenire il collasso del codebook con il vocabolario più ampio, l'addestramento utilizza aggiornamenti EMA (Exponential Moving Average) e reset periodici del codebook.

3. Adattamento ai Modelli Downstream:

   • Il tokenizer migliorato viene integrato in esistenti framework di generazione di movimento autoregressivi (ad esempio, T2M-GPT, MotionGPT, MotionAgent) senza alterarne le architetture. I modelli vengono perfezionati (fine-tuning) re-tokenizzando i dati di addestramento con il nuovo tokenizer aumentato, mantenendo invariate le coppie testo-movimento originali.

Contributi Chiave

• Identificazione del Collo di Bottiglia: Il lavoro identifica il supporto limitato dei tokenizer del movimento, indotto dai ristretti dati MoCap, come un collo di bottiglia critico nei moderni modelli di generazione di movimento, piuttosto che un semplice problema di architettura del modello.
• Scaling Congiunto: Dimostra che migliorare la generazione richiede l'espansione congiunta della distribuzione dei dati di addestramento e della capacità del token, piuttosto che scalare solo la dimensione del modello.
• Pipeline Sintetica: L'introduzione di una pipeline scalabile che genera movimenti diversificati e fisicamente plausibili, coprendo la coda lunga dello spazio del movimento.
• Tokenizer Aumentato: Lo sviluppo di un tokenizer VQ-VAE con un codebook espanso che si adatta alla distribuzione sintetica, ottenendo una maggiore utilizzazione del codebook e un vocabolario di movimento più ricco.
• Miglioramento Agnostico rispetto all'Architettura: Il metodo fornisce una ricetta pratica per aggiornare i modelli esistenti a token discreti, producendo miglioramenti costanti su diversi backbone senza modifiche architettoniche.

Risultati
Esperimenti estesi su HumanML3D (in-distribution) e Motion-X++ (out-of-distribution) dimostrano l'efficacia dell'approccio:

• Prestazioni del Tokenizer: Su HumanML3D, la ricostruzione FID è migliorata del 42,4% (scendendo da 0,132 a 0,076). Sul dataset non visto Motion-X++, il tokenizer ha mostrato guadagni significativi di generalizzazione, con riduzioni di MPJPE in vari subset (ad esempio, una riduzione del 12,4% nel subset "Sports").
• Prestazioni Generative: Quando applicato ai modelli downstream, il tokenizer aumentato ha costantemente migliorato la fedeltà del movimento (FID). Ad esempio, l'FID di T2M-GPT è migliorato del 16,4%, MotionGPT del 24,1% e MotionAgent del 20,0%.
• Miglioramenti Qualitativi: I modelli hanno dimostrato una capacità potenziata di sintetizzare movimenti complessi e rari (ad esempio, flare di breakdance, pose yoga, kung fu) che prima erano scarsamente rappresentati o impossibili da generare con i tokenizer standard.
• Studi di Ablazione: Gli esperimenti hanno confermato che un codebook di dimensione 2048 offre un equilibrio ottimale tra qualità di ricostruzione e utilizzazione del codebook. Inoltre, un rapporto di miscelazione di 1:2 (reale:sintetico) è risultato fornire il miglior compromesso tra fedeltà in-distribution e generalizzazione out-of-distribution.

Significatività e Rivendicazioni
Il documento sostiene che il collo di bottiglia principale nella sintesi del movimento umano non è l'architettura del modello generativo, ma lo spazio dei token ristretto derivante dai dati limitati. Scalando il movimento sintetico in tandem con l'apprendimento della rappresentazione, gli autori offrono una "via principesca" verso una sintesi del movimento più espressiva, controllabile e generalizzabile. Il lavoro suggerisce che il campo deve andare oltre il semplice affidarsi ai dataset MoCap curati e abbracciare l'espansione dei dati sintetici per sbloccare il pieno potenziale dei modelli di movimento generativi. Gli autori segnalano limitazioni, specificamente che l'attuale pipeline si concentra sul movimento del corpo (escludendo la dinamica fine di mani/volto) e non associa ancora i movimenti sintetici ad annotazioni testuali, sebbene ipotizzino che l'aggiunta di etichette testuali in futuro potrebbe migliorare ulteriormente l'allineamento semantico.