Riepilogo Tecnico: SAMoR – Modellazione del Movimento per Oggetti Articolati di Qualsiasi Scheletro e Topologia

1. Definizione del Problema

La modellazione del movimento per oggetti articolati con topologie di scheletro arbitrarie (ad esempio, umani, quadrupedi, uccelli, insetti e rig meccanici) rimane una sfida significativa. Gli attuali sistemi all'avanguardia per la generazione di movimento, in particolare i sistemi text-to-motion, sono tipicamente vincolati a uno scheletro umano fisso (ad esempio, SMPL) con un numero specifico di giunti, ordine e connettività. Sebbene esistano estensioni alle categorie animali, esse generalmente assumono una topologia predefinita.

Gli approcci cross-topologia sono emersi ma affrontano diverse limitazioni:

• Approcci a singolo token (K=1): Comprimono i dettagli distinti del movimento in una rappresentazione globale, perdendo la dinamica di arti e appendici.
• Approcci per singolo giunto (K=J): Trattano ogni giunto indipendentemente, impedendo la condivisione di un vocabolario discreto di movimento tra i rig con diversi conteggi di giunti.
• Mancanza di un Vocabolario Condiviso: Non esiste un codebook di movimento discreto a dimensione fissa che possa essere riutilizzato attraverso scheletri eterogenei per compiti come il trasferimento di movimento o la generazione basata su token.

La difficoltà fondamentale risiede nel fatto che, sebbene il movimento a livello di giunto non corrisponda chiaramente tra le specie (a causa dei diversi conteggi di giunti e della connettività), i gruppi funzionali di giunti (ad esempio, un braccio umano, una zampa anteriore di un lupo e un'ala di un uccello) condividono strutture di movimento semantiche.

2. Metodologia: SAMoR

Gli autori propongono SAMoR (Skeleton-Aware Motion Representation for Articulated Objects), una rappresentazione del movimento cross-topologia che codifica segmenti di movimento in un piccolo numero fisso di K=8 part token condivisi tra scheletri arbitrari.

Panoramica dell'Architettura

SAMoR è implementato come un Skeleton-Aware Part VQ-VAE (Vector Quantized Variational Autoencoder) con i seguenti componenti:

1. Rappresentazione di Input:

   • Caratteristiche del Movimento: Posizioni e velocità per giunto ($x_t^j \in \mathbb{R}^6$). Le rotazioni locali sono omesse nell'impostazione cross-topologia a causa delle pose di riposo inconsistenti tra asset eterogenei.
   • Condizionamento dello Scheletro: L'encoder e il decoder sono condizionati sullo scheletro target tramite tre segnali:
     • Pose Anchors: Posizioni 3D per giunto (prima frame per il cross-topology; posa di riposo canonica per HumanML3D).
     • Joint Name Embeddings: Embedding CLIP dei nomi dei giunti (ad esempio, "forearm", "wing_L1").
     • Struttura a Grafo: Bias apprendi iniettati nei logit dell'attenzione spaziale basati sulla distanza di hop dell'albero cinematico, l'appartenenza alla catena e il tipo di edge.

2. Encoder (Graph-Transformer):

   • Elabora chunk di movimento utilizzando uno stack di blocchi transformer che alternano l'attenzione auto-attentiva temporale (lungo il tempo $T$) e l'attenzione auto-attentiva spaziale (lungo i giunti $J$).
   • L'attenzione spaziale utilizza i bias strutturali del grafo definiti sopra.
   • Una convoluzione 1D con stride riduce la dimensione dell'asse temporale di 4$\times$.

3. Part Pooling (Da Giunti a Token):

   • Cross-Attention Pooling: $K=8$ vettori di query apprendibili comprimono i $J$ giunti codificati in $K$ part token di dimensione fissa.
   • Meccanismo di Specializzazione: Senza supervisione, queste query tendono a collassare in distribuzioni identiche (effettivamente $K=1$). Per evitare ciò, gli autori introducono una Supervisione dell'Attenzione.
   • Loss di Supervisione dell'Attenzione ($L_{attn}$): Durante l'addestramento, etichette di gruppi funzionali canonici (derivate dai nomi dei giunti) guidano le mappe di cross-attenzione. Ogni query è incoraggiata ad attendere a un gruppo funzionale distinto (ad esempio, gamba sinistra, coda, testa). I giunti senza etichette corrispondenti ($y_j = -1$) contribuiscono con zero alla loss ma sono comunque instradati dall'attenzione appresa.
   • Joint-Name Dropout: Per garantire la robustezza rispetto ai rig con nomi mancanti o non semantici, gli embedding dei nomi dei giunti vengono rimossi casualmente durante l'addestramento. Ciò costringe il modello a fare affidamento sui pattern di movimento e sulla topologia dello scheletro piuttosto che sui soli etichette testuali.

4. Quantizzazione:

   • I $K$ part token sono quantizzati utilizzando la Residual Vector Quantization (RVQ) con un codebook condiviso. Questo crea un vocabolario di movimento discreto ($Z \in \{1, \dots, V\}$) condiviso tra tutti i rig.

5. Decoder:

   • Specchia l'encoder ma espande i $K$ part token quantizzati verso i $J$ giunti target tramite inverse cross-attention.
   • Il decoder è condizionato sulla pose anchor del target skeleton, sui nomi dei giunti e sui bias del grafo. Ciò consente di decodificare gli stessi token sorgente su un rig completamente diverso (trasferimento cross-topologia) senza riaddestramento.

Task a Valle

• Generazione Condizionata dal Testo: Un transformer MaskGIT è addestrato sulla griglia di token $(T/4) \times K$, condizionato dal testo e dallo scheletro target.
• Editing per Parte: Specifici part token possono essere mascherati e riempiti (in-filling), permettendo l'editing localizzato di gruppi funzionali (ad esempio, cambiare il movimento delle gambe preservando il movimento delle braccia).

3. Contributi Chiave

1. Tokenizzazione del Movimento basata su Graph-Transformer: Un VQ-VAE che comprime il movimento di scheletri arbitrari in $K=8$ part token condivisi, fornendo un unico vocabolario di movimento discreto attraverso scheletri eterogenei.
2. Supervisione dell'Attenzione per la Specializzazione delle Query: Una nuova funzione di perdita che rompe la simmetria delle query ancorando ogni query a un gruppo funzionale di giunti distinto, prevenendo il collasso delle $K=8$ query in una singola rappresentazione globale. Combinata con il joint-name dropout, questa tecnica si generalizza a scheletri non visti.
3. Corpus di Movimento Eterogeneo Unificato: Un dataset curato di circa 71k personaggi e circa 100k movimenti da HumanML3D (umani), Truebones Zoo (65 specie animali) e asset animati di Objaverse-XL. Questo include l'abbinamento automatico dei giunti canonici e le annotazioni dei gruppi funzionali.
4. Capacità a Valle Dimostrate: Lo spazio dei part-token condiviso supporta il trasferimento di movimento cross-topologia, la generazione condizionata dal testo e l'editing localizzato per parte.

4. Risultati Sperimentali

Gli autori hanno valutato SAMoR su personaggi con scheletri non visti.

• Ricostruzione Cross-Topology:

  • SAMoR ha raggiunto un MPJPE normalizzato di $2.75 \times 10^{-2}$.
  • È 5.8$\times$ inferiore (migliore) rispetto al più forte baseline di tokenizzazione a variabile-$J$ adattata (MoGenTS, $16.14 \times 10^{-2}$).
  • Supera significativamente sia le rappresentazioni globali a singolo token ($K=1$) che le tokenizzazioni per singolo giunto ($K=J$).
  • Gli studi di ablazione hanno confermato che rimuovere la supervisione dell'attenzione ($L_{attn}$) quasi raddoppia l'errore, e rimuovere l'RVQ aumenta l'errore del 44%.

• Benchmark HumanML3D:

  • Quando istanziato in un'impostazione compatibile con HumanML3D, SAMoR rimane competitivo con gli specialisti a scheletro fisso.
  • Text-to-Motion: FID di 0.039, comparabile a MoGenTS (0.033) e migliore di MoMask (0.045).
  • Ricostruzione VQ-VAE: SAMoR-H3D ha ottenuto 17.3 mm di MPJFE, superando MoMask (29.5 mm) e T2M-GPT (58.0 mm).

• Trasferimento Cross-Topology:

  • I risultati qualitativi (Fig. 3) mostrano che SAMoR preserva la dinamica delle appendici (arti, code, ali) attraverso i cambi di topologia, mentre i baseline $K=1$ mantengono solo il ritmo corporeo grossolano.
  • La coerenza round-trip (Source $\to$ SMPL $\to$ Source) è stata massima per SAMoR, indicando che la rappresentazione part-token preserva la struttura del movimento attraverso le topologie intermedie.

5. Significato e Rivendicazioni

Il paper sostiene che SAMoR affronta il limite fondamentale degli attuali modelli di movimento legati a topologie fisse. Identificando che i gruppi funzionali di giunti sono il livello di astrazione appropriato per il movimento cross-topologia, SAMoR abilita:

• Riutilizzabilità: Un singolo codebook discreto può essere utilizzato per umani, animali e rig meccanici.
• Trasferimento: Il movimento può essere trasferito direttamente al momento della decodifica su scheletri non visti.
• Editing: L'editing localizzato dei gruppi funzionali è possibile senza riaddestramento.

Gli autori sottolineano che la granularità intermedia ($K=8$) è cruciale; $K=1$ perde dettagli, mentre $K=J$ impedisce la condivisione del vocabolario. La loss di supervisione dell'attenzione è identificata come la componente critica che previene il collasso delle query, permettendo al modello di apprendere cluster funzionali da un mix di movimento, struttura e (opzionali) etichette testuali.

Limitazioni Riconosciute:

• Nell'impostazione cross-topology, SAMoR opera sulle posizioni dei giunti piuttosto che sulle rotazioni perché gli asset eterogenei mancano di un riferimento di posa di riposo unificato. Il recupero delle rotazioni ossee per il Linear Blend Skinning (LBS) richiede un post-processo di Cinematica Inversa (IK), che introduce ambiguità di torsione.
• Il raggruppamento $K=8$ è una scelta di design fissa; l'apprendimento automatico del numero e della struttura dei gruppi è suggerito come lavoro futuro.