Sintesi Tecnica: Tokenizer di Transformer Guidato dal Linguaggio per la Generazione di Movimento Umano

Definizione del Problema

Nel paradigma della generazione di movimento umano guidata dal testo, l'approccio in due fasi — che combina la tokenizzazione del movimento con modelli generativi — è diventato fondamentale. Tuttavia, esiste un compromesso fondamentale tra qualità della ricostruzione e complessità della generazione. I metodi attuali si affidano tipicamente all'aumento del numero di token discreti per migliorare la fedeltà della ricostruzione del movimento (misurata tramite rFID). Sebbene ciò migliori la ricostruzione, aumenta la lunghezza della sequenza, elevando di conseguenza la difficoltà di apprendimento per i modelli generativi autoregressivi e degradando spesso la qualità della generazione (misurata tramite gFID).

Inoltre, i tokenizer esistenti utilizzano prevalentemente architetture di Reti Neurali Convoluzionali (CNN). Queste architetture soffrono di campi recettivi locali, che faticano a supportare la guida linguistica globale necessaria per allineare le descrizioni in linguaggio naturale con la semantica del movimento. Inoltre, l'incorporazione ingenua di condizioni linguistiche durante la tokenizzazione rischia di causare l'apprendimento di scorciatoie (shortcut learning), dove il modello si affida eccessivamente agli embedding testuali per la ricostruzione, fallendo nel catturare i dettagli fini del movimento in modo indipendente.

Metodologia: LG-Tok

Gli autori propongono la Tokenizzazione Guidata dal Linguaggio (LG-Tok), un framework che allinea il linguaggio naturale con il movimento specificamente durante la fase di tokenizzazione per produrre rappresentazioni semantiche compatte e di alto livello.

1. Tokenizer e Detokenizer basati su Transformer

A differenza dei precedenti approcci basati su CNN, LG-Tok impiega un'architettura basata su Transformer sia per il tokenizer (encoder) che per il detokenizer (decoder).

• Contesto Globale: Sfruttando i meccanismi di self-attention, il modello migliora la consapevolezza del contesto globale, superando i limiti dei campi recettivi locali delle CNN.
• Architettura: Il tokenizer e il detokenizer sono costruiti su componenti ispirati a LLaMA, inclusi RMSNorm, attivazione SwiGLU e Rotary Position Embeddings (RoPE) con una base di 100 per adattarsi a compiti con sequenze brevi. Connessioni skip di tipo UNet sono integrate per garantire una ricostruzione ad alta fedeltà.
• Meccanismo di Input: Una sequenza apprendibile di token latenti viene concatenata con le caratteristiche del movimento proiettate linearmente e gli embedding testuali (provenienti da un encoder LLaMA congelato) per formare l'input. Il tokenizer restituisce solo le rappresentazioni corrispondenti ai token latenti apprendibili.

2. Tokenizzazione Guidata dal Linguaggio

L'innovazione principale consiste nell'estendere la guida linguistica alla fase di tokenizzazione piuttosto che solo alla fase di generazione.

• Astrazione Semantica: Iniettando gli embedding testuali durante la tokenizzazione, i token latenti sono sollevati dall'onere di codificare ridondantemente la semantica di alto livello. Ciò consente loro di concentrarsi sulla cattura dei dettagli fini del movimento che il solo testo non può trasmettere.
• Doppio Beneficio: Questo approccio permette ai token latenti di assorbire la conoscenza semantica linguistica durante la tokenizzazione e consente alle condizioni linguistiche di assistere nella ricostruzione del movimento durante la detokenizzazione.

3. Schema di Language-Drop

Per prevenire che il modello cada nell'apprendimento di scorciatoie (ovvero l'eccessivo affidamento al testo per la ricostruzione), gli autori introducono uno schema di language-drop.

• Strategia di Training: Durante l'addestramento, le condizioni linguistiche vengono rimosse casualmente con una probabilità $p$ (impostata a 0.1). Questo costringe il tokenizer e il detokenizer a imparare rappresentazioni di token robuste e autosufficienti, indipendenti dall'input linguistico.
• Capacità di Inferenza: Questo schema abilita la decodifica con guida priva di linguaggio durante la generazione. Addestrando il modello a operare sia con che senza testo, gli autori possono applicare la Classifier-Free Guidance direttamente nello spazio del movimento. Il movimento finale è sintetizzato estrapolando tra le ricostruzioni incondizionate e condizionate:
  $$\hat{m} = (1 + g) \times \hat{m}_c - g \times \hat{m}_u$$
  dove $g$ è la scala di guida.

Contributi Chiave

1. Tokenizzazione Guidata dal Linguaggio (LG-Tok): Un metodo innovativo che allinea il linguaggio naturale con il movimento durante la fase di tokenizzazione, producendo rappresentazioni semantiche compatte e di alto livello che semplificano l'apprendimento generativo.
2. Architettura basata su Transformer: L'introduzione di un tokenizer e un detokenizer interamente basati su Transformer che utilizzano meccanismi di attenzione per un efficace allineamento cross-modale e la modellazione del contesto globale, distaccandosi dagli standard tokenizer basati su CNN.
3. Schema di Language-Drop: Una strategia di addestramento che mitiga l'apprendimento di scorciatoie e abilita in modo unico la decodifica tramite classifier-free guidance direttamente nello spazio del movimento, anziché solo nello spazio dei logit o del rumore.

Risultati Sperimentali

Il metodo è stato valutato su tre benchmark: HumanML3D, KIT-ML e Motion-X.

• Prestazioni allo Stato dell'Arte: LG-Tok supera i metodi esistenti (ad es., MARDM, MoMask, T2M-GPT) in molteplici metriche.
  • Su HumanML3D, LG-Tok raggiunge una Top-1 R-Precision di 0.542 e un FID di 0.057, superando significativamente MARDM (rispettivamente 0.500 e 0.114).
  • Su Motion-X, LG-Tok-mid raggiunge la migliore Top-1 R-Precision di 0.591.
• Efficienza: La variante LG-Tok-mini utilizza solo 104 token (circa la metà dei token della configurazione standard da 236 token) mantenendo prestazioni competitive (FID 0.085 su HumanML3D), validando l'efficienza delle rappresentazioni semantiche.
• Ricostruzione vs. Generazione: Il metodo bilancia con successo il compromesso. Su HumanML3D, l'aumento dei token migliora tutte le metriche. Sul dataset più ampio Motion-X, gli autori identificano un "punto ottimale" (160 token) in cui la qualità della generazione è ottimizzata prima che l'aumento della lunghezza della sequenza inizi a gravare sul modello generativo.
• Studi di Ablazione: Gli esperimenti confermano che iniettare il linguaggio sia nel tokenizer che nel detokenizer produce i risultati migliori. Lo schema di language-drop si dimostra critico per prevenire l'apprendimento di scorciatoie e stabilizzare i punteggi FID.

Significato e Rivendicazioni

Il paper sostiene che LG-Tok affronti la tensione fondamentale tra fedeltà di ricostruzione e difficoltà di generazione nella tokenizzazione del movimento. Spostando l'allineamento tra linguaggio e movimento alla fase di tokenizzazione, il metodo produce token latenti che sono al contempo ricchi di semantica e compatti.

Gli autori sottolineano che il loro approccio:

• Semplifica l'Apprendimento Generativo: Delegando l'encoding semantico di alto livello alla guida linguistica, il modello generativo affronta un carico di apprendimento ridotto (evidenziato dalla riduzione della perplessità).
• Migliora la Flessibilità: Lo schema di language-drop permette diverse strategie di generazione, inclusa la guida priva di linguaggio, senza richiedere un nuovo addestramento.
• Generalizza Bene: Il framework dimostra miglioramenti costanti quando applicato a diversi backbone generativi (MoSa e MoMask), suggerendo una ampia applicabilità attraverso le pipeline di tokenizzazione discrete.

Il lavoro si posiziona come un passo verso una generazione di movimento più efficiente e consapevole del contesto semantico, sfruttando la flessibilità dei Transformer per superare i limiti delle architetture a campo recettivo locale nell'allineamento multimodale.