Technische Samenvatting: Taalgestuurde Transformer Tokenizer voor Menselijke Bewegingsgeneratie

Probleemstelling

In het paradigma van tekstgestuurde menselijke bewegingsgeneratie is de twee-fasen-benadering — het combineren van bewegingstokenisatie met generatieve modellen — cruciaal geworden. Er bestaat echter een fundamentele afruil tussen reconstructiekwaliteit en generatiecomplexiteit. Huidige methoden vertrouwen doorgaans op het vergroten van het aantal discrete tokens om de reconstructiefidelity van beweging (gemeten via rFID) te verbeteren. Hoewel dit de reconstructie verbetert, vergroot het de sequentielengte, wat de leerproblematiek voor autoregressieve generatieve modellen verhoogt en de generatiekwaliteit (gemeten via gFID) vaak verslechtert.

Bovendien maken bestaande tokenizers voornamelijk gebruik van Convolutional Neural Network (CNN) architecturen. Deze architecturen lijden onder lokale receptieve velden, die moeite hebben met het ondersteunen van de globale taalbegeleiding die nodig is om natuurlijke taalbeschrijvingen af te stemmen op bewegingssemantiek. Daarnaast brengt het naïef integreren van taalcondities tijdens de tokenisatie het risico op shortcut learning met zich mee, waarbij het model te sterk leunt op tekstembeddings voor reconstructie en daardoor faalt in het onafhankelijk vastleggen van fijne bewegingsdetails.

Methodologie: LG-Tok

De auteurs stellen Language-Guided Tokenization (LG-Tok) voor, een framework dat natuurlijke taal afstemt op beweging specifiek tijdens de tokenisatiefase om compacte, hoogwaardige semantische representaties te produceren.

1. Transformer-gebaseerde Tokenizer en Detokenizer

In tegenstelling tot eerdere CNN-gebaseerde benaderingen, gebruikt LG-Tok een Transformer-gebaseerde architectuur voor zowel de tokenizer (encoder) als de detokenizer (decoder).

• Globale Context: Door gebruik te maken van self-attention mechanismen, verbetert het model de globale contextuele bewustheid, waardoor de beperkingen van de lokale receptieve velden in CNN's worden overwonnen.
• Architectuur: De tokenizer en detokenizer zijn gebouwd op LLaMA-geïnspireerde componenten, inclusclusief RMSNorm, SwiGLU-activatie en Rotary Position Embeddings (RoPE) met een basis van 100 om korte sequentietaken te faciliteren. UNet-achtige long skip connections zijn geïntegreerd om een hoge-fidelity reconstructie te garanderen.
• Inputmechanisme: Een leerbare sequentie van latente tokens wordt geconcateneerd met lineair geprojecteerde bewegingskenmerken en tekstembeddings (van een bevroren LLaMA-encoder) om de input te vormen. De tokenizer geeft alleen de representaties uit die overeenkomen met de leerbare latente tokens.

2. Taalgestuurde Tokenisatie

De kerninnovatie is het uitbreiden van de taalbegeleiding naar de tokenisatiefase, in plaats van enkel naar de generatiefase.

• Semantische Abstractie: Door tekstembeddings tijdens de tokenisatie te injecteren, worden de latente tokens ontlast van het redundant coderen van hoogwaardige semantiek. Dit stelt hen in staat zich te concentreren op het vastleggen van fijne bewegingsdetails die tekst alleen niet kan overbrengen.
• Dubbel Voordeel: Deze aanpak maakt het mogelijk dat latente tokens linguïstische semantische kennis absorberen tijdens de tokenisatie, en stelt taalcondities in staat om te helpen bij de reconstructie van beweging tijdens de detokenisatie.

3. Language-Drop Schema

Om te voorkomen dat het model vervalt in "shortcut learning" (te veel leunen op tekst voor reconstructie), introduceren de auteurs een language-drop schema.

• Trainingsstrategie: Tijdens de training worden taalcondities willekeurig verwijderd met een waarschijnlijkheid $p$ (gesteld op 0.1). Dit dwingt de tokenizer en detokenizer om robuuste, zelfvoorzienende tokenrepresentaties te leren die onafhankelijk zijn van linguïstische input.
• Inference-capaciteit: Dit schema maakt language-free guidance decoding mogelijk tijdens de generatie. Door het model te trainen om zowel met als zonder tekst te opereren, kunnen de auteurs Classifier-Free Guidance direct in de bewegingsruimte toepassen. De uiteindelijke beweging wordt gesynthetiseerd door te extrapoleren tussen onvoorwaardelijke en voorwaardelijke reconstructies:
  $$\hat{m} = (1 + g) \times \hat{m}_c - g \times \hat{m}_u$$
  waarbij $g$ de guidance scale is.

Belangrijkste Bijdragen

1. Language-Guided Tokenization (LG-Tok): Een nieuwe methode die natuurlijke taal afstemt op beweging tijdens de tokenisatiefase, wat resulteert in compacte, hoogwaardige semantische representaties die het generatieve leren vereenvoudigen.
2. Transformer-gebaseerde Architectuur: De introductie van een volledig Transformer-gebaseerde tokenizer en detokenizer die gebruikmaakt van attention mechanismen voor effectieve cross-modale afstemming en globale contextmodellering, waarmee wordt afgeweken van standaard CNN-gebaseerde tokenizers.
3. Language-Drop Schema: Een trainingsstrategie die shortcut learning mitigeert en uniek Classifier-Free Guidance decoding mogelijk maakt direct binnen de bewegingsruimte, in plaats van enkel in de logit- of ruisruimte.

Experimentele Resultaten

De methode werd geëvalueerd op drie benchmarks: HumanML3D, KIT-ML, en Motion-X.

• State-of-the-Art Prestaties: LG-Tok presteert beter dan bestaande methoden (bijv. MARDM, MoMask, T2M-GPT) over meerdere metrieken.
  • Op HumanML3D bereikt LG-Tok een Top-1 R-Precision van 0,542 en een FID van 0,057, wat aanzienlijk beter is dan MARDM (respectievelijk 0,500 en 0,114).
  • Op Motion-X bereikt LG-Tok-mid de beste Top-1 R-Precision van 0,591.
• Efficiëntie: De LG-Tok-mini variant gebruikt slechts 104 tokens (ongeveer de helft van de tokens van de standaard 236-token configuratie) terwijl deze concurrerende prestaties behoudt (FID 0,085 op HumanML3D), wat de efficiëntie van de semantische representaties valideert.
• Reconstructie versus Generatie: De methode balanceert de afruil succesvol. Op HumanML3D verbetert het verhogen van het aantal tokens alle metrieken. Op de grotere Motion-X dataset identificeren de auteurs een "sweet spot" (160 tokens) waar de generatiekwaliteit wordt geoptimaliseerd voordat de toegenomen sequentielengte het generatieve model begint te belasten.
• Ablatie-studies: Experimenten bevestigen dat het injecteren van taal in zowel de tokenizer als de detokenizer de beste resultaten oplevert. Het language-drop schema blijkt cruciaal voor het voorkomen van shortcut learning en het stabiliseren van de FID-scores.

Betekenis en Claims

Het artikel claimt dat LG-Tok de fundamentele spanning tussen reconstructiefidelity en generatiecomplexiteit in bewegingstokenisatie aanpakt. Door de afstemming van taal en beweging naar de tokenisatiefase te verschuiven, produceert de methode latente tokens die zowel semantisch rijk als compact zijn.

De auteurs benadrukken dat hun aanpak:

• Generatief Leren Vereenvoudigt: Door de hoogwaardige semantische codering te delegeren aan de taalbegeleiding, krijgt het generatieve model een verminderde leerlast (bewezen door verminderde perplexiteit).
• Flexibiliteit Verhoogt: Het language-drop schema maakt diverse generatiestrategieën mogelijk, inclusief taalvrije begeleiding, zonder dat hertraining nodig is.
• Goed Generaliseert: Het framework vertoont consistente verbeteringen wanneer het wordt toegepast op verschillende generatieve backbones (MoSa en MoMask), wat wijst op een brede toepasbaarheid binnen discrete tokenisatie-pipelines.

Dit werk positioneert zichzelf als een stap naar meer efficiënte en semantisch bewuste bewegingsgeneratie, waarbij gebruik wordt gemaakt van de flexibiliteit van Transformers om de beperkingen van architecturen met lokale receptieve velden in multi-modale afstemming te overwinnen.