💻 computer science

Next-Scale Autoregressive Models for Text-to-Motion Generation

Het artikel introduceert MoScale, een autoregressief framework op de volgende schaal dat tekst-naar-beweging hiërarchisch genereert van grove naar fijne resoluties met cross-scale en in-scale verfijningsmechanismen, en dat state-of-the-art prestaties, hoge trainingsefficiëntie en sterke zero-shot generalisatie bereikt.

Oorspronkelijke auteurs: Zhiwei Zheng, Shibo Jin, Lingjie Liu, Mingmin Zhao

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhiwei Zheng, Shibo Jin, Lingjie Liu, Mingmin Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren dansen op basis van een geschreven beschrijving. Als je de robot zegt: "Doe twee jumping jacks, draai dan om, pak iets op en draai terug", dan kan een standaard AI de individuele stappen wel goed uitvoeren, maar de volgorde of het aantal verwarren. Het zou bijvoorbeeld drie jumping jacks kunnen doen, of vergeten om aan het einde om te draaien.

Dit artikel introduceert een nieuw AI-model genaamd MoScale dat dit probleem oplost. Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "Eén-stap-voor-één" Valstrik

De meeste huidige AI-modellen voor bewegingsgeneratie werken als iemand die een boek woord voor woord leest. Ze voorspellen de volgende beweging uitsluitend op basis van de beweging die er direct aan voorafging.

De Analogie: Stel je voor dat je probeert een enorm landschap te schilderen door alleen te kijken naar de kleine penseelstreek die je zojuist hebt gemaakt. Je zou de kleuren van die ene plek misschien wel goed kunnen krijgen, maar je verliest het grote plaatje uit het oog. Je zou kunnen vergeten dat de berg links moet staan of dat de rivier in een specifieke richting moet stromen.
Het Resultaat: De bewegingen van de robot zien er lokaal soepel uit (de knie buigt correct), maar het hele verhaal is verkeerd (het doet niet de twee jumping jacks die je hebt gevraagd).

De Oplossing: De "Architect tot Interieurontwerper" Aanpak

MoScale verandert de strategie. In plaats van één kleine beweging per keer te voorspellen, bouwt het de beweging in lagen op, van grof (groot plaatje) tot fijn (kleine details).

De Grove Schaal (De Architect): Eerst fungeert het model als een architect die de blauwdruk schetst. Het bepaalt de hele structuur van de dans in een lage resolutie. Het zegt: "Oké, de volledige reeks is: Spring, Spring, Draai, Pak, Draai." Het vergrendelt het globale verhaal voordat het zich zorgen maakt over hoe de vingers bewegen.
De Fijne Schalen (De Interieurontwerpers): Zodra de blauwdruk vaststaat, zoomt het model in. Het neemt die ruwe schets en voegt de details toe, zoals precies hoe hoog de sprong is of hoe snel de draai gebeurt. Het verfijnt de beweging stap voor stap, maar het verandert nooit het hoofdverhaal dat de architect al heeft beslist.

Het Geheime Ingrediënt: Twee "Verfijnings"-Trucs

De auteurs hebben twee speciale functies toegevoegd om dit proces nog beter te maken, vooral omdat er niet een enorme hoeveelheid dansdata beschikbaar is om op te trainen.

1. De "Oefenen met Fouten"-Truc (Cross-Scale Hiërarchische Verfijning)

Het Probleem: Als je alleen maar oefent met perfecte instructies, raak je in paniek als je een fout maakt.
De Analogie: Stel je voor dat een student autorijdt. Als de instructeur ze alleen laat rijden op perfecte, lege wegen, zullen ze crashten op het moment dat ze een gat in de weg raken.
MoScale's Oplossing: Tijdens de training krijgt het model opzettelijk "corrupte" of imperfecte blauwdrukken. Het moet leren de fouten te herstellen die de "architect" heeft gemaakt en toch een goede dans produceren. Dit leert het model om robuust te zijn en zich te herstellen van fouten, zodat de uiteindelijke beweging trouw blijft aan de tekst, zelfs als de eerste stappen iets afweken.

2. De "Tweede Blik"-Truc (In-Scale Temporele Verfijning)

Het Probleem: Zelfs nadat het grote plaatje is beslist, kan het model een specifiek detail verkeerd krijgen, zoals een hand die in de verkeerde richting trilt.
De Analogie: Stel je voor dat je een essay schrijft. Je schrijft een concept, en daarna ga je terug en lees je het. Je ontdekt een typefout of een onhandige zin en corrigeert het.
MoScale's Oplossing: Nadat het model een voorspelling heeft gedaan voor een specifieke laag, krijgt het de kans om "terug te kijken" naar wat het zojuist heeft geschreven. Het identificeert de onderdelen waar het niet zeker van is en voorspelt ze opnieuw. Dit is als een tweede concept dat de beweging polijst om het soepeler en realistischer te maken, zonder het algehele verhaal te verstoren.

Waarom Dit Belangrijk Is

Het artikel beweert dat MoScale de eerste is die succesvol de snelheid van "next-token"-modellen combineert met het vermogen om lange, complexe verhalen te begrijpen.

Beter Verhalenvertellen: Het volgt instructies zoals "twee jumping jacks" of "draai, pak op, draai" veel beter dan eerdere modellen.
Efficiëntie: Het traint sneller dan de populaire "Diffusion"-modellen (die lijken op het proberen van een blok ruis in een beeld om te zetten door langzaam de ruis weg te eraseren).
Veelzijdigheid: Omdat het de structuur zo goed begrijpt, kan het ook bestaande dansen bewerken (zoals het veranderen van een wandeling in een loop) zonder de onderdelen van de dans die je niet wilde veranderen, te breken.

Kortom, MoScale voorkomt dat de AI verdwaalt in de details en dwingt het om eerst het hele dansplan te maken, zodat de robot echt doet wat je hebt gevraagd.

Technische Samenvatting: MoScale – Autoregressieve Next-Scale Modellen voor Tekst-naar-Beweging Generatie

1. Probleemstelling

Tekst-naar-beweging generatie heeft als doel menselijke beweging te synthetiseren die getrouw de tekstbeschrijvingen weerspiegelt. Hoewel recente modellen (Diffusie, Gemaskerde Transformers en Next-Token Autoregressieve modellen) realistische lokale dynamiek produceren, worstelen ze met het behoud van de globale semantische structuur. Specifiek slagen bestaande methoden er vaak niet in om af te stemmen op complexe tekstinstructies die betrekking hebben op herhalingsaantallen (bijv. "twee jumping jacks") of sequentiële actiepatronen (bijv. "draai om, pak dingen op en draai om").

De auteurs identificeren twee primaire oorzaken voor deze beperking:

Diffusie- en Gemaskerde Modellen: Deze modellen genereren volledige resolutie sequenties zonder causale ordening, afhankelijk van bidirectionele verfijning. Het afleiden van globale semantiek in één enkele, niet-gerichte voorspellingstap is inherent moeilijk, en de daaropvolgende verfijning dwingt voornamelijk lokale coherentie af in plaats van de globale structuur die in het eerste concept is vastgesteld, te wijzigen.
Next-Token Autoregressieve (AR) Modellen: Hoewel succesvol in taalmodelleren, presteert next-token AR onder in bewegingsgeneratie. Menselijke beweging vertoont zeer voorspelbare korte-termijn dynamiek, waardoor AR-modellen de verliezen minimaliseren door gebruik te maken van korte-horizon voorspelbaarheid in plaats van globale temporele structuren te leren. Bovendien versterken temporele convolutie-encoders in bewegingstokenisatie lokale correlaties, waardoor langetermijnredenering voor het model minder noodzakelijk wordt, wat resulteert in lokaal coherente maar globaal misaligneerde beweging.

2. Methodologie: MoScale

Het artikel stelt MoScale voor, een Next-Scale Autoregressief raamwerk dat standaard next-token voorspelling vervangt door een ruw-naar-fijn causale hiërarchie.

2.1 Hiërarchische Bewegingsrepresentatie

MoScale maakt gebruik van een Residual VQ-VAE om bewegingssequenties te coderen in $K$ schalen van discrete tokens.

Ruwe Schalen: Coderen de globale structuur.
Fijne Schalen: Vertegenwoordigen residuale details die niet door eerdere niveaus zijn vastgelegd.
Tokenisatie: Gegeven een invoerbeweging $m$ , produceert een encoder latente kenmerken. Deze worden gedownsampled naar verschillende temporele resoluties ( $L_1, \dots, L_K$ ). Op elke schaal $k$ is het doelkenmerk het residu van de oorspronkelijke kenmerken minus de geaccumuleerde reconstructie van vorige schalen. Dit residu wordt gekwantiseerd met behulp van een gedeelde codebook om discrete tokens $z_k$ te produceren.

2.2 Next-Scale Autoregressieve Generatie

In plaats van één token per keer te voorspellen, voorspelt het model een volledige groep tokens $z_k$ voor een specifieke schaal, geconditioneerd op:

De eerder gegenereerde ruwere schalen ( $z_1, \dots, z_{k-1}$ ).
De tekstembedding (afgeleid van een voorgeïmplementeerde T5-encoder).

De architectuur maakt gebruik van een causale Transformer met schaal-gewijze causale masking in self-attention om informatielek van fijnere naar ruwere schalen te voorkomen, waardoor een strikte hiërarchische causaliteit wordt gewaarborgd. Cross-attention richt zich op ruwe tekstembeddings om consistente semantische begeleiding te behouden.

2.3 Verfijningsstrategieën

Om datatekorten en foutpropagatie aan te pakken, introduceert MoScale twee verfijningsmechanismen:

Cross-Scale Hiërarchische Verfijning:
- Probleem: Standaard next-scale AR gebruikt teacher forcing met schone ground-truth-invoer, waardoor het niet leert hoe het moet herstellen van imperfecte ruwe-schaalvoorspellingen tijdens inferentie.
- Oplossing: Tijdens training introduceert het model verstoringen in de tokens van de ruwere schaal ( $k-1$ ) door willekeurig een subset van tokens te vervangen door willekeurige codebook-items. Het model op schaal $k$ wordt vervolgens getraind om het residu te voorspellen op basis van deze corrupte invoer. Dit dwingt het model om adaptieve verfijningen te leren en fouten die vanuit eerdere stadia zijn doorgegeven te corrigeren, waardoor blootstellingsbias wordt verminderd.
In-Scale Temporele Verfijning:
- Probleem: Tekst-bewegingsdatasets zijn klein in vergelijking met taalkorpora.
- Oplossing: Binnen elke schaal hanteert het model een selectieve maskeren-en-opnieuw-voorspellen strategie. Met behulp van bidirectionele attention (beschikbaar binnen een enkele schaal), identificeert het model tokens met lage betrouwbaarheid, maskeert deze en voorspelt ze iteratief opnieuw. Dit nabootst diffusiestijl iteratieve verfijning maar werkt binnen het causale AR-raamwerk, waardoor lokale temporele coherentie en fideliteit worden verbeterd zonder de globale ruw-naar-fijn structuur te verstoren.

3. Belangrijkste Bijdragen

Next-Scale AR Raamwerk: Introduceert een hiërarchische causale structuur voor bewegingsgeneratie die de beperkingen van next-token AR (korte-horizon shortcuts) en de globale uitlijningsproblemen van diffusie/gemaskerde modellen overwint.
Verfijningsmechanismen: Stelt Cross-Scale Hiërarchische Verfijning voor om foutpropagatie en beperkte data aan te pakken, en In-Scale Temporele Verfijning om lokale coherentie te verbeteren met behulp van bidirectionele context binnen schalen.
State-of-the-Art Prestaties: Toont aan dat MoScale SOTA-prestaties behaalt op standaard benchmarks terwijl het hoge trainings-efficiëntie behoudt.
Zero-Shot Generalisatie: Toont het vermogen van het raamwerk om te generaliseren naar diverse taken (inpainting, outpainting, editing, continue generatie) zonder taakspecifieke fine-tuning.

4. Experimentele Resultaten

Het model werd geëvalueerd op de HumanML3D en KIT-ML datasets.

Kwantitatieve Prestaties: MoScale presteert beter dan bestaande Next-Token AR, Diffusie- en Gemaskerde Transformer baselines.
- Op HumanML3D behaalt het de beste R-Precision (Top-1: 0.540) en MM-Dist (2.830), met concurrerende FID (0.046).
- Het schaalt effectief met modelgrootte (van 4 tot 18 schalen/stappen).
Kwalitatieve Prestaties: Visualisaties tonen aan dat MoScale succesvol fijne semantiek vastlegt (bijv. specifieke herhalingsaantallen en complexe sequenties) waar baselines falen.
Complexiteitsanalyse: MoScale toont de grootste relatieve winst ten opzichte van baselines op complexe tekstinstructies, wat de effectiviteit van het hiërarchische ontwerp voor complexe semantische instructies valideert.
Efficiëntie: MoScale traint sneller dan diffusiemodellen en vergelijkbare gemaskerde transformers. Inferentie is efficiënt (0,28s voor het volledige model, 0,08s voor minimale configuratie), aanzienlijk sneller dan diffusie-gebaseerde methoden (bijv. MotionDiffuse op 7,12s).
Gebruikersstudies: Gebruikers geven de voorkeur aan MoScale boven baselines voor zowel tekstuitlijning (71,5% stemmen) als bewegingskwaliteit (73,3% stemmen). Bij zero-shot editing-taken ontvangt het de hoogste voorkeurscores voor bewegingskwaliteit, tekstuitlijning en consistentie.

5. Betekenis en Claims

Het artikel beweert dat hiërarchische causaliteit de primaire drijvende kracht is van verbeterde tekstuitlijning. Door een globale semantisch steiger op de ruwste schaal te vestigen en deze progressief te verfijnen, vermijdt MoScale de "korte-horizon shortcut" van next-token AR en de "globale structuurinstabiliteit" van bidirectionele verfijningsmodellen.

De auteurs benadrukken dat:

Het hiërarchische voorspellingpad de dominante factor is in het vastleggen van gedetailleerde tekstuele aanwijzingen, en beter presteert dan bidirectionele iteratieve verfijning alleen.
Temporele verfijning voornamelijk bijdraagt aan lokale gladheid en consistentie, maar een secundaire rol speelt in globale tekstuitlijning.
Het raamwerk robuust is in regimes met beperkte data, waarbij het gebruik maakt van cross-scale verstoring om diverse tussenliggende toestanden te simuleren.
MoScale een unificerende aanpak biedt voor zowel conditionele (tekst-naar-beweging) als onvoorwaardelijke (editing, inpainting) taken via zijn maskeren-en-opnieuw-voorspellen strategie, waarbij onbewerkte gebieden effectief worden behouden.

Het werk suggereert dat het integreren van diffusiestijl voordelen (iteratieve verfijning, bidirectionele context) binnen een causaal, hiërarchisch autoregressief raamwerk een superieure balans biedt tussen trainings-efficiëntie, globale semantische uitlijning en lokale bewegingskwaliteit voor tekst-naar-beweging generatie.