💻 computer science

Feed-forward Motion In-betweening for Any 4D

Dit artikel stelt een nieuw feed-forward in-betweening-framework voor dat een frame-per-frame mesh VAE en een keyframe-geconditioneerd rectified flow-model benut om efficiënt lange 4D-meshsequenties met willekeurige vormen en verbeterde spatiotemporele controleerbaarheid te genereren, waarbij de beperkingen van trage inferentie en foutaccumulatie in bestaande methoden worden overwonnen.

Oorspronkelijke auteurs: Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hiroki Nishizawa, Hubert P. H. Shum, Yoshihiro Fukuhara, Hirokatsu Kataoka, Shigeo Morishima

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een animator bent die een film probeert te maken. Normaal gesproken moet je elk frame met de hand tekenen, of op zijn minst de cruciale momenten tekenen (zoals een personage dat springt) en de computer de rest laten invullen. Dit paper introduceert een nieuwe tool genaamd CompletionAny4D die werkt als een superintelligente, razendsnelle "invulautomaat" voor 3D-films.

Hier is hoe het werkt, uitgelegd met eenvoudige analogieën:

Het Grote Probleem: De "Trage en Onhandige" Computer

Voordat deze nieuwe tool bestond, was het maken van 3D-films (ook wel 4D genoemd, waarbij 3D-objecten bewegen door de tijd heen) alsof je een cake moest bakken door voor elke seconde van de film het deeg met de hand te kneden.

De Oude Manier: Computers moesten een enorme hoeveelheid berekeningen uitvoeren voor elke specifieke scène om te bepalen hoe het object zou bewegen. Dit duurde uren (soms wel 20 uur voor een paar seconden video) en was erg moeilijk te controleren. Als je wilde dat een personage zijn linkerarm optilde, gokte de computer vaak fout of duurde het veel te lang voordat hij het goed kreeg.
De Beperking: Bestaande snelle tools waren als een "willekeurige bewegingsgenerator". Ze konden dingen snel laten bewegen, maar je kon ze niet precies vertellen wat ze moesten doen. Als je zei "spring", dan sprong het misschien, maar het kon ook op een vreemde manier draaien die je niet wilde.

De Oplossing: CompletionAny4D

De auteurs hebben een systeem gebouwd dat lijkt op een professionele assistent van een animator die in seconden werkt, in plaats van uren. Het kan een 3D-object (zoals een robot, een kat of een boom) nemen en een paar "keyframes" (momentopnames van het begin en einde van een beweging, plus misschien een paar in het midden) en razendsnel de vloeiende beweging tussen deze punten invullen.

Hier zijn de drie "geheime ingrediënten" die het laten werken:

1. Het "Skelet versus de Dans" (Frame-wise VAE)

Stel je voor dat je een pop hebt. De vorm van de pop (de kop, armen, benen) is één ding, maar de dans die zij uitvoert is iets anders.

Eerdere tools probeerden de hele dans in één keer te onthouden, wat het moeilijk maakte om een specifieke beweging te stoppen en te veranderen.
CompletionAny4D scheidt de vorm van de pop van de beweging. Het bekijkt de vorm van de pop één keer (het "anker") en behandelt vervolgens elk afzonderlijk frame van de dans als een eigen instructie. Hierdoor kan de computer zeggen: "Oké, op dit exacte moment moet de arm hier zijn," zonder de rest van het lichaam te verstoren.

2. De "GPS-Navigatie" (Keyframe Conditioning)

Denk aan de beweging als een autorit.

Oude Snelle Tools: Zij reden gewoon in een algemene richting. Je kwam misschien wel in de juiste stad aan, maar je nam wellicht een vreemde omweg of miste de specifieగ afslag die je wilde.
CompletionAny4D: Je geeft het een kaart met specifieke controlepunten (Keyframes). "Begin hier, stop bij deze boom en eindig bij de berg." De computer wordt gedwongen om exact door die controlepunten te rijden. Hij raadt niet alleen een route, maar berekent het meest vloeiende, natuurlijke pad dat moet passeren door jouw specifieke punten.

3. De "Rechte Lijn Magie" (Rectified Flow)

Dit is de motor onder de motorkap. Stel je voor dat je van Punt A naar Punt B wilt gaan.

Oude methoden: Zij namen misschien een kronkelend, verwarrend pad door stap voor stap de beste weg te proberen te vinden, wat ervoor zorgt dat fouten zich opstapelen (zoals een dronken wandeling).
CompletionAny4D: Het gebruikt een techniek genaamd "Rectified Flow". Denk hierbij aan het trekken van een perfect rechte lijn tussen je start- en eindpunt en vervolgens de punten langs die lijn invullen. Dit is veel sneller en veel nauwkeuriger omdat de computer niet in de war raakt of van koers afwijkt.

Wat het Kan (en Wat het Niet Kan)

De Winsten:

Snelheid: Het genereert 16 seconden animatie in ongeveer 4 seconden op een krachtige computer. Dat is direct vergeleken met de 20 uur die het vroeger kostte.
Controle: Als je het een tekstprompt geeft zoals "spring en draai" samen met een paar keyframes, volgt het je instructies veel beter dan eerdere tools.
Lange Verhalen: Hoewel het getraind is op korte clips, kan het deze korte clips aan elkaar plakken om langere films te maken zonder dat het personage "dronken" wordt of zijn vorm verliest.

De Limieten (die het paper toegeeft):

Geen "Partiële" Controle: Je kunt het niet vertellen om "alleen de linkerhand te bewegen" terwijl de rest perfect stil blijft staan. Het bestuurt het hele object tegelijkertijd.
Geen Vormverandering: Als het object van fundamentele vorm moet veranderen (zoals een rups die een vlinder wordt), kan deze tool dat niet. Het houdt het "skelet" van het object gedurende de hele film hetzelfde.
Eén Schot: Het genereert in één keer een film van een vaste lengte. Het kan niet in één enkele passage oneindig blijven genereren (hoewel je ze wel aan elkaar kunt plakken).

De Kern van het Verhaal

CompletionAny4D is een nieuwe manier om 3D-animaties te maken die snel, controleerbaar en nauwkeurig is. In plaats van te raden hoe een 3D-object zou moeten bewegen, luistert het naar jouw specifieke instructies (keyframes) en vult het de gaten razendsnel in, waardoor het mogelijk wordt om complexe 3D-animaties in seconden in plaats van uren te maken.

Technische Samenvatting: CompletionAny4D

Probleemstelling

4D-dynamiek, die 3D-geometrie representeert die evolueert over de tijd, is fundamenteel voor world modeling in animatie en games. Het genereren van controleerbare 4D-meshsequenties blijft echter uitdagend vanwege het gebrek aan grootschalige, langdurige 4D-datasets met willekeurige topologieën. Bestaande benaderingen kampen met twee primaire beperkingen:

Inference-efficiëntie versus Controleerbaarheid: Vroege text-to-4D methoden vertrouwen op het distilleren van video-diffusie-priors of test-time optimalisatie (bijv. Score Distillation Sampling). Hoewel deze de noodzaak voor gecureerde 4D-trainingsdata vermijden, vereisen ze prohibitief dure per-instance optimalisatie (bijv. ~20 uur voor 41 frames), wat ze onpraktisch maakt voor interactief gebruik.
Beperkingen van Feed-Forward Generatoren: Recente feed-forward modellen bieden snelle inference maar missen precieze spatiotemporele controle. Ze hebben vaak moeite met het genereren van specifieke gewenste bewegingen op basis van alleen tekstprompts. Bovovenstaande modellen hebben bovendien moeite met het uitbreiden naar langdurige sequenties via autoregressieve generatie, omdat ze leiden tot foutaccumulatie en bewegingsdrift, aangezien ze geen expliciete beperkingen hebben om consistentie over de tijd te handhaven.

Het kernprobleem dat wordt aangepakt is hoe men snelle, feed-forward 4D-meshgeneratie kan bereiken die ondersteuning biedt voor precieze spatiotemporele controle via ijle keyframes en tekst, terwijl de consistentie over lange periodes behouden blijft, zonder dat daarvoor per-scène optimalisatie nodig is.

Methodologie: CompletionAny4D

De auteurs stellen CompletionAny4D voor, een tekst- en keyframe-geconditioneerd feed-forward framework ontworpen voor motion in-betweening op willekeurige 4D-meshes. Het framework ontkoppelt de topologie-/vorminformatie van de bewegingsinformatie en opereert in een latente ruimte.

1. Frame-wijze Mesh VAE

Om directe keyframe-conditionering mogelijk te maken, ontwerpen de auteurs een frame-wijze mesh VAE, in tegenstelling tot bestaande sequentie-wijze VAE's (bijv. DyMeshVAE) die temporele informatie comprimeren.

Architectuur: De encoder verwerkt elk frame onafhankelijk. Het extraheert een gedeelde vormstructuur latent ( $\mathbf{V}_0^n$ ) die verankerd is door een referentiemesh ( $M_0$ ) en genereert per-frame traject-latents ( $\mathbf{V}_t^n$ ) voor elke tijdstap.
Mechanisme: Door frames onafhankelijk te coderen terwijl een gedeelde vormanker behouden blijft, creëert het model een frame-uitgelijnde latente ruimte. Dit maakt het directe "vastzetten" of vervangen van latente tokens op specifieke keyframe-indices mogelijk zonder impliciet niet-keyframe tijdstappen te wijzigen, een capaciteit die gehinderd wordt door de temporele compressie in sequentie-wijze modellen.

2. Keyframe-geconditioneerde Rectified Flow

De generatie van niet-keyframe frames wordt gemodelleerd als een motion in-betweening taak met behulp van een Rectified Flow model met een MMDiT (Masked Multi-Modal Diffusion Transformer) backbone.

Conditioneringsstrategie: In plaats van eenvoudige latente vervanging tijdens de sampling (wat zwakke controle oplevert), gebruikt het model een masked latent replacement scheme tijdens training en inference.
- Een binaire mask $m$ identificeert geobserveerde keyframes.
- De conditionering input voor het flow-model bestaat uit de tekstprompt, de gedeelde vorm-latent en een geconcateneerde sequentie waarbij keyframe-latents "schoon" zijn (ground truth) en niet-keyframe latents "genuist" zijn.
Trainingsdoel: Het model leert een snelheidveld $\mathbf{v}_\theta$ om ruis langs rechte lijnen naar data te transporteren. De verliesfunctie minimaliseert de regressiefout tussen de voorspelde snelheid en de doel snelheid, geconditioneerd op de gemaskeerde sequentie.
Inference: Gegeven een tekstprompt, een referentiemesh en ijle keyframes, lost het model de geleerde Gewone Differentiaalvergelijking (ODE) op om de tussenliggende traject-latents te synthetiseren, die vervolgens worden gedecodeerd naar de volledige 4D-mesh sequentie.

Belangrijkste Bijdragen

CompletionAny4D Framework: Het eerste feed-forward framework voor spatiotemporeel controleerbare 4D-mesh motion in-betweening op willekeurige topologieën. Het maakt precieze controle mogelijk via ijle keyframes en tekst, getraind op kort-horizon data maar in staat tot lang-horizon generatie.
Frame-wijze Mesh VAE: Een nieuw VAE-ontwerp dat vormstructuur scheidt van beweging en frames onafhankelijk codeert. Deze architectuur is essentieel voor het mogelijk maken van directe keyframe latent injectie en gemaskeerde conditionering, waarmee de beperkingen van temporeel gecomprimeerde latente ruimtes worden overwonnen.
Keyframe-geconditioneerde Rectified Flow: Een rectified flow model dat ijle keyframe-beperkingen direct integreert in het conditioneringsmechanisme via gemaskeerde latente vervanging. Deze benadering leert de keyframe-beperkingen te respecteren tijdens de training, wat resulteert in superieure controleerbaarheid vergeleken met inference-tijd vervanging baselines.
Lang-horizon Generatie via In-betweening: De demonstratie dat ijle keyframe-conditionering de generatie buiten de trainingshorizon kan stabiliseren. Door in-betweening taken te koppelen (bijv. 16 frames genereren, en vervolgens het laatste frame gebruiken als een nieuwe start keyframe), produceert de methode consistente lange sequenties zonder de drift die typisch is voor autoregressieve generatie.

Experimentele Resultaten

De methode is geëvalueerd op de DyMesh16 (16-frame) en DyMesh32 (31-frame) benchmarks.

Short-Horizon Prestaties (DyMesh16):
- Nauwkeurigheid: CompletionAny4D presteerde significant beter dan zowel het uitgebrachte AnimateAnyMesh model als een sampling-tijd vervanging baseline op onbeperkte frames in vertex nauwkeurigheidsmetrieken (RMSE, Chamfer distance, DTW) voor onbeperkte frames. Bijvoorbeeld, met 3 keyframes behaalde de voorgestelde methode een RMSE van 1.852 (geschaald $\times 100$ ) vergeleken met 6.438 voor de baseline en 6.424 voor AnimateAnyMesh.
- Controleerbaarheid: Gebruikersstudies (20 participanten) toonden aan dat de voorgestelde methode de hoogste scores behaalde in "Control" (4.12/5) en "Text" alignment (3.37/5), waarmee zowel de baseline als het open-source AnimateAnyMesh model werd overtroffen.
- Kwaliteit: Hoewel AnimateAnyMesh iets hogere VBench scores behaalde in open settings (geen keyframes), behield CompletionAny4D competitieve bewegingsnatuurlijkheid en esthetische kwaliteit terwijl het superieure controleerbaarheid bood.
Long-Horizon Prestaties (DyMesh32):
- Geëvalueerd via een twee-traps generatieprotocol (16 frames + 16 frames met overlap).
- Stabiliteit: AnimateAnyMesh vertoonde significante rotatiefoutaccumulatie en drift in de tweede fase. In contrast hiermee behield CompletionAny4D spatiotemporele consistentie over de fasen, waarbij het de laagste RMSE (2.132) en DTW (0.7272) behaalde onder alle methoden.
- Gebruikersvoorkeur: Gebruikers beoordeelden CompletionAny4D het hoogst op natuurlijkheid, vormbehoud en controleerbaarheid voor lange sequenties.
Efficiëntie: Het framework demonstreerde snelle inference snelheden (ongeveer 2.8 seconden voor 16 frames op een H100 GPU), wat aanzienlijk sneller is dan optimalisatie-gebaseerde methoden en competitief of sneller is dan andere feed-forward baselines.

Betekenis en Claims

Het artikel claimt dat CompletionAny4D een belangrijke stap voorwaarts vertegenwoordigt in controleerbare 4D-contentcreatie. De primaire betekenis ligt in het aantonen dat expliciete spatiotemporele conditionering (via ijle keyframes en tekst) een levensvatbaar en effectief alternatief is voor tekst-alleen generatie of dure test-time optimalisatie.

De auteurs benadrukken dat:

Training-tijd conditionering is superieur aan inference-tijd vervanging: Het leren respecteren van keyframe-beperkingen binnen het flow-model levert veel betere resultaten op dan simpelweg latents vastzetten tijdens de sampling.
Frame-uitgelijnde latents zijn noodzakelijk: De voorgestelde frame-wijze VAE is een kritieke architecturale component die directe manipulatie van specifieke frames mogelijk maakt, een vereiste voor robuuste in-betweening die sequentie-wijze modellen niet gemakkelijk kunnen voldoen.
Short-to-Long Generalisatie: De methode bewijst dat modellen getraind op korte sequenties lange, consistente 4D-bewegingen kunnen genereren als ze worden gestuurd door ijle keyframes, wat effectief het probleem van foutaccumulatie oplost dat inherent is aan autoregressieve benaderingen.

Het artikel concludeert dat hoewel tekstprompts alleen vaak onvoldoende zijn om complexe, precieze bewegingen te specificeren, de combinatie van tekst en ijle keyframes een krachtige, praktische interface biedt voor het genereren van controleerbare 4D-mesh animaties.