💻 computer science

Generative Motion In-betweening by Diffusion over Continuous Implicit Representations

Dit artikel stelt een nieuw latent diffusion-modelpijplijn voor op basis van motion implicit neural representations (INR) die soepele en diverse bewegingsovergangen effectief reconstrueert vanuit extreem schaarse keyframes, terwijl de nauwkeurigheid van de keyframes strikt wordt behouden en bewegingscontinuïteit wordt gewaarborgd.

Oorspronkelijke auteurs: Shiyu Fan, Paul Henderson, Edmond S. L. Ho

Gepubliceerd 2026-05-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Shiyu Fan, Paul Henderson, Edmond S. L. Ho

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een animator bent die probeert een film te maken van een personage dat van punt A naar punt B loopt. In de oude tijden moest je elk enkel frame met de hand tekenen. Later konden computers de frames ertussen "raden" als je hen een start- en een eindhouding gaf. Dit heet motion in-betweening.

Echter, huidige computerprogramma's hebben vaak moeite als je hen slechts enkele "keyframes" geeft (momentopnames van de houding van het personage). Ze kunnen ervoor zorgen dat de voeten van het personage over de vloer glijden alsof ze op ijs staan, of hun bewegingen kunnen onnatuurlijk en schokkerig lijken. Ze vergeten ook soms precies waar het personage aan het begin en het einde zou moeten zijn.

Dit artikel introduceert een nieuw hulpmiddel genaamd Generative Motion In-betweening by Diffusion over Continuous Implicit Representations. Dat is een lange naam, dus laten we het ontleden met enkele analogieën.

1. Het Probleem: De "Gepixelde" versus "Vlotte" Kaart

De meeste animatiecomputers behandelen tijd als een kralenketting. Ze kennen alleen specifieke kralen (frames) op specifieke tijdstippen. Als je hen kralen geeft die ver uit elkaar liggen, moeten ze het touw ertussen raden. Vaak is die gok verkeerd, wat leidt tot schokkerige bewegingen of "voetschuiven".

De auteurs stellen voor om in plaats daarvan een vlotte, continue kaart te gebruiken. Ze maken gebruik van iets dat een Implicit Neural Representation (INR) wordt genoemd.

De Analogie: Stel je het verschil voor tussen een digitale foto met lage resolutie (gepixelde, blokachtige) en een vector-tekening met hoge resolutie (vlotte lijnen die er perfect uitzien, ongeacht hoe ver je inzoomt).
Hoe het werkt: In plaats van een lijst met houdingen op te slaan, leert hun systeem een "vlotte functie" die de hele beweging beschrijft als één ononderbroken kromme. Dit betekent dat de computer de beweging begrijpt als een continue stroom, niet als een reeks losgekoppelde momentopnames. Dit voorkomt natuurlijk de "trilling" en maakt de beweging veel natuurlijker.

2. De Motor: De "Diffusie"-Kunstenaar

Om de gaten tussen je schaarse keyframes op te vullen, gebruiken de auteurs een Diffusiemodel.

De Analogie: Denk aan diffusie als een beeldhouwer die begint met een blok rommelige, chaotische klei. De beeldhouwer hakkt langzaam het lawaai weg, verfijnt de vorm totdat een perfect standbeeld ontstaat.
Hoe het werkt: De computer begint met willekeurige ruis en "ontruist" dit langzaam om een beweging te creëren. De uitdaging is ervoor te zorgen dat deze nieuwe beweging overeenkomt met je specifieke start- en eindpunten (de keyframes) zonder de natuurlijke variatie van beweging te verliezen.

3. De Geheime Ingrediënt: "Implicit Manifold Guidance" (IMG)

Hier is de grootste innovatie. Normaal gesproken raakt een diffusiemodel in de war wanneer het probeert specifieke regels te volgen (zoals "wees op dit exacte punt op dit exacte tijdstip"). Het kan de regel zo strikt volgen dat de beweging stijf wordt, of het kan de regel negeren en afdrijven.

De auteurs hebben een nieuw stuurmechanisme uitgevonden genaamd Implicit Manifold Guidance (IMG).

De Analogie: Stel je voor dat je probeert een spanningskoord te lopen (de "manifold" of het vlotte pad van natuurlijke beweging) terwijl je een zwaar gewicht vasthoudt dat je naar een specifieke bestemming trekt (je keyframes).
- Als je hard naar de bestemming trekt, kun je van het spanningskoord vallen (de beweging wordt onnatuurlijk).
- Als je gewoon op het spanningskoord blijft, kun je de bestemming missen.
- IMG is de balans. Het controleert constant twee dingen:
  1. Geometrische Fout: "Zijn we op de juiste plek?" (Landde de voet waar hij zou moeten?)
  2. Manifold-Fout: "Lopen we nog steeds natuurlijk?" (Blijven we op het vlotte, natuurlijke pad?)
Het Resultaat: Het systeem duwt de beweging zachtjes om je keyframes nauwkeurig te raken zonder het te dwingen de wetten van de natuurkunde te breken of robotachtig te lijken. Het corrigeert het pad in real-time terwijl de "beeldhouwer" het lawaai weghakt.

4. Waarom Dit Belangrijk Is

Het artikel beweert dat door deze drie dingen te combineren (Vlotte Continue Kaarten + Diffusie-beeldhouwen + Slim Sturen):

Nauwkeurigheid: Het personage raakt de exacte start- en eindhoudingen die je hebt gevraagd, zelfs als je hen slechts twee of drie momentopnames hebt gegeven.
Kwaliteit: De beweging is vlot, zonder voetschuiven of trillen.
Variatie: In tegenstelling tot oudere methoden die elke keer precies hetzelfde saaie loopje kunnen produceren, kan dit systeem veel verschillende, realistische manieren genereren om van A naar B te komen.
Geen Tekst Nodig: Je hoeft geen beschrijving in te typen zoals "een blij wandeling" om het te laten werken; het gebruikt gewoon de houdingen die je het geeft.

Samenvatting

Beschouw dit artikel als het leren van een computer om een meester-animator te zijn die, als hij slechts een paar ruwe schetsen ziet, de rest van de film kan invullen met een vlotte, realistische en gevarieerde performance, terwijl hij er tegelijkertijd voor zorgt dat het personage precies landt waar je hen hebt verteld. Ze deden dit door de computer te leren beweging te zien als een vlotte, continue rivier in plaats van een reeks hakkerige stappen, en het vervolgens een speciaal kompas te geven om op koers te blijven.

Technische Samenvatting: Generatieve Motion In-betweening door Diffusie over Continue Impliciete Representaties

Probleemstelling
Motion in-betweening is een fundamentele taak in karakteranimatie, waarbij het genereren van vloeiende, natuurlijke overgangen tussen schaarse keyframes vereist is. Hoewel recente vooruitgang in generatieve modellen, met name diffusiemodellen, de motion-synthese heeft verbeterd, lopen bestaande methoden tegen aanzienlijke beperkingen aan. Traditionele regressie-gebaseerde benaderingen worstelen vaak met diversiteit, terwijl huidige op diffusie gebaseerde methoden opvallende keyframe-fouten, motion-discontinuïteiten (zoals trillen en voetglijden) en trage trainings- en generatiesnelheden vertonen. Bovendien vertrouwen veel state-of-the-art modellen op tekstconditionering om kwaliteit te waarborgen, wat hun praktische toepasbaarheid beperkt in scenario's waar tekstuele beschrijvingen ontbreken. Een kritieke uitdaging blijft het genereren van hoogwaardige, diverse bewegingen vanuit extreem schaarse en ambiguë ruimtetemporele informatie zonder onnatuurlijke artefacten in te voeren.

Methodologie
De auteurs stellen een nieuwe pijplijn voor die Latent Diffusion Models (LDM) integreert met Motion Implicit Neural Representations (INR). De kerninnovatie ligt in het afnemen van INR-parameters uit een continue latente variëteit die geconditioneerd is op schaarse keyframes, in plaats van te opereren op discrete tijdstappen.

Motion Representatie (INR): Het systeem stelt bewegingssequenties voor als continue functies die tijd afbeelden op poses, gecodeerd in een compact latente vector $z$ . Dit wordt bereikt met een Variational Autoencoder (VAE) gebaseerd op NeMF, die beweging decomposeert in globale (root-oriëntatie en -translatie) en lokale (gewrichtsposities, rotaties, snelheden) componenten. Deze continue representatie vangt globale bewegingspatronen op en gladde overgangen, waardoor ruis en discontinuïteiten die vaak voorkomen in discrete-tijdsmodellering worden verminderd.
Latent Diffusie-Sampler: De auteurs ontwerpen een diffusiesampler gebaseerd op een Diffusion Transformer (DiT). In tegenstelling tot standaard self-attention-mechanismen, maakt het netwerk gebruik van cross-attention om informatie van willekeurig geselecteerde schaarse keyframes te integreren in het ruisverwijderingsproces. Dit stelt het model in staat om schaarse constraints effectief af te beelden op de compacte latente ruimte, zelfs bij grote temporele gaten.
Trainingsdoel: Het model wordt getraind om de schone latente $z_0$ te voorspellen vanuit ruisige invoer. De verliesfunctie combineert de standaard ruisverwijderingsdoelstelling met geometrische consistentie-termen (root-translatie, root-oriëntatie, gewrichtspositie en gewrichtsrotatiefouten) berekend op de keyframe-locaties. Classifier-free guidance (CFG) wordt ingezet om flexibele conditionering mogelijk te maken.
Implicit Manifold Guidance (IMG): Om keyframe-fouten verder te verminderen terwijl de diversiteit van het generatieve model behouden blijft, introduceren de auteurs een optimalisatiestrategie voor afname genaamd IMG. Tijdens het inferentieproces (specifiek de laatste 300 stappen van een 1000-staps DDIM-schema) wordt de afnamerichting verfijnd met behulp van twee op gradiënten gebaseerde constraints:
- Geometrisch Verlies: Minimaliseert de fout tussen de gegenereerde beweging en de ground-truth keyframes.
- Manifoldbehoudverlies: Voorkomt dat de optimalisatie de latente representatie van de geleerde datamanifold duwt. Dit wordt bereikt door de gegenereerde beweging te interpoleren met een sferische lineaire interpolatie (Slerp) van de keyframes, deze "ingevulde" beweging te coderen, en de afstand te minimaliseren tussen de oorspronkelijke voorspelling en deze ingevulde latente. Dit zorgt ervoor dat de gegenereerde beweging realistisch en vloeiend blijft.

Belangrijkste Bijdragen

Eerste Aanpassing van Motion INR aan Generatieve In-betweening: Het artikel presenteert het eerste kader om Motion INR aan te passen aan de generatieve motion in-betweening-taak met behulp van een latent diffusiemodel. Deze aanpak maakt gebruik van compacte, continue-tijdrepresentaties om hoogwaardige bewegingen te genereren vanuit extreem schaarse keyframes zonder tekstconditionering.
Manifoldbehoudstrategie: De auteurs introduceren het concept van manifoldbehoud voor afnameoptimalisatie. Zij ontwerpen een nieuwe verliesfunctie binnen het posterior-afname-algoritme, specifiek toegesneden op motion impliciete variëteiten, wat effectief keyframe-fouten vermindert terwijl bewegingskwaliteit en diversiteit behouden blijven.
Superieure Prestaties in Schaarse Scenario's: De voorgestelde methode bereikt state-of-the-art prestaties in motion in-betweening-taken geconditioneerd op extreem schaarse keyframes (bijvoorbeeld 1, 5 of 20 willekeurige frames) zonder tekstuele beschrijvingen te vereisen, en presteert beter dan bestaande op diffusie gebaseerde en op VAE gebaseerde baselines.

Resultaten
Uitgebreide experimenten werden uitgevoerd op het HumanML3D-dataset (met gebruik van de SMPL-representatie) met vergelijkingen tegen baselines zoals CondMDI, NeMF, MMM en TST.

Kwantitatieve Metrieken: Het voorgestelde model presteerde consistent beter dan baselines in Fréchet Inception Distance (FID), Diversiteit en Multi-Modality over verschillende keyframe-dichtheden (K=1, 5, 20). Opmerkelijk is dat het aanzienlijk lagere keyframe-fouten bereikte in vergelijking met CondMDI en NeMF, met name in schaarse scenario's (K=1 en K=5).
Kwalitatieve Verbeteringen: Visuele vergelijkingen toonden aan dat het model vloeiendere overgangen genereert met minder artefacten zoals voetglijden of trillen. In tegenstelling tot baselines die vaak falen om doelposities te bereiken of onnatuurlijke ledemaatbewegingen vertonen, behield de voorgestelde methode de nauwkeurigheid van de globale trajecten en natuurlijke staplengtes.
Ablatiestudies: Experimenten bevestigden de effectiviteit van de INR-representatie ten opzichte van andere VAE-types (MLD, MMM) en valideerden dat de volledige IMG-strategie (combinatie van geometrische en manifold-verliezen) de beste balans oplevert tussen lage keyframe-fouten en hoge bewegingsdiversiteit.
Generalisatie en Efficiëntie: Het model toonde sterke generalisatie bij testen op het AIST++-dataset (alleen getraind op HumanML3D). Bovendien verminderde het gebruik van cross-attention op 1D INR-parameters in plaats van volledige sequentie self-attention de computationele complexiteit, en maakte de flexibele IMG-afname efficiënte afwegingen tussen snelheid en kwaliteit mogelijk.

Betekenis
Het artikel beweert dat door het vaststellen van een mapping tussen INR en schaarse ruimtetemporele informatie binnen een latent diffusiekader, de voorgestelde methode succesvol plausibele en vloeiende bewegingen reconstrueert vanuit extreem schaarse data. De betekenis van dit werk ligt in het vermogen om hoogwaardige bewegingsgeneratie te ontkoppelen van de behoefte aan dichte keyframes of tekstconditionering. Door het introduceren van manifoldbehoud tijdens de afname, adresseren de auteurs de gebruikelijke afweging tussen het naleven van strikte constraints en het behouden van generatieve diversiteit. Deze aanpak biedt een praktische oplossing voor karakteranimatiescenario's waar slechts beperkte invoergegevens beschikbaar zijn, en bereikt state-of-the-art resultaten in uitdagende settings met schaarse keyframes, terwijl zowel keyframe-nauwkeurigheid als de diversiteit van in-between-bewegingen wordt gewaarborgd.