🤖 AI

Making Time Editable in Video Diffusion Transformers

Dit artikel stelt een lichtgewicht temporele module voor die vooraf getrainde Video Diffusion Transformers aanvult om expliciete controle over bewegingssnelheid en temporele structuur mogelijk te maken zonder dat een herontwerp van de oorspronkelijke backbone vereist is.

Oorspronkelijke auteurs: Konstantin Kuklev, Viacheslav Vasilev, Alexander Kunitsyn, Andrei Ivaniuta, Denis Dimitrov

Gepubliceerd 2026-06-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Konstantin Kuklev, Viacheslav Vasilev, Alexander Kunitsyn, Andrei Ivaniuta, Denis Dimitrov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok hebt die ongelooflijk goed is in het bereiden van heerlijke maaltijden (het genereren van videoframes). Deze kok heeft geleerd om perfecte films te maken door duizenden uren aan film te bekijken. Maar er is een addertje onder het gras: de kok begrijpt "tijd" niet echt als een apart ingrediënt. Voor de kok is "tijd" slechts een bijproduct van hoe het kookproces verloopt. Als je de kok vraagt om een scène te koken waarin een meisje rent, kan hij dat doen. Maar als je hem vraagt om die scène op een andere snelheid af te draaien — zeg, in slow motion of juist super snel — dan ziet het resultaat er vaak glitchy uit, zoals een cartoonfiguur met wankele benen, of de scène is simpelweg niet fysiek logisch.

Dit artikel introduceert een nieuwe "keukengereedschap" genaamd de Time Adapter die dit probleem oplost. Zo werkt het, uitgelegd aan de hand van eenvoudige concepten:

Het Probleem: Tijd is "Overbelast"

In huidige video-AI-modellen is "tijd" als een Zwitsers zakmes dat probeert te veel taken tegelijk tegelijk uit te voeren. Het moet de AI vertellen:

Hoe ver het kookproces gevorderd is (denoising).
Hoe het verhaal zich voorwaarts beweegt (motion evolution).

Omdat deze taken met elkaar verstrengeld zijn, raakt het model in de war. Als je de snelheid van de video verandert (de FPS, of frames per seconde), heeft het model moeite om de beweging vloeiend te houden. Het is alsof je een auto probeert te rijden waarbij het gaspedaal ook het stuur is; als je sneller wilt gaan, stuur je per ongeluk de weg af.

De Oplossing: Een Gespecialiseerde "Tijdregelaar"

De auteurs stellen voor om een kleine, lichtgewicht module toe te voegen aan de AI die fungeert als een toegewijde Tijdregelaar (Time Dial). Deze regelaar scheidt het concept tijd in twee duidelijke controles:

De Globale Snelheidsregelaar (FPS): Deze vertelt het model: "Hé, we koken op 60 frames per seconde, dus de actie moet snel gebeuren," of "We zitten op 15 frames per seconde, dus doe het rustig aan." Dit regelt het algemene tempo van de scène.
De Lokale Tijdlijnregelaar (Latent Time): Deze vertelt het model: "Dit specifieke frame is de 5e seconde van het verhaal." Dit zorgt ervoor dat de opeenvolging van gebeurtenissen logisch en geordend blijft, zelfs als de snelheid verandert.

Hoe het in de praktijk werkt

Beschouw het oorspronkelijke AI-model als een getalenteerd acteur die een scène kent, maar in de war raakt als de regisseur het tempo halverwege de scène verandert. De nieuwe "Time Adapter" is als een stage manager die twee dingen in het oor van de acteur fluistert:

"De regisseur wil dat deze scène een sprint is (Global Speed)."
"Je bent nu op het moment dat je je omdraait (Local Timeline)."

Omdat de acteur (de AI) nu deze duidelijke, gescheiden instructies heeft, kan hij de sprint vloeiend uitvoeren zonder over zijn eigen voeten te struikelen.

Wat het onderzoek heeft aangetoond

De onderzoekers hebben dit getest op twee soorten scènes:

Menselijke acties: Zoals een meisje dat rent of danst.
- Resultaat: De nieuwe methode maakte de bewegingen veel vloeiender en consistenter. De armen en benen van het meisje zagen er niet meer wankel uit wanneer de snelheid veranderde.
Natuurlijke processen: Zoals mist die optrekt of zonlicht dat door bomen beweegt.
- Resultaat: De nieuwe methode zorgde ervoor dat deze langzame, geleidelijke veranderingen er realistischer uitzagen. De mist verdween niet zomaar plotseling, maar loste op een natuurlijke manier over tijd op.

Ze ontdekten ook dat deze "Tijdregelaar" werkt op verschillende AI-modellen, niet alleen op het model waarop ze hem hebben getraind. Het is als een universele afstandsbediening die op verschillende merken tv's werkt.

Belangrijke Beperkingen

Het artikel is eerlijk over wat dit hulpmiddel niet kan doen:

Het creëert geen extra tijd: Als je om een video van 10 seconden vraagt maar de AI vertelt om deze op dubbele snelheid af te spelen, blijft de video nog steeds 10 seconden lang. De actie vindt alleen sneller plaats. Het kan een video niet magisch uitrekken om aan een langer verhaal te voldoen.
Het heeft goede data nodig: Als de AI nog nooit een specifiek type slow motion heeft gezien in zijn trainingsdata, kan het nieuwe hulpmiddel dit niet perfect vanuit het niets verzinnen. Het moet eerder soortgelijke "recepten" hebben gezien.
Het meten van succes is lastig: Standaard computertests raken soms in de war. Een video kan perfect lijken voor een mens, maar een lagere score krijgen op een computertest omdat de computer naar specifieke wiskundige patronen zoekt in plaats van het "gevoel" van de vloeiendheid te ervaren.

De Kern van het Verhaal

Dit artikel vindt niet het wiel opnieuw uit voor het genereren van video vanaf nul. In plaats daarvan neemt het een bestaande, krachtige videogenerator en geeft het een toegeweide "Tijdcontrole"-knop. Hierdoor kunnen gebruikers hoe de tijd in een video stroomt aanpassen — de snelheid verhogen of verlagen — zonder de natuurkunde te breken of personages glitchy te laten lijken. Het verandert tijd van een verwarrende, verborgen variabele in iets dat je daadwerkelijk kunt bewerken.

Technische Samenvatting: Tijd Bewerkbaar Maken in Video Diffusion Transformers

Probleemstelling

Moderne Diffusion Transformers (DiTs) hebben aanzienlijk succes geboekt in het genereren van hoogwaardige videoframes en realistische beweging. Ze lijden echter aan een beperkte temporele controleerbaarheid. In standaard DiT-gebaseerde videogeneratie fungeert "diffusietijd" als een overbelaste variabele, die dient als een proxy voor zowel de voortgang van het denoising-proces als de evolutie van beweging. Gevolgelijk worden temporele dynamieken niet gemodelleerd als expliciete, onafhankelijk controleerbare variabelen, maar zijn ze verstrengeld met content- en bewegingsrepresentaties.

Deze verstrengeling creëert ambiguïteit: het model heeft moeite om te onderscheiden hoe ver het denoising-proces is gevorderd versus hoe de beweging in de loop van de tijd moet ontvouwen. Als een gevolg hiervan faalt het model erin om consistente temporele dynamiek te behouden wanneer het doel-temporele rooster (bijv. Frames Per Second of FPS) verandert ten opzichte van de training. Het kan plausibele individuele frames produceren, maar worstelt met de kwaliteit van de tussenliggende beweging, wat leidt tot artefacten in gearticuleerde structuren (bijv. ledematen) of het falen van geleidelijke fysieke processen (bijv. het verdwijnen van mist) om correct te evolueren. Bestaande methoden controleren wat beweegt of waar het beweegt, maar ze maken de temporele progressie zelf niet een expliciet bewerkbare variabele.

Methodologie

De auteurs stellen een methodologie voor om gepreïnteerde DiT-backbones uit te breiden met een expliciete temporele controlemodule, de Time Adapter (TA) genoemd. Deze aanpak scheidt globale bewegingssnelheid van lokale temporele uitlijning zonder de backbone-architectuur te herontwerpen.

Kernarchitectuur: Time Adapter

De methode introduceert twee complementaire temporele signalen die worden geïntegreerd via lichtgewicht additieve adapters:

Globale FPS-conditionering: Een embedding $E_{fps}(fps)$ afgeleid van de invoer-FPS (bijv. 15, 24, 30, 60). Dit moduleert de globale bewegingssnelheid via de denoising-conditioneringsroute, waarbij de verwachte cadans van de scène-evolutie wordt bepaald.
Lokale Latent-Tijd Embeddings: Een embedding $E_{\tau}(\tau)$ die frame-wijze temporele posities ( $\tau$ ) representeert. Dit zorgt voor lokale temporele ordening en correspondentie op token-niveau, waardoor de progressie van specifieke frames wordt uitgelijnd.

De conditioneringsvector $e$ wordt geformuleerd als:
$e = E_t(t) + E_{fps}(fps)$
waarbij $E_t(t)$ de standaard diffusietijd-embedding is. De latent-tijd embedding wordt toegevoegd aan de patch-embeddings:
$h_0 = \text{PatchEmbed}(x_t) + E_{\tau}(\tau)$

Deze factorisatie stelt het model in staat om temporele progressie expliciet te representeren in plaats van uitsluitend te vertrouwen op diffusietijd als een impliciete proxy. De adapters zijn geïnitialiseerd om het gedrag van de gepreïnteerde backbone te behouden.

Trainingsregimes

De auteurs evalueren twee trainingsstrategieën:

Time Adapter (TA): Alleen de temporele takken (adapters) worden getraind, terwijl de DiT-backbone bevroren blijft. Dit behoudt de oorspronkelijke generatieve prior.
Fine-Tuned Time Adapter (FTTA): Dezelfde temporele conditionering wordt gebruikt, maar de volledige DiT-backbone wordt aanvullend gefinetuned. Dit introduceert een sterkere globale temporele regularisatie.

De modellen worden getraind op een gecureerde dataset van ongeveer 40.000 video's die menselijke acties en natuurlijke processen beslaan over meerdere FPS-regimes (24–60 FPS).

Belangrijkste Bijdragen

Expliciete Temporele Factorisatie: Het artikel introduceert een framework dat de tijd ontkoppelt van het denoising-proces door deze te splitsen in globale bewegingssnelheid (FPS) en lokale temporele uitlijning (latent tijd).
Behoud van Backbone: De TA-aanpak maakt expliciete tijdsbewerking mogelijk zonder de backbone te herontwerpen, waarbij de visuele en structurele priors van het gepreïnteerde model behouden blijven terwijl het controleerbare dynamische bereik wordt uitgebreid.
Cross-Architectuur Overdraagbaarheid: De auteurs demonstreren dat expliciete temporele factorisatie overdraagbaar is naar verschillende DiT-backbones (Wan2.2 en Kandinsky 5.0 Lite) met variërende parameterschalen en outputresoluties.
Verbeterde Temporele Consistentie: De methode verbetert de consistentie van tussenliggende bewegingen en vermindert perceptuele artefacten in gearticuleerde dynamiek, zelfs bij standaard afspeelsnelheden, door het model tijdens de training bloot te stellen aan dichtere temporele transities.

Experimentele Resultaten

De evaluatie maakt gebruik van de VMBench benchmark over twee domeinen: Menselijke Acties en Natuurlijke Processen, getest bij 15, 24, 30 en 60 FPS.

Kwantitatieve Bevindingen

Menselijke Acties: Zowel TA als FTTA verminderen Flow Acceleration en LPIPS-Var vergeleken met de baseline, wat wijst op stabielere korte-termijn transities. TA bereikt de sterkste Flow Directional Consistency (FDC) bij 24–60 FPS, wat suggereert dat expliciete conditionering de consistentie van tussenliggende bewegingen verbetert wanneer de doel-FPS overeenkomt met het trainingsregime.
Natuurlijke Processen: FTTA bereikt consistent de sterkste temporele regularisatie, wat resulteert in de beste Motion Smoothness Scores (MSS) en de laagste Flow Acceleration. Dit wordt toegeschreven aan het vermogen van FTTA om gedistribueerde fysieke processen (bijv. mist, golven) te herstructureren zodat ze responsiever zijn op temporele conditionering.
Beperkingen van Metrieken: De auteurs merken op dat standaard metrieken niet altijd verbeteringen in de temporele kwaliteit reflecteren. Zo kunnen gearticuleerde artefacten de Perceptible Amplitude Score (PAS) verhogen, ondanks een vermindering van de waargenomen bewegingskwaliteit, wat een discrepantie creëert tussen kwantitatieve scores en menselijke evaluatie.

Kwalitatieve en Menselijke Evaluatie

Side-by-Side (SBS) Evaluatie: Menselijke beoordelaars gaven de voorkeur aan TA voor gearticuleerde menselijke beweging en natuurlijkheid, terwijl FTTA de voorkeur kreeg voor gedistribueerde fysieke processen en snelheidconsistentie.
Fysieke Evolutie: In tegenstelling tot post-hoc FPS-resampling (dat enkel frames interpoleert), verandert de voorgestelde methode de gegenereerde temporele evolutie zelf. Het verhogen van de doel-FPS resulteert in een snellere scène-progressie in plaats van enkel een vloeiendere afspeelervaring.
Generalisatie: De kwalitatieve trends waargenomen op Wan2.2 werden gereproduceerd op Kandinsky 5.0 Lite, wat de claim ondersteunt dat expliciete temporele factorisatie niet architectuur-specifiek is.

Betekenis en Beperkingen

Betekenis

Het artikel betoogt dat het behandelen van tijd als een enkele overbelaste variabele een fundamentele beperking is in huidige video-diffusiemodellen. Door tijd bewerkbaar te maken via expliciete factorisatie, stellen de auteurs een meer fysiek consistente en betrouwbare videogeneratie mogelijk. Het werk suggereert dat temporele controleerbaarheid niet louter een bijproduct is van denoising, maar een primaire, controleerbare variabele kan zijn.

Beperkingen

De auteurs erkennen expliciet drie beperkingen:

Gevoeligheid voor Trainingsregime: Hoewel temporele factorisatie de controleerbaarheid binnen de distributie van de training verbetert, blijft het model gevoelig voor ondervertegenwoordigde temporele schalen (bijv. lage FPS). Expliciete temporele representaties kunnen het gebrek aan temporele priors in de trainingsdata niet volledig compenseren.
Vaste Generatiehorizon: De methode maakt de temporele dynamiek controleerbaarder, maar vergroot niet het aantal gegenereerde frames. Sterke temporele acceleratie comprimeert de beschikbare tijd voor de uitvoering van acties, wat potentieel kan leiden tot afgekapte gedragingen.
Evaluatiemetrieken: Huidige metrieken hebben moeite om perceptuele artefacten in tussenliggende beweging te vangen, met name voor gearticuleerde structuren, wat leidt tot kloven tussen kwantitatieve scores en de waargenomen temporele kwaliteit.

De auteurs concluderen dat het bewerkbaar maken van tijd een noodzakelijke stap is richting betrouwbare videogeneratie, maar niet voldoende is voor langdurige generatie (long-horizon generation), wat waarschijnlijk een combinatie vereist van expliciete temporele representaties met adaptieve generatielengtes.