🤖 AI

Adapting VACE for Real-Time Autoregressive Video Diffusion

Dit artikel beschrijft een aanpassing van VACE voor real-time autoregressieve videogeneratie die bestaande gewichten hergebruikt door referentieframes naar een parallelle conditioneringspad te verplaatsen, wat streaming mogelijk maakt maar ten koste gaat van de referentietrouw door causale aandachtbeperkingen.

Oorspronkelijke auteurs: Ryan Fosdick

Gepubliceerd 2026-02-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ryan Fosdick

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmpje maakt, maar dan in echt. Je wilt dat de computer direct een video genereert terwijl je er naar kijkt, alsof het een live tekenaar is die niet stopt. Dit is wat "real-time video generatie" doet.

Maar er was een groot probleem: de slimme tools die we hadden om deze video's te besturen (bijvoorbeeld: "maak het donkerder", "verander de vorm", of "gebruik deze foto als inspiratie") waren gebouwd voor een heel andere manier van werken. Ze waren als een chef-kok die pas kan koken als hij alle ingrediënten tegelijk op het aanrecht heeft. Je kunt niet gewoon één voor één ingrediënten toevoegen terwijl hij al aan het koken is.

Deze paper beschrijft een slimme oplossing om die chef-kok (de AI) toch te laten koken terwijl je de ingrediënten één voor één aanlevert.

Hier is de uitleg in simpele taal:

1. Het Probleem: De "Alles-of-Niets" Chef

De originele tool heet VACE. Het is een meester in het controleren van video's. Je kunt er mee doen:

Een bestaande foto gebruiken als inspiratie.
De vorm van de video veranderen (bijv. een schets omzetten in een echte video).
Deel van de video wissen en opnieuw invullen (inpainting).

Het probleem? VACE werkt als een batch-processor. Het wil de hele video van begin tot eind in één keer zien en bewerken. Het kijkt naar het verleden én de toekomst tegelijk.
Real-time video (zoals een livestream) werkt echter als een stroom: je kunt alleen kijken naar het verleden en het heden. Je kunt niet naar de toekomst kijken. Als je VACE probeert te gebruiken in een live stroom, botst het tegen een muur: het kan niet wachten tot de hele video klaar is, en het kan niet "vergeten" wat er al is geproduceerd.

2. De Oplossing: Een Aparte "Instructeur"

De auteurs van dit papier hebben een slimme truc bedacht. In plaats van de inspiratie-foto's (de "referenties") door het hele kookproces te gooien, hebben ze ze verplaatst naar een aparte instructeur.

De Oude Manier: Je gooide de inspiratie-foto's in de pan met de soep. De soep (de video) en de foto's werden door elkaar gehakt. Als je de soep in kleine lepels (chunks) wilde serveren, zat er steeds een stukje foto in, wat de smaak verpestte.
De Nieuwe Manier: Je houdt de inspiratie-foto's bij de chef (de AI) in een apart bakje. De chef kijkt naar de foto's en zegt tegen de soep: "Hé, maak het donkerder" of "Hou deze vorm aan". De soep zelf (de video) wordt in kleine, vaste lepels geserveerd zonder dat er foto's in zitten.

Dit betekent dat de video in vaste stukjes kan worden gegenereerd (nodig voor live streaming), terwijl de AI toch weet wat de bedoeling is.

3. Waarom is dit zo cool?

Geen opnieuw leren: De slimme "chef" (de AI-weights) hoefde niet opnieuw te leren. Ze hebben gewoon de bestaande kennis van VACE gebruikt, maar hem een ander werkboek gegeven. Het is alsof je een ervaren kok een nieuwe keuken geeft; hij kan nog steeds koken, maar nu op een andere manier.
Snelheid: Het werkt razendsnel. Op een gewone gamer-computer (zoals een RTX 5090) kunnen ze nu 17 tot 22 beelden per seconde maken. Dat is bijna net zo snel als een echte film.
Geen geheugenprobleem: Omdat de foto's niet meer in de video zelf zitten, hoeft de computer niet steeds meer geheugen te gebruiken. Het blijft stabiel, zelfs als de video lang wordt.

4. Wat kan het nu wel en niet?

Wat het goed doet: Het kan de vorm van de video veranderen (bijv. van een schets naar een film), delen van de video wissen en vervangen, en de video verlengen. Dit werkt bijna perfect.
Wat het minder goed doet: Als je een specifieke foto wilt gebruiken om exact dat personage in de video te krijgen (Reference-to-Video), gaat dat niet zo goed. Omdat de AI niet naar de toekomst kan kijken, is de connectie tussen de foto en het eindresultaat wat zwakker dan bij de oude, langzamere methode. Het is alsof je een schilderij probeert te kopiëren terwijl je alleen maar naar je handkijk, niet naar het origineel.

Samenvatting

Deze paper laat zien hoe we een krachtige, maar stijve video-tool (VACE) hebben "gehackt" om te werken in een live, stromende omgeving. Ze hebben de inspiratiebronnen uit de video gehaald en in een apart kanaal gestopt. Hierdoor kunnen we nu real-time video's maken met controle over vorm en inhoud, zonder dat de computer vastloopt of opnieuw getraind hoeft te worden.

Het is als het vinden van een manier om een symfonieorkest live te laten spelen, terwijl je de bladmuziek stukje voor stukje doorgeeft, in plaats van te wachten tot het hele orkest de partituur heeft.

Titel: Adaptatie van VACE voor Real-time Autoregressieve Videodiffusie

Auteur: Ryan Fosdick (Daydream)
Doel: Het mogelijk maken van geavanceerde videobewerking en -controle (zoals referentiegeleiding, structurele conditioning en inpainting) binnen real-time, autoregressieve videogeneratiepijplijnen, zonder de prestaties van bestaande modellen te verstoren of extra training te vereisen.

1. Het Probleem

Bestaande real-time videomodellen (zoals LongLive, Krea Realtime Video, StreamDiffusion V2) genereren video autoregressief in vaste blokken (chunks) met causale attention (alleen kijken naar het heden en verleden). Dit maakt streaming mogelijk met een gebonden geheugengebruik via KV-caching.

Echter, deze modellen missen de geavanceerde controlemogelijkheden van batch-gebaseerde modellen. VACE (Video All-in-one Creation and Editing) biedt een unificatie van videobewerking (referentiegeleiding, structurele conditioning, inpainting, tijdelijke extensie), maar is ontworpen voor bidirectionele attention over volledige sequenties. Dit creëert drie fundamentele incompatibiliteiten met real-time streaming:

Variabele sequentielengtes: Verschillende taken vereisen een verschillend aantal referentieframes, wat de vaste chunk-grootte van streaming modellen verstoort.
KV-cache contaminatie: In het originele VACE worden referentieframes in de latent-sequentie geplakt. Deze worden dan als historische context gecached, wat semantisch incorrect is (referenties moeten sturen, niet als verleden worden behandeld). Het verwijderen ervan vereist het herberekenen van de gehele cache.
Post-processing overhead: Referentieframes moeten na elke denoising-stap handmatig worden verwijderd.

2. Methodologie

De auteurs presenteren een architecturale aanpassing die VACE's controlemechanismen compatibel maakt met causale, gestreamde pijplijnen.

Kernarchitectuurverandering

In plaats van referentieframes direct in de diffusie-latent-sequentie te plakken (zoals in origineel VACE), worden deze verplaatst naar een parallelle conditioning-pijplijn:

Video Latents: Worden alleen gedenoised.
Referentieframes: Worden verwerkt door aparte Context Blocks. Deze blokken genereren "hints" (additieve signalen).
Hint Injectie: Deze hints worden via nul-geinitialiseerde lineaire projecties ( $W_{proj}$ ) en een schalingsfactor ( $\alpha$ ) toegevoegd aan de hoofd-DiT (Diffusion Transformer) pad.
Resultaat: De chunk-grootte blijft constant, ongeacht het aantal referenties, en de KV-cache blijft schoon voor alleen gegenereerde frames.

Transfer van Voorgereede Gewichten

Een cruciaal inzicht is dat de bestaande, vooringestelde VACE-gewichten direct kunnen worden overgenomen zonder fine-tuning:

De Context Blocks zijn al getraind om referentie-informatie te coderen en hints te genereren.
Omdat de basis-DiT bevroren blijft en de hints via nul-geinitialiseerde projecties worden ingebracht, hebben de hints bij initiatie geen effect. Zodra de training is voltooid (in de originele setting), blijven deze gewichten geldig in de nieuwe architectuur omdat de residual-structuur en projectie-mechanismen onveranderd blijven.

Implementatie Details

Dual-stream encoding: Voor masking (inpainting/outpainting) worden twee streams gehandhaafd: een "inactieve" stream (behouden gebieden) en een "reactieve" stream (te genereren gebieden).
Cache Management: Er worden aparte caches toegewezen voor de TAE (Temporal Autoencoder) om cross-contaminatie van tijdelijke statistieken te voorkomen. Bij inpainting wordt de cache voor de reactieve stream overgeslagen om "ghosting"-artefacten te voorkomen.
Compatibiliteit: De code werkt zonder wijzigingen voor zowel 1.3B als 14B parametermodellen (gebaseerd op Wan2.1).

3. Belangrijkste Bijdragen

Architecturale Innovatie: Een oplossing voor het incompatibiliteitsprobleem tussen VACE's referentie-handling en vaste chunk-verwerking door referenties te scheiden van de latent-sequentie.
Training-vrije Integratie: Demonstration dat vooringestelde VACE-gewichten direct werken in streaming pipelines dankzij het behoud van de zero-initialized hint-injectiestructuur.
Real-time Validatie: Empirisch bewijs dat structurele controle (diepte, schetsen, optische flow), masked generation en tijdelijke extensie werken met real-time snelheden (17–22 FPS) op consument hardware (RTX 5090).
Schaalbaarheid: Validatie over twee zeer verschillende modelgroottes (1.3B en 14B) met dezelfde codebase.

4. Resultaten en Prestaties

De auteurs hebben de adaptatie getest op twee modellen: LongLive (1.3B) en Krea Realtime Video (14B).

Latensoverhead:
- Structurele controle (diepte) en inpainting voegen 20–30% extra latentie toe.
- Tijdelijke extensie (I2V) voegt bij het 1.3B-model nauwelijks overhead toe (~1%) na het eerste chunk, omdat hints worden gecached.
VRAM Gebruik:
- Bij het 1.3B-model voegt VACE ongeveer 1.4 GB VRAM toe.
- Bij het 14B-model is de overhead verwaarloosbaar in vergelijking met de basis van ~45 GB.
Kwaliteit en Beperkingen:
- Structurele controle en masking: Werken uitstekend en behouden hoge adherentie (gemeten via Depth RMSE en Mask Preservation SSIM).
- Referentie-naar-Video (R2V): De kwaliteit is ernstig verslechterd ten opzichte van batch-VACE. Door de causale attention en per-chunk verwerking kunnen details en consistentie met de referentie niet goed worden behouden.
- Tijdelijke coherentie: Kan verslechteren bij zeer lange generaties (>100 frames) zonder her-ankeren.

5. Betekenis en Conclusie

Deze paper toont aan dat het mogelijk is om geavanceerde videobewerkingscapaciteiten (zoals die van VACE) te integreren in real-time, autoregressieve systemen zonder de basismodellen opnieuw te hoeven trainen.

Voordeel: Het biedt een flexibele, "plug-and-play" oplossing voor real-time videocontrole die werkt met bestaande modellen en hardware.
Trade-off: Er is een prijs te betalen in de vorm van een lichte toename in latentie (20-30%) en een significante kwaliteitsdaling bij referentiegeleiding (R2V) door de inherente beperkingen van causale attention.
Toekomst: De methode opent de deur voor real-time interactieve videobewerking, waarbij gebruikers direct kunnen sturen met dieptekaarten, schetsen of maskers, hoewel er nog werk nodig is om de kwaliteit van referentiegeleiding in streaming contexten te verbeteren.

De implementatie is open source beschikbaar via de repository daydreamlive/scope.