💻 computer science

Relax Forcing: Relaxed KV-Memory for Consistent Long Video Generation

Dit paper introduceert Relax Forcing, een gestructureerd tijdelijk geheugenmechanisme voor autoregressieve videodiffusie dat de ophoping van fouten bij het genereren van lange video's aanpakt door historische context te decomponeren in specifieke functies voor stabiliteit, continuïteit en bewegingsrichting, wat leidt tot verbeterde bewegingsdynamiek en temporele consistentie.

Oorspronkelijke auteurs: Zengqun Zhao, Yanzuo Lu, Ziquan Liu, Jifei Song, Jiankang Deng, Ioannis Patras

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Zengqun Zhao, Yanzuo Lu, Ziquan Liu, Jifei Song, Jiankang Deng, Ioannis Patras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een heel lange film maakt, minuut per minuut. Je begint met een idee, tekent het eerste plaatje, en dan probeer je het tweede plaatje te maken op basis van het eerste, het derde op basis van het tweede, en zo verder. Dit is hoe moderne AI-video's worden gemaakt: autoregressief.

Het probleem? Na een tijdje begint de film te "dwalen". De kat die je in de eerste seconde tekende, heeft na een minuut ineens drie poten, of de achtergrond verandert van een bos in een woestijn. De AI vergeet wat ze net heeft gedaan en maakt fouten die zich opstapelen. Dit noemen onderzoekers "temporale drift" (tijdsdwaling).

Deze paper introduceert een nieuwe methode genaamd Relax Forcing (of "Ontspannen Dwingen"). Hier is hoe het werkt, vertaald naar alledaagse taal:

Het oude probleem: De "Dichte Boekstapel"

Stel je voor dat de AI haar geheugen gebruikt als een enorme, ononderbroken stapel boeken. Elke keer als ze een nieuw plaatje moet maken, leest ze alle vorige boeken in de stapel om te weten wat er moet gebeuren.

Het probleem: De stapel wordt zo hoog dat de AI het overzicht verliest. Ze leest te veel herhalingen en raakt in de war. Ze kijkt te veel naar wat ze net heeft gedaan (de laatste paar bladzijden) en vergeet wat er lang geleden is gebeurd (de eerste bladzijden). Hierdoor wordt de film saai (alles blijft hetzelfde) of chaotisch (de personages veranderen van vorm).

De oplossing: "Relax Forcing"

De auteurs zeggen: "Wacht even, je hoeft niet alles te lezen. Je moet slim kiezen wat je onthoudt." Ze delen het geheugen op in drie specifieke rollen, alsof je een goed georganiseerd kantoor hebt:

De Anker (Sink):
- Analogie: Dit is de foto van de hoofdpersoon die aan de muur hangt.
- Functie: Deze blijft altijd hetzelfde. Het zorgt ervoor dat de kat er na 10 minuten nog steeds uitziet als diezelfde kat, en niet als een hond. Het geeft stabiliteit.
De Huidige Context (Tail):
- Analogie: Dit is het notitieblok op je bureau met de laatste paar zinnen die je hebt geschreven.
- Functie: Dit zorgt voor soepelheid. Het helpt de AI om de beweging van de vorige seconde naar de volgende te laten vloeien, zodat er geen hakkerige sprongen zijn.
De Slimme Keuze (History):
- Analogie: Dit is de belangrijkste innovatie. In plaats van alle oude boeken te lezen, kijkt de AI alleen naar een paar specifieke, interessante bladzijden uit het midden van het verhaal.
- Hoe werkt het? De AI vraagt zich af: "Welke oude scène helpt me nu het beste om de beweging te begrijpen, zonder dat het saai wordt?" Ze kiest dus alleen de informatie die echt nuttig is en negeert de rest.

Waarom werkt dit beter?

In het verleden probeerden AI's gewoon meer geheugen toe te voegen (een grotere stapel boeken). Maar de paper laat zien dat hoe je het geheugen gebruikt belangrijker is dan hoeveel je hebt.

Te veel recente informatie: De film wordt saai en herhaalt zich (de kat blijft stilstaan).
Te veel oude informatie: De film vergeet wie de kat is (de kat verandert in een hond).
Relax Forcing: Houdt een balans. Het heeft een anker voor de identiteit, een notitieblok voor de soepelheid, en kiest slim uit het verleden voor de beweging.

Het resultaat

Met deze methode kan de AI nu video's maken van 60 seconden (een minuut) die eruitzien alsof ze door een mens zijn gemaakt:

De personages blijven consistent (geen drie poten).
De bewegingen zijn levendig en natuurlijk (geen stilstaande beelden).
Het verhaal blijft logisch, zonder dat de achtergrond ineens verandert.

Kortom: Relax Forcing is als een regisseur die niet elke seconde van de film opnieuw bekijkt om te weten wat te doen, maar slim verwijst naar de belangrijkste momenten uit het verleden, zodat de film soepel, consistent en spannend blijft tot het einde.

1. Het Probleem: Temporaal Drift in Autoregressieve Video-Generatie

Autoregressieve (AR) video-diffusiemodellen zijn een veelbelovende aanpak voor het genereren van lange video's (minutenlang) omdat ze causaal werken en de beperkingen van bidirectionele modellen omzeilen. Bestaande methoden, zoals Self Forcing, trainen het model om te conditioneren op zijn eigen gegenereerde frames om de "exposure bias" (het verschil tussen training en inferentie) te verminderen.

Echter, bij het uitbreiden van de generatie naar minutenlange horizons treden er twee fundamentele problemen op:

Temporaal Drift en Foutenaccumulatie: Omdat het model voortdurend op zijn eigen imperfecte voorspellingen moet vertrouwen, stapelen kleine fouten zich op, wat leidt tot vervaging van het onderwerp, veranderingen in de scène of onnatuurlijke bewegingen.
Inefficiënt Gebruik van Geheugen: Bestaande methoden behandelen het historische geheugen (KV-cache) vaak als een homogene buffer. Ze houden ofwel alle gegenereerde frames bij (dicht) of comprimeren ze willekeurig. Het paper stelt dat dit niet de oplossing is: meer geheugen leidt niet per se tot betere kwaliteit en kan zelfs de bewegingsdynamiek beperken door redundantie. De plaatsing en rol van historische frames zijn belangrijker dan de totale hoeveelheid.

2. Methodologie: Relax Forcing en Gestructureerd Geheugen

De auteurs introduceren Relax Forcing, een trainingsvrije (training-free) methode die de inferentie-strategie verbetert door de temporale context te ontleden in drie functionele rollen in plaats van een continue tijdslijn te gebruiken.

A. Decompositie van Geheugen

In plaats van een dichte buffer van de meest recente frames te gebruiken, deelt Relax Forcing het geheugen op in drie componenten:

Sink (Globale Ankers): Een vast aantal zeer oude frames (bijv. de eerste paar frames) die dienen als globale ankers voor identiteit en scènestabiliteit. Deze zorgen ervoor dat het onderwerp niet "drijft" (drift) over de tijd.
Tail (Korte-termijn Continuïteit): De meest recente gegenereerde frames. Deze zijn cruciaal voor de korte-termijn continuïteit en soepele beweging tussen opeenvolgende frames.
History (Dynamisch Geselecteerde Midden-range): In plaats van alle tussenliggende frames te gebruiken, selecteert het model dynamisch een klein aantal informatieve frames uit het midden van de gegenereerde reeks.

B. Selectiemechanisme (Relaxation Scoring)

Het kernpunt is hoe de History-frames worden geselecteerd. Het model gebruikt een "relaxation score" om de beste kandidaten te kiezen die een balans vinden tussen stabiliteit en redundantie:

Stabiliteitsscore: Meet de gelijkenis met de Sink-frames (om globale consistentie te behouden).
Redundantiescore: Meet de gelijkenis met de Tail-frames (om te voorkomen dat het model te veel afhankelijk wordt van de directe recentheid, wat beweging beperkt).
Score: $r(h) = S(h) - \lambda R(h)$ , waarbij $\lambda$ de afweging bepaalt. Frames met een hoge score (goed voor stabiliteit, maar niet te veel redundantie met de recente context) worden geselecteerd.

C. Aanpassing van Positie-Embeddingen

Omdat de geselecteerde geheugenframes niet continu zijn in de tijd, kan de standaard RoPE (Rotary Position Embedding) niet direct worden toegepast. Het paper introduceert een hybride indexering:

De Tail-frames behouden hun absolute tijdsindex.
De Sink- en History-frames krijgen relatieve indexen die direct voor de Tail worden geplaatst.
Dit zorgt ervoor dat het model de lange-afstandsrelaties begrijpt zonder de tijdsorde te verstoren.

3. Belangrijkste Bijdragen

Empirische Analyse: De auteurs tonen aan dat het simpelweg vergroten van het geheugen niet werkt. Ze bewijzen dat de temporale plaatsing van frames (hoe ver ze in het verleden liggen) een grotere impact heeft op bewegingsdynamiek dan op beeldkwaliteit.
Relaxed KV Memory: Een nieuwe, gestructureerde, sparsere geheugenmechaniek die de context decomposeert in Sink, Tail en dynamisch geselecteerde History. Dit vermindert de afhankelijkheid van een starre, chronologische buffer.
Trainingsvrije Implementatie: De methode vereist geen extra training van het model; het is een inferentie-optimalisatie die direct kan worden toegepast op bestaande Self-Forcing-modellen.

4. Resultaten

De methode werd geëvalueerd op de VBench-Long benchmark voor video's van 30 en 60 seconden.

Kwaliteitsverbetering: Relax Forcing behaalde de hoogste scores in zowel de 30s- als 60s-scenario's.
- Dynamic Degree: Een enorme stijging van 66,8% ten opzichte van de baseline (Self Forcing), wat aangeeft dat de bewegingen veel natuurlijker en minder star zijn.
- Totale Score: Een verbetering van 5,7% in de algemene score.
Stabiliteit: De methode reduceert significante drift (verandering van onderwerp/scène) en voorkomt herhaling (repetitie), wat vaak voorkomt bij andere methoden.
Efficiëntie: Door het gebruik van een sparsere geheugenstructuur (in plaats van een dichte buffer van 21 frames naar slechts 7 effectieve frames in de attention-mechanisme), wordt de inferentie-tijd met 1,26x versneld en de self-attention-berekening met 1,58x gereduceerd.
Menselijke Evaluatie: In een user study werd Relax Forcing consequent verkozen boven bestaande methoden (zoals Rolling Forcing en Deep Forcing) voor bewegingskwaliteit en tekst-video-afstemming.

5. Betekenis en Impact

Dit paper biedt een paradigmaverschuiving in hoe we naar geheugenmanagement in autoregressieve video-modellen kijken. In plaats van te focussen op hoeveel geheugen we bewaren, toont het aan dat hoe we dat geheugen structureren en selecteren cruciaal is.

Schaalbaarheid: Het maakt het mogelijk om minutenlange video's te genereren met hoge consistentie zonder de rekenkosten van een volledig dicht geheugen.
Toekomstige Richting: Het benadrukt dat gestructureerd temporale geheugen essentieel is voor schaalbare lange video-generatie en vult bestaande trainingsstrategieën (zoals Self Forcing) aan in plaats van ze te vervangen.
Praktische Toepassing: Omdat het trainingsvrij is, kan het direct worden geïmplementeerd in bestaande industriële video-generatiepijplijnen om de kwaliteit van lange video's direct te verbeteren.

Kortom, Relax Forcing lost het probleem van "temporaal drift" op door slimme selectie van historische context, waardoor lange video's niet alleen langer, maar ook dynamischer en consistenter worden.