💻 computer science

Infinity-RoPE: Action-Controllable Infinite Video Generation Emerges From Autoregressive Self-Rollout

Dit paper introduceert $\infty$ -RoPE, een trainingsvrij inferentieframework dat autoregressieve video-generatie onbeperkt uitbreidt en verbetert in actiecontrole en cinematografische overgangen door Block-Relativistic RoPE, KV Flush en RoPE Cut te combineren.

Oorspronkelijke auteurs: Hidir Yesiltepe, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Pinar Yanardag

Gepubliceerd 2026-03-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hidir Yesiltepe, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Pinar Yanardag

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een filmregisseur bent die een onbeperkt lange film wil maken, maar je camera heeft een batterij die maar 5 minuten meegaat en een geheugen dat na die tijd de beelden begint te verwarren. Tot nu toe moesten filmmakers hun verhaal in korte stukjes maken of de camera elke keer opnieuw instellen, wat vaak resulteerde in haperende beelden of personages die hun gezicht veranderen.

Het paper "Infinity-RoPE" introduceert een slimme truc die deze beperkingen oplost zonder de camera (het model) zelf te hoeven vervangen of opnieuw te trainen. Het is alsof je een magische bril opzet die de camera laat denken dat hij nog steeds in de eerste minuut zit, terwijl hij eigenlijk al uren aan het filmen is.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. Het Probleem: De "Vaste Regels" van de Camera

Normaal gesproken werkt een videomodel met een vaste tijdlijn. Het denkt: "Ik ken de wereld maar tot 1024 beelden." Zodra je daar overheen gaat, raakt het in de war. Het is alsof een schrijver die alleen korte verhalen heeft geleerd, plotseling een heel boek moet schrijven; na een paar pagina's vergeet hij wie de hoofdpersoon is of hoe de plot liep.

2. De Oplossing: De Drie Magische Trucs

De auteurs van Infinity-RoPE hebben drie nieuwe "regels" bedacht om dit op te lossen:

A. Block-Relativistic RoPE: De "Draaiende Tijdlijn"

Stel je voor dat je in een trein zit. Normaal gesproken telt de trein de kilometers vanaf het beginstation (0 km, 1 km, 2 km...). Als je te ver gaat, raakt de teller in de war.
Met Block-Relativistic RoPE verandert de teller zijn manier van tellen. In plaats van te zeggen "Ik ben nu op kilometer 5000", zegt hij: "Ik ben nu op kilometer 100 ten opzichte van de laatste stop."

De analogie: Het is alsof je een filmrol hebt die oneindig lang is, maar je kijkt er altijd door een raampje van 5 minuten. Als de trein vooruit rijdt, draai je het raampje mee, zodat je altijd netjes naar de nieuwe beelden kijkt zonder je te verliezen in de oude kilometers. Hierdoor kan de film oneindig doorgaan zonder dat de personages hun gezicht verliezen.

B. KV Flush: De "Schoonmaakbeurt" voor Acties

Stel je voor dat je een acteur instrueert: "Ga nu staan." Hij doet het. Dan zeg je: "Ga nu springen." Maar de acteur blijft hangen in de oude instructie omdat hij te veel oude gedachten in zijn hoofd heeft.
KV Flush is als een snelle "Reset-knop" voor het geheugen van de acteur.

Hoe het werkt: Als je een nieuwe opdracht geeft (bijv. van "staan" naar "zingen"), veegt het systeem het oude geheugen weg. Het houdt alleen twee dingen vast:
1. De "anker" (wie is de hoofdpersoon?).
2. De allerlaatste beweging (waar zat hij net?).
Het resultaat: De acteur reageert direct op je nieuwe commando, zonder dat de oude bewegingen hem verstoren. Het is alsof je een schone lei krijgt, maar de persoon zelf blijft hetzelfde.

C. RoPE Cut: De "Cinema-Sprong"

Soms wil je in een film niet dat iemand langzaam van de kamer naar het bos loopt. Je wilt een snelle cut: Knip! En plotseling zit je in een ander landschap.
RoPE Cut maakt deze sprong mogelijk binnen één ononderbroken film.

De analogie: Het is alsof je de tijdlijn van de film fysiek doorsnijdt en de volgende scène direct achter de vorige plakt, maar dan met een nieuwe tijdscode. De camera denkt niet dat er een gat is, maar de omgeving verandert abrupt (bijv. van dag naar nacht, of van binnen naar buiten), terwijl de hoofdpersoon er nog steeds hetzelfde uitziet. Dit zorgt voor echte "cinematische" effecten zonder dat de film hapt.

Waarom is dit belangrijk?

Vroeger moesten filmmakers hun video's in stukjes maken of heel lang wachten om lange, vloeiende video's te genereren. Met Infinity-RoPE kunnen ze:

Oneindig lang filmen: Geen limiet meer aan de duur.
Direct reageren: Je kunt tijdens het filmen zeggen "Ga nu dansen" en de AI doet het direct.
Filmische cuts maken: Je kunt van scène wisselen alsof je een echte film regisseert.

Conclusie

Kortom: Infinity-RoPE is geen nieuwe, zware camera die je moet kopen. Het is een slimme software-update die bestaande camera's (AI-modellen) een "magisch geheugen" geeft. Hierdoor kunnen ze oneindige, vloeiende en controleerbare films maken, alsof ze een regisseur zijn die nooit moe wordt en nooit de draad kwijtraakt.

Probleemstelling

Bestaande autoregressieve videodiffusiemodellen (zoals Self-Forcing en Self-Forcing++) stuiten op drie fundamentele beperkingen die langdurige videoproduktie belemmeren:

Beperkte temporele horizon: De basismodellen gebruiken 3D-Rotary Positional Embeddings (3D-RoPE), die een vaste limiet van 1024 latent frames hebben. Zodra deze limiet wordt overschreden, stort de temporele codering in en degradeert de kwaliteit van de aandacht (attention).
Trage prompt-responsiviteit: Bij het genereren van lange video's is het moeilijk om fijnmazige actiecontrole te behouden. Bestaande methoden om de KV-cache (Key-Value cache) te beheren bij promptwisselingen leiden vaak tot vertragingen of "semantische lag", waardoor de video niet direct reageert op nieuwe instructies.
Gebrek aan cinematische overgangen: Het is voor bestaande systemen onmogelijk om discontinuïteiten (zoals cuts, flashbacks of locatiewisselingen) binnen één continue generatiestroom te realiseren zonder de coherentie te verliezen.

Huidige oplossingen vereisen vaak dure hertraining op lange videodata of leiden tot hoge rekenkosten en train-test mismatches.

Methodologie: ∞-RoPE

Het paper introduceert ∞-RoPE, een trainingsvrij inferentie-framework dat drie onderling verbonden componenten combineert om deze beperkingen op te lossen zonder het basismodel te wijzigen of extra data te gebruiken.

1. Block-Relativistic RoPE (Temporele Codering)

In plaats van absolute temporele posities te gebruiken, definieert deze methode temporele codering binnen een bewegende lokale referentiekader.

Werking: Elke nieuw gegenereerde latent block wordt geroteerd ten opzichte van de maximale horizon van het basismodel ( $f_{limit}$ ), terwijl eerdere blokken "achteruit" worden geroteerd om hun relatieve temporele geometrie te behouden binnen het cachevenster.
Semantisering: Wanneer de cache de trainingshorizon overschrijdt, ondergaan de oudste frames een proces van "semantisering". Hun specifieke temporele posities worden samengevoegd naar een gedeelde minimale index. Hierdoor worden ze omgezet in abstracte semantische geheugen (context) in plaats van specifieke tijdstippen, vergelijkbaar met hoe het menselijk brein episodisch geheugen omzet in semantisch geheugen. Dit maakt oneindige generatie mogelijk.

2. KV Flush (Actiecontrole)

Om directe respons op prompts te garanderen zonder de geheugenfootprint te vergroten, introduceert de methode KV Flush.

Werking: Bij een nieuwe prompt wordt de KV-cache niet volledig gewist (wat leidt tot abrupte veranderingen) noch volledig behouden (wat leidt tot vertraging). In plaats daarvan worden slechts twee tokens bewaard: de globale sink (voor stabilisatie van de aandacht) en de laatste gegenereerde latent frame (voor lokale temporele continuïteit).
Resultaat: Dit zorgt voor onmiddellijke actiecontrole met constante geheugengebruik en zero latency.

3. RoPE Cut (Cinematische Overgangen)

Om filmische cuts mogelijk te maken binnen één stream, introduceert RoPE Cut gecontroleerde discontinuïteiten in de temporele RoPE-coördinaten.

Werking: De temporele coördinaten worden abrupt verschoven met een offset $\Delta$ . Hierdoor wordt de huidige generatieblock herankerd alsof de overgang in het verleden heeft plaatsgevonden.
Resultaat: Dit maakt scherp gesneden scènes over (bijv. van binnen naar buiten, dag naar nacht) mogelijk terwijl de hoofdpersonage-identiteit en de algemene stijl behouden blijven, omdat het systeem de relatieve geometrie binnen het nieuwe blok behoudt.

Belangrijkste Bijdragen

∞-RoPE Framework: Een trainingsvrije methode die bestaande korte-horizon autoregressieve modellen omzet in actie-controleerbare, oneindige-horizon generatoren.
Block-Relativistic RoPE: Een nieuwe positie-encodering die temporele structuur herdefinieert als een bewegend referentiekader, waardoor generatie ver voorbij de 1024-frame limiet mogelijk wordt.
Efficiënte Inferentie-operators: De ontwikkeling van KV Flush voor directe prompt-respons en RoPE Cut voor cinematische cuts, beide met constant geheugengebruik.
State-of-the-Art Prestaties: Uitgebreide kwalitatieve en kwantitatieve evaluaties tonen aan dat de methode de beste resultaten behaalt op VBench-metrics voor lange video's.

Resultaten

De auteurs hebben ∞-RoPE getest op het VBench-benchmark en vergeleken met toonaangevende modellen zoals Wan2.1, SkyReels-V2, NOVA, en Rolling-Forcing.

Kwaliteit op Lange Termijn: Op video's van 60, 120 en 240 seconden behaalt ∞-RoPE de hoogste scores voor onderwerpconsistentie (subject consistency), achtergrondconsistentie en bewegingsgladheid. Het voorkomt de typische "identity drift" (verlies van herkenbaarheid van personages) die bij andere autoregressieve modellen optreedt.
Actiecontrole: In een gebruikersstudie scoorde ∞-RoPE significant hoger dan concurrenten (zoals LongLive en SkyReels-V2) op tekstalignatie en responsiviteit bij promptwisselingen. Het vermijdt de vertraging die optreedt bij methoden die de cache moeten herbouwen.
Cinematische Cuts: De methode slaagt erin om complexe scene-overgangen (cuts) te realiseren waarbij de achtergrond en belichting abrupt veranderen, maar het hoofdpersonage consistent blijft.
Ablatie-studies:
- De prestaties blijven stabiel bij verschillende cache-groottes voor consistentie, hoewel de dynamische graad licht afneemt bij zeer grote caches.
- Grote temporele jumps ( $\Delta$ ) leiden tot zichtbare overgangskanten (artefacten), maar behouden wel de subjectconsistentie.

Betekenis en Conclusie

∞-RoPE vertegenwoordigt een paradigmaverschuiving in videogeneratie. In plaats van te vertrouwen op dure hertraining of grootschalige infrastructuur om langere video's te maken, toont het aan dat reparametrisatie op inferentietijd (via relativistische codering en slim cache-beheer) voldoende is om bestaande, op korte clips getrainde modellen (bijv. 5 seconden) om te zetten in krachtige, oneindige generatoren.

De methode maakt gecontroleerde, cinematische lange video's toegankelijk zonder extra trainingsdata, wat een belangrijke stap is naar praktische, schaalbare en gebruikersgestuurde videomodellen. Het bewijst dat autoregressieve self-rollout-modellen, wanneer ze correct worden "ontgrendeld" via RoPE-aanpassingen, een veel groter potentieel hebben dan hun oorspronkelijke trainingshorizon suggereerde.