💻 computer science

MemRoPE: Training-Free Infinite Video Generation via Evolving Memory Tokens

MemRoPE is een trainingsvrij framework dat onbeperkte videogeneratie mogelijk maakt door het gebruik van evoluerende geheugentokens en dynamische RoPE-indexering om contextverlies, identiteitsdrift en bewegingsstagnatie te voorkomen.

Oorspronkelijke auteurs: Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

Gepubliceerd 2026-03-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Youngrae Kim, Qixin Hu, C. -C. Jay Kuo, Peter A. Beerel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🎬 De Droom: Een Film die Nooit Ophoudt

Stel je voor dat je een film kunt maken die oneindig lang duurt. Denk aan een uur lang, of zelfs langer. Je wilt dat de hoofdpersoon er elke seconde hetzelfde uitziet, dat de achtergrond niet verdwijnt en dat de beweging soepel blijft.

Helaas is dit voor huidige AI-filmmakers (zoals Sora of andere video-modellen) heel lastig. Ze zijn gewend om korte filmpjes te maken (bijvoorbeeld 5 seconden). Als je ze probeert te laten doorgaan, beginnen ze te "vergeten".

De hoofdpersoon verandert van kleding of gezicht.
De achtergrond wordt een wazige vlek.
De beweging stopt of wordt raar.

🧠 Het Probleem: De "Vergetelheid" van de AI

Waarom gebeurt dit? Omdat de AI een beperkt geheugen heeft.
Stel je voor dat de AI een werktafel heeft. Om een nieuw beeld te maken, kijkt hij naar de beelden die hij net heeft gemaakt (die liggen op zijn werktafel).

Huidige methode (De "Vuilnisbak"-aanpak): Zodra de werktafel vol raakt, gooit de AI de oudste beelden in de vuilnisbak om ruimte te maken voor de nieuwe.
- Gevolg: De AI vergeet wie de hoofdpersoon was. Na een uur is de "ziel" van de video verdwenen.
Andere methode (De "Statische Anker"-aanpak): Sommige AI's houden één oud plaatje vast als anker (een foto van het begin) en gooien de rest weg.
- Gevolg: De AI vergeet niet wie de persoon is, maar hij vergeet wel wat er nu gebeurt. Als de persoon van links naar rechts loopt, blijft de AI vastzitten in het beginbeeld. Het wordt statisch en saai.

💡 De Oplossing: MemRoPE (Het "Slimme Geheugen")

De onderzoekers van de USC hebben MemRoPE bedacht. Dit is een trucje (zonder extra training!) dat de AI helpt om oneindig te filmen zonder te vergeten. Ze gebruiken twee slimme ideeën:

1. De "Twee-Stranden" Geheugen (Memory Tokens)

In plaats van alles weg te gooien of alles vast te houden, maakt MemRoPE twee soorten samenvattingen van het verleden:

De "Langdurige Herinnering" (Long-term Memory):
- Vergelijking: Stel je voor dat je een fotoboek hebt. Elke keer als er een nieuwe foto bij komt, wordt er een heel klein beetje van die foto in je fotoboek gemengd.
- Functie: Dit onthoudt wie de hoofdpersoon is (bijv. "een vrouw in een rode jurk"). Het verandert heel langzaam, zodat de identiteit nooit verdwijnt, zelfs na een uur.
De "Korte Termijn Herinnering" (Short-term Memory):
- Vergelijking: Dit is je korte termijn geheugen, zoals wat je net hebt gezegd.
- Functie: Dit onthoudt de recente bewegingen (bijv. "ze loopt nu naar de deur"). Dit verandert snel, zodat de video dynamisch blijft.

Het geheim: De AI houdt deze twee "samenvattingen" in een klein, vast formaat geheugen. Hij gooit de oude beelden weg, maar voordat hij ze wegdoet, pakt hij de essentie eruit en voegt die toe aan zijn fotoboek en korte termijn geheugen. Zo vergeet hij nooit echt iets, maar blijft zijn werktafel klein.

2. De "Losgekoppelde Posities" (Online RoPE Indexing)

Dit is het technische deel, maar hier is een simpele vergelijking:

Stel je voor dat je een rij mensen hebt die dansen. Iedereen heeft een nummer op zijn shirt (positie).

Het oude probleem: Als je twee mensen samenvoegt (om een samenvatting te maken) en ze hebben verschillende nummers (bijv. nummer 10 en nummer 100), dan klopt de dansstap niet meer. De AI raakt in de war: "Wanneer gebeurde dit precies?"
De MemRoPE oplossing: De AI slaat de mensen op zonder nummers. Pas op het moment dat hij moet dansen (de video maakt), geeft hij iedereen tijdelijk een nummer op basis van waar ze nu staan in de rij.
- Vergelijking: Het is alsof je een fotoalbum maakt zonder jaartallen, en pas op het moment dat je het album bekijkt, schrijf je de jaartallen erbij die bij de huidige situatie passen. Hierdoor kan hij oude en nieuwe beelden perfect samenvoegen zonder dat de "tijdsrekening" in de war raakt.

🚀 Wat levert dit op?

Met MemRoPE kun je nu:

Een uur lang video's maken (of nog langer) zonder dat de kwaliteit verslechtert.
De hoofdpersoon blijft herkenbaar (geen wisselende gezichten of kleding).
De beweging blijft soepel (geen statische beelden).
Het kost geen extra rekenkracht: Het werkt met bestaande modellen, je hoeft ze niet opnieuw te trainen.

🏁 Conclusie

MemRoPE is als het geven van een onvergetelijk geheugen aan een AI die normaal gesproken na 5 seconden al vergeet wat hij net deed. Door slimme samenvattingen te maken (het fotoboek) en de tijdsindeling slim te regelen (de losse nummers), kunnen we nu films maken die lijken op een echte, oneindige droom, zonder dat de AI "dwaalt" of "vergeet".

Het is de sleutel tot het maken van lange, consistente verhalen in video, zonder dat de technologie daarvoor kapot gaat.

1. Het Probleem

Autoregressieve videodiffusiemodellen maken het mogelijk om video's frame-per-frame te genereren, wat variabele lengtes toelaat. Echter, bestaande methoden voor lange video-generatie stuiten op twee fundamentele beperkingen:

Verlies van context en identiteitsdrift: Traditionele sliding-window KV-caches (Key-Value caches) verwijderen oude frames (vaak via FIFO) om geheugen te besparen. Dit leidt tot een geleidelijk verlies van context, waardoor het onderwerp van de video verandert (identiteitsdrift), de achtergrond inconsistent wordt en beweging stagneert naarmate de video langer wordt.
Statische ankers en positiële extrapolatie: Bestaande oplossingen proberen dit op te lossen door een vast aantal vroege frames als "attention sinks" (ankerframes) te behouden of tokens te selecteren op basis van aandachtsscores (zoals bij Deep Forcing). Deze methoden falen echter omdat ze statisch zijn (kunnen niet reageren op veranderende inhoud) of leiden tot abrupte visuele schokken wanneer de cache wordt bijgewerkt. Daarnaast veroorzaakt het samenvoegen van tokens met verschillende rotatieposities (RoPE) ongeldige representaties, wat tijdelijke aggregatie onmogelijk maakt.

2. Methodologie: MemRoPE

MemRoPE is een trainingsvrij framework dat twee co-ontworpen componenten introduceert om onbeperkte video-generatie mogelijk te maken binnen een vaste cache-grootte.

A. Memory Tokens (Dual EMA Streams)

In plaats van tokens te verwijderen of statisch vast te houden, comprimeert MemRoPE de volledige geschiedenis van de generatie continu in twee parallelle stromen binnen een vaste buffer:

Dual Exponential Moving Average (EMA): Alle verlaten keys en values worden samengevoegd via twee EMA-streams:
1. Long-term memory ( $\mu_L$ ): Een stabiele representatie van de volledige geschiedenis, essentieel voor het behoud van de onderwerpidentiteit en algemene scène-inhoud.
2. Short-term memory ( $\mu_S$ ): Een representatie die de recente dynamiek en veranderingen vasthoudt.
Voordeel: Dit zorgt voor een glad evoluerende representatie die zowel de globale consistentie als de recente bewegingen behoudt zonder dat het geheugen groeit.

B. Online RoPE Indexing

Een cruciaal obstakel bij het samenvoegen van tokens is dat Rotary Position Embeddings (RoPE) niet lineair zijn; het middelen van keys met verschillende rotatiefasen leidt tot ongeldige posities. MemRoPE lost dit op door:

Positie-vrije caching: Alle keys worden opgeslagen in hun ruwe, niet-geroteerde vorm (zonder RoPE) in de cache.
Dynamische indexering: Pas op het moment van de attention-berekening worden block-relatieve posities toegewezen en wordt RoPE dynamisch toegepast.
Resultaat: Dit maakt het middelen van tokens (via EMA) wiskundig geldig en lost het probleem van positiële extrapolatie op, omdat de indices altijd binnen het getrainde bereik blijven, ongeacht de totale video-lengte.

C. Drie-Tier Cache Structuur

De cache bestaat uit drie lagen:

Sink: De eerste hoge-kwaliteit frames (anker).
Memory: De samengevoegde long-term en short-term tokens.
Local Window: De meest recente frames.
Alle lagen worden samengevoegd en via Online RoPE Indexing verwerkt.

3. Belangrijkste Bijdragen

MemRoPE Framework: Een volledig trainingsvrij systeem dat onbeperkte video-generatie mogelijk maakt zonder de onderliggende modelarchitectuur te wijzigen.
Memory Tokens: Een innovatieve EMA-mechanisme dat de geschiedenis continu comprimeert in twee complementaire stromen (stabiel vs. dynamisch) binnen een vaste cache.
Online RoPE Indexing: Een nieuwe aanpak die content en positie ontkoppelt in de cache, waardoor tijdelijke aggregatie mogelijk wordt en positiële extrapolatie wordt opgelost zonder post-hoc correcties.
Unbounded Generatie: Het bewijs dat video's van minuten tot uren lang kunnen worden gegenereerd met behoud van visuele kwaliteit en subjectconsistentie.

4. Resultaten

MemRoPE werd geëvalueerd op basismodellen zoals Self-Forcing en LongLive (gebaseerd op Wan2.1) en vergeleken met state-of-the-art methoden zoals Deep Forcing en $\infty$ -RoPE.

Kwantitatieve Prestaties: Op benchmarks zoals VBench-Long presteerde MemRoPE consistent beter dan alle andere methoden, met name op de metrieken Aesthetic Quality, Imaging Quality en Subject Consistency. De prestatieverbetering nam toe naarmate de video langer werd (van 2 minuten tot 1 uur).
Kwalitatieve Resultaten:
- Bij generaties van 1 uur behield MemRoPE de identiteit van het onderwerp en de achtergrondconsistentie perfect.
- Basismodellen en andere methoden vertoonden ernstige degradatie: onderwerpen werden onherkenbaar, kleuren veranderden drastisch, of de achtergrond stortte in.
- Deep Forcing leed aan abrupte visuele schokken bij cache-updates, terwijl MemRoPE gladde overgangen bood.
Gebruikersonderzoek & VLM: Zowel menselijke beoordelaars als een Vision-Language Model (Gemini 3.1-Pro) gaven de voorkeur aan MemRoPE, vooral op het gebied van kleurconsistentie, onderwerpconsistentie en algehele stabiliteit.
Efficiëntie: MemRoPE voegt verwaarloosbare overhead toe aan de inferentiesnelheid en kan zelfs sneller zijn dan methoden met grotere sliding windows doordat de totale cache-grootte kleiner kan worden gehouden.

5. Betekenis en Impact

MemRoPE vertegenwoordigt een paradigmaverschuiving in lange-videogeneratie. Het paper toont aan dat de sleutel tot coherentie niet ligt in het behouden van meer frames (wat onbeperkt geheugen vereist), maar in het beter onthouden van de geschiedenis via slimme compressie.

Toepassingen: Het opent de deur voor real-time simulaties van de wereld, cinematografische lange opnames en synthetische data-generatie voor training van andere modellen.
Efficiëntie: Omdat het trainingsvrij is, kan het direct worden toegepast op bestaande autoregressieve modellen zonder kostbare hertraining.
Fundamentele Inzicht: Het demonstreert dat tijdelijke aggregatie (middelen van tokens) mogelijk is in diffusion-modellen, mits de positiële encoding correct wordt ontkoppeld van de opgeslagen features.

Kortom, MemRoPE lost het probleem van "vergeten" in lange video's op door een evoluerend geheugen te creëren dat zowel stabiel als dynamisch is, waardoor het genereren van video's van urenlang met hoge kwaliteit mogelijk wordt.