CHAI: CacHe Attention Inference for text2video

CHAI is een methode die cross-inference caching en Cache Attention gebruikt om de inferentie van tekst-naar-video-modellen tot 3,35 keer sneller te maken zonder in te leveren op de video-kwaliteit.

De kern

Stel je voor dat het maken van een video met een kunstmatige intelligentie (AI) net zo werkt als het schilderen van een meesterwerk. Maar in plaats van dat de AI in één keer een prachtig schilderij maakt, moet hij eerst een wazige vlek van verf op het canvas zetten en dan, stap voor stap, de ruis wegpoetsen tot het beeld scherp is.

Bij video's is dit proces echter enorm traag. De AI moet dit "ruis wegpoetsen" wel 30 tot 50 keer herhalen voor elke video. Dat duurt lang, net als wachten tot een grote pot verf langzaam droogt.

Deze paper introduceert CHAI (CacHe Attention Inference for text2video). Dit is een slimme truc om die video's veel sneller te maken, zonder dat ze er slechter uitzien. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Nieuwe" Video vs. De "Oude" Video

Stel je voor dat je een AI vraagt om een video te maken van "Een tijger die door het bos rent".
De AI begint met een wazig beeld en werkt zich naar een scherp beeld toe. Dit duurt lang.

Vervolgens vraagt iemand een andere video: "Een zebra die door het bos rent".
De AI begint weer helemaal opnieuw vanaf nul, met dezelfde wazige vlek. Maar wacht eens! Beide video's hebben een bos en een dier gemeen. De AI hoeft niet opnieuw te bedenken hoe een bos eruitziet of hoe een dier eruitziet; die informatie heeft hij al in zijn hoofd (of in zijn cache) van de vorige video.

2. De Oude Manier: "Hele Zinnen Vergelijken"

Eerdere methoden (zoals NIRVANA) keken naar de hele zin.

• Vraag 1: "Een tijger in het bos."
• Vraag 2: "Een zebra in het bos."

Voor de computer zijn dit twee totaal verschillende zinnen. De AI denkt: "Oh, dit is een nieuwe vraag, ik begin maar weer helemaal opnieuw." Hierdoor wordt er weinig tijd bespaard. Het is alsof je elke keer een nieuw boek schrijft, alleen omdat de hoofdpersoon een andere naam heeft, terwijl de setting (het bos) exact hetzelfde is.

3. De CHAI Oplossing: "Kijk naar de Onderdelen"

CHAI doet iets slims: het kijkt niet naar de hele zin, maar pakt de onderdelen (de entiteiten) eruit.
Het denkt: "Ah, deze vraag heeft een bos en een dier. Ik heb die onderdelen al eerder getekend!"

Maar hier komt de echte magie: CHAI plakt die oude video niet zomaar op de nieuwe. Dat zou er raar uitzien (een tijger in plaats van een zebra). In plaats daarvan gebruikt CHAI een nieuwe techniek genaamd Cache Attention.

De Creatieve Analogie: De "Slimme Architect"

Stel je voor dat je een huis wilt bouwen.

• De oude manier (OpenSora): Je begint elke keer met een leeg stuk land. Je graaft de fundering, zet de muren op, doet het dak erop... alles opnieuw.
• De slechte kopieer-methode: Je neemt een bestaand huis en plakt het op je stuk land. Maar dan heb je een huis met de verkeerde deuren en ramen.
• De CHAI-methode (Cache Attention): Je bent een slimme architect. Je kijkt naar je oude huis en zegt: "Die fundering en die muren zijn perfect voor dit nieuwe huis. Die ga ik gebruiken!" Maar voor de deuren en ramen (de specifieke details van de nieuwe vraag) gebruik je je eigen ontwerp.

Cache Attention is die slimme architect. Het neemt de "ruwe bouwplannen" (de latents) van een eerdere video, maar laat de AI zelf beslissen welke delen hij mag gebruiken en welke hij moet aanpassen. Zo behoudt hij de structuur van het bos, maar verandert hij het dier van tijger naar zebra.

Waarom is dit zo snel?

Omdat CHAI de "moeilijke" eerste stappen van het bouwen (het bos, de fundering) al heeft gedaan, hoeft hij die niet opnieuw te doen. Hij kan direct beginnen met de "snelle" stappen.

• Normaal: 30 stappen nodig.
• Met CHAI: Slechts 8 stappen nodig.

Het resultaat? De video wordt 1,6 tot 3,3 keer sneller gemaakt, en het ziet er bijna net zo goed uit als de langzame versie.

Samenvatting in één zin

CHAI is als een slimme assistent die zegt: "Wacht, we hebben die scène al eerder gemaakt! Laten we de basis daarvan hergebruiken en alleen de nieuwe details toevoegen, zodat we in een flits een nieuwe video hebben zonder dat het er rommelig uitziet."

Dit maakt het mogelijk om in de toekomst veel sneller en interactiever video's te genereren, zonder dat je uren hoeft te wachten op het resultaat.

Technische samenvatting

Probleemstelling

Text-to-video diffusiemodellen (zoals OpenSora, Sora en VideoCrafter2) leveren indrukwekkende resultaten op, maar lijden onder hoge inferentielatentie. Dit komt door de sequentiële aard van het ontdooiden van 3D-latents (ruimtelijk-temporele data) over vele stappen (typisch 30-50 stappen voor acceptabele kwaliteit).

Bestaande versnellingsmethoden hebben twee grote beperkingen:

1. Trainingsgebaseerde methoden: Vereisen dure hertraining van het model, wat onpraktisch is voor snelle implementatie.
2. Intra-inferentie caching (stap overslaan): Methoden zoals AdaCache gebruiken heuristieken om latere ontdooidingsstappen over te slaan binnen één inferentie. Echter, vroege stappen zijn cruciaal voor de structuur en beweging van de video; het overslaan hiervan leidt tot kwaliteitsverlies. Bovendien kunnen deze methoden de latentie niet verder verlagen dan een bepaald punt zonder de video te beschadigen.

Een andere aanpak, cross-inferentie caching (hergebruik van latents van eerdere generaties), werkt goed voor afbeeldingen (bijv. NIRVANA), maar faalt bij video. Video-prompts zijn vaak lang, beschrijvend en divers, wat resulteert in een zeer lage "cache hit rate" bij het vergelijken van volledige prompts.

Methodologie: CHAI

CHAI (CacHe Attention Inference for text2video) is een trainingsvrij systeem dat versnelling bereikt door cross-inferentie caching op entiteitsniveau te combineren met een nieuw aandachtmechanisme.

1. Entiteitsgelijkheid (Entity-Level Similarity):
In plaats van te kijken naar de gelijkenis van de volledige prompt, analyseert CHAI de prompts op entiteiten (objecten zoals "tijger", "auto" of scènes zoals "strand", "bos"). Zelfs als prompts verschillend zijn, delen ze vaak dezelfde entiteiten. Dit leidt tot een veel hogere kans op cache-hits (tot 80% in realistische scenario's) vergeleken met volledige prompt-vergelijking (<40%).

2. Cache Attention:
Dit is de kerninnovatie. In plaats van een opgeslagen latent (van een vorige generatie) direct te substitueren in de nieuwe generatie (wat artefacten veroorzaakt), injecteert CHAI de informatie via een Cache Attention-laag.

• Werking: De laag vervangt de standaard Spatial Self-Attention in de Diffusion Transformer (DiT) blokken.
• Mechanisme: De query (Q) wordt gegenereerd op basis van de huidige prompt en het ruispatroon. De sleutel (K) en waarde (V) vectoren worden echter afgeleid uit de cached latent van een eerdere generatie met een gelijke entiteit.
• Selectiviteit: Hierdoor kan het model selectief informatie over de gedeelde entiteit (bijv. de textuur van een strand) uit de cache halen, terwijl het specifieke details van de nieuwe prompt (bijv. "golven die op het zand slaan" in plaats van "een feestje") behoudt.
• Planning: Cache-gebruik is geoptimaliseerd voor de 2e, 3e en 4e ontdooidingsstap. De eerste stap wordt overgeslagen omdat deze puur op willekeurige ruis is gebaseerd, en latere stappen bieden weinig extra winst.

3. Systeemarchitectuur:

• Entity Extractor: Gebruikt NLP (Spacy) om entiteiten uit prompts te halen.
• Vector DB & Latent Store: Slaat embeddings en bijbehorende latents op.
• LRU Policy: Beheert de cachegrootte (1-5 GB) door minst recent gebruikte items te verwijderen.
• Modi: Het systeem schakelt tussen een "Full mode" (geen cache, 30 stappen) bij een cache-miss en een "Fast mode" (cache-hit, 8 stappen) bij een cache-hit.

Belangrijkste Bijdragen

1. CHAI Systeem: Een trainingsvrij systeem voor text-to-video versnelling via cross-inferentie caching op entiteitsniveau.
2. Cache Attention: Een nieuw aandachtmechanisme dat hergebruik van latenten mogelijk maakt zonder kwaliteitsverlies, door selectieve injectie van entiteitsinformatie.
3. Empirische Validatie: Bewijs dat hoogwaardige video's kunnen worden gegenereerd met slechts 8 ontdooidingsstappen (tegenover de gebruikelijke 30-50), terwijl de kwaliteit behouden blijft.
4. Schaalbaarheid: Demonstratie dat het systeem effectief werkt met bescheiden opslagbudgetten (1-5 GB) en hoge hit-rates behaalt.

Resultaten

De evaluatie is uitgevoerd op de OpenSora 1.2 backbone met datasets zoals VBench en VidProM.

• Snelheid vs. Kwaliteit:
  • CHAI is 1,65x tot 3,35x sneller dan de baseline OpenSora 1.2 (die 30 stappen gebruikt).
  • Op de VBench dataset bereikt CHAI een 3,35x snelheidswinst (3,75s vs 12,54s) met een VBench-score van 0,7985, wat slechts 0,3% lager is dan de baseline (0,8018).
  • In vergelijking met NIRVANA-VID (die volledige prompts vergelijkt) behoudt CHAI veel betere kwaliteit omdat het entiteitsniveau gebruikt.
• Cache Hit Rates:
  • Bij een cachegrootte van 1 GB (ongeveer 780 prompts) bereikt CHAI een hit-rate van 83,4%.
  • Bij 5 GB stijgt dit naar 89,4%.
  • In contrast: NIRVANA-VID bereikt slechts ~15% hit-rate op VidProm data vanwege de lage gelijkenis van volledige prompts.
• Vergelijking met Intra-inferentie (AdaCache):
  • CHAI (8 stappen met cache) presteert beter in kwaliteit (0,7985 vs 0,7883) en is sneller (3,75s vs 4,36s) dan AdaCache, dat probeert stappen binnen één inferentie over te slaan.

Betekenis en Impact

CHAI oplost een fundamenteel knelpunt in de implementatie van text-to-video AI: de hoge inferentielatentie.

• Trainingsvrij: Het vereist geen dure hertraining van grote modellen, wat het direct toepasbaar maakt voor bestaande systemen.
• Kwaliteitsbehoud: Het doorbreekt de traditie dat minder stappen altijd leiden tot slechtere kwaliteit, door slimme hergebruik van semantische structuren.
• Praktische toepasbaarheid: Het werkt efficiënt met beperkte geheugenbudgetten, wat het ideaal maakt voor productiesystemen en interactieve toepassingen waar snelheid cruciaal is.

Kortom, CHAI bewijst dat cross-inferentie caching op een fijnere granulariteit (entiteiten) in combinatie met geavanceerde attention-mechanismen een schaalbare weg is naar snelle, hoogwaardige video-generatie.