Adaptive Hybrid Caching for Efficient Text-to-Video Diffusion Model Acceleration

Dit artikel introduceert MixCache, een trainingsvrij raamwerk dat de inferentie van video-DiT-modellen versnelt door een contextbewuste en adaptieve hybride caching-strategie te gebruiken die verschillende caching-granulariteiten dynamisch combineert om zowel snelheid als kwaliteit te optimaliseren.

De kern

Stel je voor dat je een kunstenaar bent die een prachtige video moet maken, maar je werkt met een zeer strenge, langzame methode. Je begint met een potje vol met willekeurige, gekleurde vlekken (ruis). Om een scherp beeld te krijgen, moet je deze vlekken stap voor stap, heel voorzichtig, wegpoetsen en vervangen door de juiste details. Dit proces heet "diffusie".

Het probleem? Voor een video van slechts 5 seconden moet je dit poetsenproces misschien wel 50 keer herhalen. Dat duurt lang, kost veel energie en is niet ideaal als je snel een video wilt.

De onderzoekers van dit paper (MixCache) hebben een slimme oplossing bedacht. Ze noemen het MixCache. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: "Waarom tel ik alles opnieuw?"

Stel je voor dat je een lange reis maakt. Op het begin van de reis verandert het landschap heel snel (van bos naar berg). Maar halverwege de reis zie je misschien 10 minuten lang precies hetzelfde bos.

• De oude manier: Je stopt elke 100 meter, kijkt uit het raam, noteert wat je ziet, en gaat dan pas weer verder. Zelfs als het landschap niet veranderd is, doe je dit werk elke keer opnieuw.
• De MixCache-methode: Ze zeggen: "Wacht even! Als het landschap er precies hetzelfde uitziet als 10 minuten geleden, hoef je niet opnieuw te kijken. Je kunt gewoon je notitie van 10 minuten geleden gebruiken."

2. De drie slimme trucs (De "Granulariteiten")

Anderen hebben al geprobeerd om dit te versnellen, maar ze waren te star. Ze deden altijd maar één ding: ofwel keken ze heel lang niet uit het raam (grote stappen), ofwel keken ze alleen naar de achtergrond (specifieke blokken).

MixCache is slimmer omdat het drie verschillende manieren heeft om te "spieken" (cachen), en het kiest op het juiste moment de juiste manier:

• De "Grote Stap" (Step Level): Soms verandert de video zo weinig tussen twee stappen, dat je de hele berekening van die stap kunt overslaan. Analogie: Je loopt door een tunnel die er precies hetzelfde uitziet als de vorige 100 meter. Je hoeft niet te kijken; je loopt gewoon door.
• De "Twee Kanten" (CFG Level): Bij het maken van video's vraagt de computer vaak twee dingen tegelijk: "Hoe ziet het eruit met tekst?" en "Hoe ziet het eruit zonder tekst?". Soms zijn deze twee antwoorden bijna identiek. Analogie: Je vraagt je vriend: "Zie je die auto?" en "Zie je die auto als ik niets zeg?". Als het antwoord hetzelfde is, hoef je maar één vraag te stellen in plaats van twee.
• De "Blokken" (Block Level): Een video-generator bestaat uit verschillende lagen (blokken). Soms verandert de bovenste laag heel weinig, terwijl de onderste laag wel veel doet. Analogie: Je bouwt een huis. De fundering (onderste laag) verandert elke dag, maar de dakpannen (bovenste laag) liggen er al een week en veranderen niet. Je hoeft de dakpannen niet elke dag opnieuw te controleren.

3. De slimme chauffeur (Adaptieve Hybrid Caching)

Het echte genie van MixCache is dat het niet vasthoudt aan één regel. Het heeft een slimme chauffeur in de auto die constant kijkt:

• "Zien we nu veel veranderingen?" (Bij het begin van de video is dat zo). -> Volledig werken. Geen spieken!
• "Zien we nu weinig veranderingen?" (Halverwege of aan het einde). -> Spieken!
• "Welke manier van spieken is het veiligst?" Soms is het veilig om een hele stap over te slaan, soms is het veiliger om alleen de dakpannen over te slaan. De chauffeur kiest op dat moment de snelste en veiligste optie.

4. Het resultaat: Sneller, maar net zo mooi

Omdat MixCache slim weet wanneer het werk mag overslaan en welke manier het moet gebruiken, gebeurt er iets magisch:

• Snelheid: De video wordt bijna 2 keer zo snel gemaakt (bijvoorbeeld in 45 minuten in plaats van 90 minuten).
• Kwaliteit: De video ziet er precies even goed uit als de originele, trage versie. Er zijn geen rare vlekken of vervormingen.

Samenvatting in één zin

MixCache is als een slimme assistent die tijdens het maken van een video constant kijkt: "Hebben we dit al eerder gezien?" en als het antwoord "ja" is, bespaart hij je tijd door het werk over te slaan, zonder dat de kwaliteit van je video eronder lijdt.

Dit maakt het mogelijk om in de toekomst veel sneller en vaker prachtige AI-video's te maken, zonder dat je uren hoeft te wachten.

Technische samenvatting

Probleemstelling

Video-generatie-modellen op basis van Diffusion Transformers (DiT), zoals Sora, HunyuanVideo en Wan, hebben de kwaliteit van synthetische video's revolutionair verbeterd. Echter, deze modellen lijden onder een hoge rekenkosten en inferentielatentie vanwege hun iteratieve ontdoofingsproces (denoising), waarbij vaak 20 tot 100 stappen nodig zijn om een video te genereren.

Bestaande versnellingsmethoden, zoals caching, proberen redundantie in het diffusieproces te benutten om berekeningen over te slaan. Deze methoden opereren echter meestal op één enkel granulariteitsniveau:

• Stap-niveau: Overslaan van volledige ontdoofingsstappen.
• CFG-niveau: Hergebruiken van resultaten tussen conditionele en unconditional forward passes.
• Block-niveau: Overslaan van specifieke transformer-blokken binnen een stap.

Het probleem is dat deze methoden statisch zijn en niet flexibel inspelen op de dynamische aard van redundantie tijdens het diffusieproces. Een starre strategie leidt vaak tot een afweging tussen snelheid en kwaliteit: te agressief cachen verlaagt de kwaliteit, terwijl te voorzichtig cachen de snelheid niet voldoende verbetert.

Methodologie: MixCache

De auteurs stellen MixCache voor, een trainingsvrij framework dat adaptief meerdere caching-strategieën combineert. Het systeem bestaat uit twee kerncomponenten:

1. Context-aware Cache Triggering (Wanneer te cachen?)

Het diffusieproces is niet uniform; de vroege fasen zijn cruciaal voor de globale structuur en zijn gevoelig voor storingen, terwijl latere fasen meer redundantie vertonen.

• Warm-up fase: In het begin worden alle stappen volledig berekend om de basisstructuur van de video vast te leggen.
• Cache-enabled fase: Zodra de stap-voor-stap redundantie (gemeten via relatieve L1-afstand) onder een drempelwaarde ($\theta$) zakt, schakelt het systeem over naar caching.
• Adaptieve Interval ($N$): Het systeem monitort de afwijking tussen volledige berekeningen. Als de afwijking te groot wordt, wordt het interval tussen volledige berekeningen verkort (meer kwaliteit); als de afwijking klein is, wordt het interval verlengd (meer snelheid). Dit wordt geregeld via parameters $\delta_1$ en $\delta_2$.

2. Adaptieve Hybrid Cache Decision (Welke granulariteit te kiezen?)

Nadat caching is ingeschakeld, moet per tijdstap worden bepaald welke granulariteit (stap, CFG of block) het beste is.

• Impact-analyse: De auteurs analyseren niet alleen de gelijkenis van de output, maar ook de impact van het overslaan van berekeningen op de uiteindelijke kwaliteit. Ze gebruiken een offline profiel met Gaussische verstoringen om te schatten hoe gevoelig een bepaalde granulariteit is op een bepaald tijdstip.
• Beslissingsstrategie: Voor elke cache-stap worden drie waarden berekend: de gelijkenis ($D$) en de geschatte impact ($I$). De methode met het laagste product $P = D \times I$ wordt gekozen. Dit zorgt ervoor dat de methode wordt gekozen die de minste schade doet aan de kwaliteit terwijl het de meeste redundantie uitbuit.
• Penalty-strategie: Om te voorkomen dat het systeem vastloopt in één type caching, wordt een "penalty" toegepast: als een granulariteit in de huidige stap wordt gebruikt, wordt deze in de volgende stap tijdelijk uitgesloten.

Belangrijkste Bijdragen

1. Analyse van Meervoudige Redundantie: Een grondig onderzoek naar de dynamische aard van redundantie op stap-, CFG- en block-niveau, wat aantoont dat deze variëren afhankelijk van het stadium van het diffusieproces en de input-prompt.
2. Adaptieve Hybrid Framework: De introductie van MixCache, dat zonder training van het model zelf werkt en dynamisch schakelt tussen verschillende caching-niveaus.
3. Context-aware Triggering: Een strategie om het begin van caching en de frequentie van volledige berekeningen dynamisch aan te passen aan de huidige staat van de generatie.
4. Training-vrij: Het framework vereist geen aanpassingen aan de modelarchitectuur of hertraining, wat het direct toepasbaar maakt op bestaande industriële modellen.

Resultaten

MixCache werd getest op grote industriële modellen (Wan 14B, HunyuanVideo, CogVideoX 5B) en vergeleken met state-of-the-art baselines zoals TeaCache, FasterCache en BlockDance.

• Snelheidswinst: MixCache bereikte aanzienlijke versnellingen zonder kwaliteitsverlies.
  • Wan 14B: Tot 1.94x versnelling.
  • HunyuanVideo: Tot 1.97x versnelling.
  • CogVideoX 5B: Tot 1.73x versnelling.
• Kwaliteit: De gegenereerde video's behielden een hoge visuele kwaliteit, met metrics (VBench, LPIPS, PSNR, SSIM) die vergelijkbaar waren met het originele model en vaak beter dan de baselines bij gelijke snelheid.
• Ablatie-studies: Experimenten toonden aan dat de combinatie van de $N$-scaling, de penalty-strategie en de hybride keuze essentieel is voor de prestaties. Het gebruik van slechts één type caching (bijv. alleen block-level) presteerde slechter dan de hybride aanpak.
• Schaalbaarheid: Het framework werkt goed op multi-GPU-configuraties en bij hogere resoluties (tot 720p en hoger), met een lineaire schaalbaarheid.

Betekenis en Impact

MixCache biedt een praktische oplossing voor de "latency bottleneck" van video-generatie, wat essentieel is voor interactieve multimedia-applicaties en grootschalige deploy. Door de redundantie in het diffusieproces op een flexibele, adaptieve manier te benutten, maakt het snellere inferentie mogelijk zonder in te leveren op de creatieve kwaliteit. Dit opent de deur voor real-time of near-real-time video-generatie-toepassingen in de toekomst.