SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching

Dit paper introduceert SenCache, een geavanceerde, trainingsvrije methode die de inferentie van diffusiemodellen versnelt door caching-tijdstippen dynamisch en per sample te selecteren op basis van een theoretisch onderbouwde gevoeligheidsanalyse, wat resulteert in betere visuele kwaliteit dan bestaande methoden.

De kern

SenCache: De Slimme "Snelheidsrem" voor AI-Filmpjes

Stel je voor dat je een kunstenaar bent die een heel lang en complex schilderij moet maken, stap voor stap. Maar in plaats van verf en kwast, gebruikt deze kunstenaar een supercomputer (een AI-model) die elke seconde een nieuwe versie van het schilderij tekent, waarbij hij steeds meer ruis (grijze vlekjes) verwijdert tot het beeld perfect is.

Het probleem? Dit proces is extreem traag. De computer moet duizenden keer "naar het schilderij kijken" en een nieuwe versie berekenen voordat het klaar is. Het is alsof je een film van 10 seconden moet maken, maar de computer doet er 10 minuten over.

Het oude idee: "Gokken" (Heuristiek)
Vroeger probeerden mensen dit te versnellen door te gokken. Ze dachten: "Hé, als het beeld in stap 10 en stap 11 bijna hetzelfde is, waarom rekenen we stap 11 dan niet gewoon over?" Ze gebruikten simpele regels, zoals: "Als het verschil in tijd klein is, sla dan een stap over."

Maar dit was als rijden met de ogen dicht en hopen dat je niet tegen een boom rijdt. Soms werkte het, soms niet. Soms sprongen ze te ver en werd het beeld wazig of zag het er raar uit. Ze moesten ook constant de regels aanpassen (tunen), wat veel werk was.

Het nieuwe idee: SenCache (De "Sensitiviteitsmeter")
De onderzoekers van EPFL hebben een slimme nieuwe methode bedacht: SenCache.

In plaats van te gokken, kijken ze naar de gevoeligheid van de AI.

Stel je de AI voor als een zeer gevoelige weegschaal.

• Als je een klein steentje op de weegschaal legt, zakt hij misschien een heel klein beetje (de uitkomst verandert weinig).
• Als je een zware koffer erop legt, zakt hij enorm (de uitkomst verandert veel).

SenCache vraagt zich bij elke stap af: "Als we nu een klein beetje verder gaan in de tijd of een klein beetje meer ruis verwijderen, hoeveel gaat het beeld dan veranderen?"

Ze gebruiken een wiskundige "gevoeligheidsmeter" (gebaseerd op hoe de AI reageert op kleine veranderingen).

1. Is de AI op dit moment "stijf"? (Verandert het beeld nauwelijks als we een stapje zetten?) -> Grootte! We slaan de berekening over en gebruiken het vorige beeld. De computer rust even uit.
2. Is de AI op dit moment "gevoelig"? (Verandert het beeld enorm als we een stapje zetten?) -> Nee! We rekenen de stap echt uit, want als we nu overslaan, ziet het resultaat er rot uit.

Waarom is dit zo goed?

• Het past zich aan: Een oude methode zegt: "Overslaan bij stap 10, 11 en 12 voor iedereen." SenCache zegt: "Voor dit specifieke filmpje is stap 10 saai (overslaan!), maar stap 11 is spannend (rekenen!). En voor dat andere filmpje is het juist andersom." Het is alsof je een slimme navigatie hebt die niet alleen naar de weg kijkt, maar ook naar het verkeer en het weer.
• Geen extra training: Je hoeft de AI niet opnieuw te leren. Je plakt er gewoon een slimme "rem" op die weet wanneer hij mag versnellen.
• Beter resultaat: In tests met moderne video-AI's (zoals Wan 2.1 en CogVideoX) bleek SenCache sneller te zijn dan de oude methoden, terwijl de filmpjes er net zo scherp en mooi uitzagen.

Samengevat in één zin:
SenCache is als een slimme chauffeur die precies weet wanneer hij mag gas geven (rekenen) en wanneer hij mag coasts (overslaan) op basis van de helling van de weg, in plaats van blindelings te gokken. Hierdoor komen we sneller aan bij het einddoel, zonder dat de passagiers (de kijkers) misselijk worden van de schokken.

Technische samenvatting

1. Het Probleem

Diffusiemodellen (en stroommatching-modellen) hebben de staat van de kunst voor het genereren van afbeeldingen en video's gedefinieerd, maar hun inferentie is extreem rekenintensief. Het genereren van een sample vereist honderden opeenvolgende "denoising"-stappen, waarbij elke stap een volledige forward-pass door een groot netwerk (vaak een Diffusion Transformer of DiT) inhoudt.

Hoewel er bestaande methoden zijn om dit te versnellen zonder het model opnieuw te trainen (zoals caching-methoden die eerder berekende outputs hergebruiken), hebben deze methoden twee fundamentele beperkingen:

1. Heuristische benadering: Bestaande methoden (zoals TeaCache en MagCache) vertrouwen op empirische regels (heuristieken) om te beslissen wanneer een output kan worden gecached. Deze regels zijn vaak niet theoretisch onderbouwd en vereisen uitgebreide hyperparameter-tuning.
2. Gebrek aan adaptiviteit: Deze methoden gebruiken statische schema's die niet reageren op de specifieke moeilijkheidsgraad van een individueel sample. Dit kan leiden tot het "over-cachen" van moeilijke samples (wat kwaliteit verlaagt) of het "onder-cachen" van makkelijke samples (wat rekentijd verspillen).

2. Methodologie: SenCache

De auteurs introduceren SenCache, een principieel kader voor caching dat gebaseerd is op de lokale gevoeligheid (sensitivity) van het denoising-netwerk.

Kernconcept: Gevoeligheid als criterium

In plaats van te vertrouwen op residu-grootte of tijdsverschillen als heuristiek, analyseert SenCache hoe sterk de output van het netwerk verandert bij kleine perturbaties in de invoer. De invoer bestaat uit twee componenten:

1. De ruisige latent ($x_t$).
2. De tijdstap ($t$).

De auteurs tonen aan dat de verandering in de output tussen twee opeenvolgende stappen kan worden benaderd via een eerste-orde expansie (Taylor-reeks):
$$\Delta f \approx J_x \cdot \Delta x_t + J_t \cdot \Delta t$$
Waarbij:

• $J_x$ de Jacobiaan is ten opzichte van de latent (gevoeligheid voor verandering in ruis).
• $J_t$ de afgeleide is ten opzichte van de tijdstap (gevoeligheid voor verandering in tijd).

Het Caching-criterium

SenCache definieert een gevoeligheidsscore ($S_t$):
$$S_t = \|J_x\| \|\Delta x_t\| + \|J_t\| |\Delta t|$$
De cache-regel is als volgt:

• Als $S_t \leq \varepsilon$ (waarbij $\varepsilon$ een door de gebruiker ingestelde tolerantie is), wordt de output gecached en hergebruikt.
• Anders wordt het netwerk opnieuw uitgevoerd en wordt de cache ververst.

Dit zorgt voor een dynamisch, sample-specifiek caching-beleid. Moeilijke stappen (waar de sensitiviteit hoog is) worden niet overgeslagen, terwijl makkelijke stappen wel worden gecached.

Praktische Implementatie

Het exact berekenen van de Jacobiaan is te duur voor inferentie. Daarom gebruiken de auteurs een finite-difference benadering (secant-methode) om de sensitiviteit te schatten.

• Deze schattingen worden één keer per model berekend op een kleine calibratie-set (in het experiment slechts 8 video's) en opgeslagen.
• Tijdens inferentie worden deze waarden opgehaald om de score te berekenen.
• Er is een parameter $n$ die het maximale aantal opeenvolgende cache-stappen beperkt om drift te voorkomen als de eerste-orde benadering onnauwkeurig wordt.

3. Belangrijkste Bijdragen

1. Theoretisch Onderbouwd Caching: SenCache vervangt ad-hoc heuristieken door een wiskundig onderbouwde regel gebaseerd op de lokale stabiliteit van het netwerk.
2. Dual-Source Sensitiviteit: Het paper identificeert dat zowel de latent-drift ($\Delta x_t$) als de tijdsdrift ($\Delta t$) kritiek zijn. Bestaande methoden negeren vaak een van deze twee, wat leidt tot fouten. SenCache combineert beide.
3. Adaptiviteit: Het beleid past zich per sample aan, in tegenstelling tot statische schema's.
4. Training-vrij en Architectuur-onafhankelijk: De methode vereist geen extra training, geen modelwijzigingen en werkt voor elke sampler of architectuur (zowel U-Nets als DiTs).
5. Uitleg van Bestaande Methodes: De analyse verklaart waarom methoden als TeaCache (gericht op $\Delta t$) en MagCache (gericht op $\Delta x_t$) soms falen: ze modelleren niet beide bronnen van variatie expliciet.

4. Resultaten

De auteurs hebben SenCache geëvalueerd op drie state-of-the-art video-generatiemodellen: Wan 2.1, CogVideoX en LTX-Video.

• Kwaliteit vs. Efficiëntie: Bij gelijke rekenkosten (zelfde aantal Function Evaluations - NFE) presteert SenCache consequent beter in visuele kwaliteit dan TeaCache en MagCache.
  • Bij Wan 2.1 (agressieve instelling): SenCache behaalde een LPIPS van 0.0540 vs 0.0603 voor MagCache en 0.0966 voor TeaCache (lager is beter).
  • Bij CogVideoX en LTX-Video: SenCache behaalde hogere SSIM en PSNR scores bij vergelijkbare NFE.
• Ablatie Studies:
  • Calibratie-setgrootte: Het bleek dat slechts 8 video's nodig zijn om stabiele sensitiviteitsschattingen te krijgen; grotere sets (tot 4096) gaven geen significante verbetering.
  • Parameter $n$ (Cache-lengte): Het verhogen van $n$ verhoogt de snelheid, maar na $n=4$ neemt de kwaliteit af zonder extra snelheidswinst (drift-probleem).
  • Parameter $\varepsilon$ (Tolerantie): Er is een duidelijke trade-off: een hogere $\varepsilon$ verlaagt de NFE (sneller) maar verlaagt de kwaliteit. De parameter fungeert als een directe knop voor de snelheid-kwaliteit afweging.

5. Betekenis en Toekomst

SenCache biedt een fundamenteel nieuw perspectief op het versnellen van diffusiemodellen. Door de "stijfheid" of "gladheid" van het netwerk lokaal te meten, kan men veilig beslissen welke stappen overgeslagen kunnen worden.

• Significantie: Het lost het probleem op van het "blind" vertrouwen op heuristieken en biedt een theoretisch kader dat generaliseert naar andere domeinen (audio, menselijke beweging, tekst).
• Toekomstig werk: De auteurs suggereren dat het gebruik van hogere-orde benaderingen of dynamisch aanpassen van de tolerantie $\varepsilon$ per tijdstap (omdat sommige stappen kritieker zijn dan anderen) de prestaties verder kunnen verbeteren.

Kortom, SenCache demonstreert dat het begrijpen van de interne dynamiek van het netwerk (via sensitiviteit) leidt tot efficiëntere en kwalitatief betere inferentie dan het toepassen van vaste regels.