🤖 machine learning

OnlineCache: Learning Dynamic Caching Policies with Error Correction for Efficient Diffusion Inference

OnlineCache is een dynamisch caching-framework dat een leerbaar beleid en een foutcorrector gebruikt om computationele middelen adaptief toe te wijzen over variërende prompts en tijdstappen, waardoor significante versnellingen in de inferentie voor diffusiemodellen worden bereikt terwijl de generatiekwaliteit behouden blijft.

Oorspronkelijke auteurs: Zhikang Xie, Xichen Ye, Yifan Wu, Haoshen Yu, Li chenan, Peizhu Gong, Weizhong Zhang, Cheng Jin

Gepubliceerd 2026-08-03

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Zhikang Xie, Xichen Ye, Yifan Wu, Haoshen Yu, Li chenan, Peizhu Gong, Weizhong Zhang, Cheng Jin

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterwerk probeert te schilderen, maar je wordt gedwongen om het hele canvas telkens opnieuw van voren af aan te schilderen voor elke penseelstreek. Dat is in essentie hoe moderne AI-beeldgeneratoren, bekend als diffusiemodellen, vandaag de dag werken. Ze beginnen met een chaotische wolk van digitale ruis en verfijnen deze stap voor stap tot een helder beeld. Hoewel dit proces verbluffend realistische afbeeldingen creëert, is het ongelooflijk traag en rekenintensief, alsof je een wolkenkrabber bouwt door één baksteen per keer te leggen en je werk te controleren door de hele toren telkens opnieuw op te bouwen. Om deze AI-tools sneller en bruikbaarder te maken voor real-time toepassingen, zoeken wetenschappers naar manieren om onnodige stappen over te slaan. Het populairste idee tot nu toe is "caching", wat vergelijkbaar is met het bewaren van een kopie van een vorige penseelstreek en deze hergebruiken als de afbeelding nog niet veel veranderd is. De oude manier van doen was echter rigide: het gebruikte een vast schema, waarbij besloten werd stappen over te slaan op basis van een eenvoudige timer, ongeacht of de huidige afbeelding makkelijk of moeilijk te tekenen was.

Dit artikel introduceert een slimmere, flexibelere aanpak genaamd OnlineCache. In plaats van een strikt regelboek te volgen, hebben de auteurs een kleine, lichtgewicht "coach" (een beleidsnetwerk) getraind die het schilderproces in realtime observeert. Deze coach beslist moment voor moment of het veilig is om een oude penseelstreek te hergebruiken of dat er een volledige, zware berekening nodig is. Het artikel betoogt dat de moeilijkheidsgraad van het genereren van een afbeelding sterk varieert afhankelijk van de prompt (sommige ideeën zijn makkelijk, andere zijn complex) en dat sommige momenten in het schilderproces gevoeliger zijn voor fouten dan andere. Door de AI te leren om haar strategie ter plekke aan te passen en zelfs een "corrector" toe te voegen om kleine fouten te herstellen die ontstaan door het overslaan van stappen, bereikt OnlineCache enorme snelheidsverbeteringen. Op het FLUX.1-dev model verdubbelt of verdrievoudigt het bijna de snelheid (een 3× versnelling), terwijl de beeldkwaliteit net zo hoog blijft als bij de trage, zorgvuldige methode. De auteurs laten zien dat deze dynamische, op leren gebaseerde aanpak consequent beter presteert dan eerdere statische methoden over verschillende afbeeldingsformaten, datasets en zelfs videogeneratietaken.

Het Probleem: De "One-Size-Fits-All" Valstrik

Om te begrijpen waarom OnlineCache een grote doorbraak is, moeten we eerst kijken naar het probleem dat het oplost. Diffusiemodellen zijn als kunstenaars die beginnen met een wazige, ruizige schets en deze geleidelijk aanscherpen. Om tot een definitieve afbeelding te komen, moeten ze misschien 30 of meer stappen zetten. In het verleden probeerden onderzoekers dit te versnellen door te zeggen: "Hé, stappen 10, 11 en 12 zien er vergelijkbaar uit, dus laten we gewoon het resultaat van stap 10 hergebruiken." Dit wordt caching genoemd.

De bestaande methoden waren echter als een strenge leraar die zegt: "Je moet stappen 10, 11 en 12 overslaan voor elke leerling, ongeacht wat er gebeurt." Dit is een statisch beleid. Het artikel wijst op twee grote gebreken bij deze aanpak:

Verschillende Prompts, Verschillende Behoeften: Sommige beeldverzoeken zijn simpel (zoals "een rode bal"), terwijl andere complex zijn (zoals "een cyberpunk stad in de regen"). Een statische leraar behandelt ze hetzelfde, waardoor er tijd wordt verspild aan de makkelijke en te snel wordt gegaan bij de moeilijke.
Verschillende Momenten, Verschillende Risico's: In het schilderproces zijn sommige stappen cruciaal voor het krijgen van de juiste vorm, terwijl andere alleen textuur toevoegen. Als je een cruciale stap overslaat, kan het hele beeld er fout uitzien. Statische regels kennen het verschil niet; ze kunnen een cruciale stap overslaan of tijd verspillen aan een saaie stap.

De auteurs stellen dat deze starheid de flessenhals is. Ze observeerden dat de "moeilijkheidsgraad" van de taak verandert van prompt tot prompt en van stap tot stap, maar dat oude methoden dit negeerden.

De Oplossing: Een Slimme Coach die Leert

OnlineCache verandert het spel door de beslissing over caching te veranderen in een leerprobleem. In plaats van een vaste regel, gebruikt het systeem een klein neuraal netwerk (de "policy") dat fungeert als een slimme coach die het schilderproces observeert.

Hoe de Coach Beslist:
De coach kijkt naar een paar belangrijke aanwijzingen voordat hij besluit of een stap overgeslagen moet worden:

De Huidige Staat: Hoe ziet de afbeelding er op dit moment uit? (Is het nog een rommeltje, of is het bijna klaar?)
De Gecachte Staat: Hoe zag de laatst opgeslagen stap eruit?
De Tijd: Hoe ver zijn we in het proces?

Op basis van deze aanwijzingen vraagt de coach: "Is het veilig om het oude resultaat te hergebruiken, of moeten we het zware werk doen?" Als de coach denkt dat het veilig is, slaat hij de zware berekening over (wat tijd bespaart). Als de coach denkt dat de afbeelding lastig is of de stap cruciaal is, dwingt hij de AI om de volledige berekening uit te voeren.

De "Bilevel" Twist (De Coach en de Fixer):
Het artikel introduceert twee versies van dit systeem. De eerste is alleen de coach. De tweede, meer geavanceerde versie (genaamd Bilevel Optimization of BLO) voegt een tweede personage toe: een Corrector.

De Coach beslist wanneer er wordt overgeslagen.
De Corrector is een klein hulpmiddel dat de kleine fouten herstelt die optreden wanneer de coach een stap overslaat.

Denk aan het als een video afspelen waarbij je de video versnelt. De coach beslist wanneer je de video versnelt. Als de versnelling te veel overslaat, kan het beeld wazig worden. De corrector is als een "verscherp"-knop die de wazigheid direct herstelt, zodat de versnelde video toch scherp blijft. Het systeem traint zowel de coach als de corrector samen: de coach leert alleen te versnellen wanneer de corrector de fout kan herstellen, en de corrector leert de fouten te herstellen die de coach overslaat.

Wat de Experimenten Lieten Zien

De auteurs testten dit systeem op verschillende krachtige AI-modellen, waaronder FLUX.1-dev, DiT en CogVideoX (voor video). Dit is wat ze ontdekten:

Snelheid vs. Kwaliteit: Op het FLUX.1-dev model bereikte OnlineCache bijna een 3× versnelling. Dit betekent dat het afbeeldingen bijna drie keer sneller genereerde dan de standaardmethode. Cruciaal was dat de kwaliteit niet daalde; sterker nog, de afbeeldingen waren vaak scherper en nauwkeuriger dan die van andere snelle methoden.
Aanpassingsvermogen: Het systeem bewees dat het verschillende scenario's kon aan kunnen. Wanneer gevraagd werd om simpele afbeeldingen te genereren, sloeg het meer stappen over. Wanneer de prompt complex was, werkte het harder. Het begreep ook dat bepaalde specifieke momenten in het schilderproces te belangrijk waren om over te slaan, terwijl andere veilig genegeerd konden worden.
De Concurrentie Verslaan: Het artikel vergeleken OnlineCache met andere topmethoden zoals ERTACache en TeaCache. In bijna elke test produceerde OnlineCache betere afbeeldingen met minder fouten. Bijvoorbeeld, in één test verminderde het de visuele fout (L1-fout) met 37,48% vergeleken met een statische methode die evenveel stappen oversloeg.
Generalisatie: Het systeem werd getraind op één set afbeeldingen (MSCOCO), maar werkte perfect op volledig andere afbeeldingen (Parti-Prompts) en zelfs op verschillende resoluties (van 512x512 tot 1024x1024) zonder dat het opnieuw getraind hoefde te worden. Het werkte zelfs op videogeneratie, wat aantoont dat het "slimme coach"-idee niet alleen voor plaatjes is.

Waarom Dit Belangrijk Is

Het artikel suggereert dat de toekomst van snelle AI niet gaat over het bouwen van grotere, snellere computers, maar over slimmer omgaan met de computers die we al hebben. Door af te stappen van rigide, "one-size-fits-all" regels en te kiezen voor een dynamische, op leren gebaseerde aanpak, kunnen we AI-generatoren aanzienlijk sneller maken zonder de kwaliteit die ze zo geweldig maakt op te offeren. De auteurs laten zien dat door de AI te laten beslissen wanneer ze een kortere weg nemen en hoe ze de fouten herstellen, we het beste van beide werelden krijgen: snelheid en perfectie.

Kortom, OnlineCache leert de AI om een flexibele kunstenaar te zijn in plaats van een rigide robot, wat resulteert in snellere, kwalitatief betere creaties die zich aanpassen aan de taak die voorhanden is.

Technische Samenvatting: OnlineCache

Probleemstelling

Diffusiemodellen hebben zichzelf gevestigd als het dominante paradigma in generatieve AI voor beeld, video en audio. Echter, hun afhankelijkheid van iteratieve denoisingsprocessen brengt aanzienlijke computationele overhead en hoge latentie met zich mee, wat real-time implementatie belemmert. Hoewel cache-gebaseerde versnellingsstrategieën zijn opgekomen om tussenliggende kenmerken te hergebruiken en temporele redundantie uit te buiten, lijden bestaande benaderingen aan aanzienlijke starheid. De meeste huidige methoden vertrouwen op statische, sample-agnostische schema's (bijv. vaste caching-ratio's) of heuristiek-gestuurde regels (bijv. gulzige lokale drempelwaarden).

De auteurs stellen dat deze rigide beleidregelen er niet in slagen om twee empirisch gevalideerde bronnen van heterogeniteit in het denoisingsproces aan te pakken:

Sample-niveau heterogeniteit: De moeilijkheidsgraad van generatie varieert aanzienlijk per verschillende prompts. Statische beleidregelen alloceren rekenkracht uniform, waardoor ze er niet in slagen meer middelen toe te wijzen aan complexe inputs en minder aan eenvoudige inputs.
Timestep-niveau heterogeniteit: De foutgevoeligheid fluctueert gedurende de denoisings-trajectorie. Statische beleidregelen kunnen onbedoeld stappen met een hoge fout cachen of rekenkracht verspillen aan redundante, laag-fout stappen, wat leidt tot suboptimale kwaliteit.

Methodologie

Om deze beperkingen aan te pakken, stelt het artikel OnlineCache voor, een dynamisch caching-framework dat het caching-schema formuleert als een sequentieel besluitvormingsprobleem. Het framework leert wanneer te cachen en hoe optimalisatiefouten te corrigeren, waarbij het zich aanpast aan zowel specifieke samples als timesteps.

Kerncomponenten

Policy Netwerk ( $\pi_\theta$ ):
- Architectuur: Een lichtgewicht Multi-Layer Perceptron (MLP) die een binaire beslissing ( $a_t \in \{0, 1\}$ ) genereert voor elke timestep: ofwel een gecachte residu hergebruiken of de volledige berekening uitvoeren.
- State Representatie ( $s_t$ ): Om efficiëntie en generalisatie te waarborgen, neemt de policy geen ruwe latent tokens op. In plaats daarvan maakt het gebruik van statistische sufficiëntie en temporele bewustheid:
  - Kanaalwijze gemiddelde ( $\mu$ ) en standaarddeviatie ( $\sigma$ ) van de huidige latent $x_t$ en de gecachte residu $r_{cached}$ .
  - De maximale absolute waarde van de gecachte residu ( $\max(|r_{cached}|)$ ) om saillante gelokaliseerde updates te vangen.
  - Time embedding ( $emb_{time}(t)$ ) om fase-informatie te bieden.
- Optimalisatie: De policy wordt getraind met behulp van Policy Gradient (REINFORCE). Het doel is het maximaliseren van een traject-niveau beloning die visuele getrouwheid balanceert tegen een doelstelling voor versnellingsratio.
Beloningsontwerp (Reward Design):
- Kwaliteitsbeloning ( $R_q$ ): Gebaseerd op perceptuele gelijkenis (LPIPS) en structurele gelijkenis (SSIM) tussen de gegenereerde afbeelding en de grondwaarheid.
- Versnellingsbeperking ( $R_a$ ): Een strafterm die een doelstelling voor de cache-ratio afdwingt (bijv. 50% caching).
- Stabiliteitsstraf ( $R_s$ ): Een straf die wordt toegepast als opeenvolgende skips een tolerantiedrempel overschrijden om fout-explosie te voorkomen.
Bilevel Optimization (BLO) Variant:
- Om fouten te mitigeren die worden geïntroduceerd door het overslaan van berekeningen, introduceren de auteurs een leerbare Error Corrector ( $C_\phi$ ), geïmplementeerd als een lichtgewicht MLP.
- Outer Loop: Optimaliseert de policy $\theta$ om de globale generatiekwaliteit te maximaliseren.
- Inner Loop: Optimaliseert de corrector $\phi$ om lokale fouten (Mean Squared Error) op de gecachte stappen te minimaliseren.
- Trainingsstrategie: Vanwege de onhandelbaarheid van het berekenen van exacte impliciete gradiënten (veroorzaakt door discrete actie-sampling en hoge dimensionaliteit), gebruiken de auteurs een First-Order Approximatie. Ze wisselen af tussen het updaten van de policy (ervan uitgaande dat de corrector vaststaat) en het updaten van de corrector (via supervised fine-tuning op trajecten gegenereerd door de nieuwe policy). Deze coördinaat-afdaling methode convergeert naar een gezamenlijk evenwicht.

Belangrijkste Bijdragen

Dynamisch, Instantie-bewust Framework: OnlineCache gaat verder dan vaste regels en wijst dynamisch computationele middelen toe op basis van prompt-moeilijkheidsgraad en timestep-gevoeligheid.
Gezamenlijke Optimalisatie van Policy en Correctie: De BLO-variant koppelt de caching-beslissing uniek aan een foutcorrector, waardoor wordt gegarandeerd dat de policy alleen berekeningen overslaat wanneer de corrector de geïnduceerde traject-afwijkingen effectief kan herstellen.
Efficiënt en Generaliseerbaar Ontwerp:
- Het policy netwerk is lichtgewicht (verwaarloosbare inferentie-latentie).
  [] De het gebruik van statistische samenvattingen (gemiddelde/std) in plaats van ruwe tensoren maakt de aanpak resolutie-agnostisch en in staat tot zero-shot transfer over resoluties en nauw verwante modelarchitecturen.
Uitgebreide Evaluatie: De auteurs leveren uitgebreide experimenten over beeldgeneratie (FLUX.1-DEV, DiT) en video-generatie (CogVideoX), waarmee de superioriteit ten opzichte van zowel statische als leer-gebaseerde baselines wordt aangetoond.

Experimentele Resultaten

Het artikel rapporteert significante prestatiewinsten over meerdere modellen en datasets:

FLUX.1-DEV (Beeldgeneratie):
- Op MSCOCO (512×512) bereikt OnlineCache (BLO-variant) een 2.96× versnelling met een cache-ratio van 72,22%, waarbij het zowel in snelheid als visuele kwaliteit (lagere LPIPS, hogere SSIM/PSNR) beter presteert dan ERTACache (2.68×) en TeaCache (2.60×).
- Op Parti-Prompts bereikt het een versnelling van maar liefst 5.25× met een gracieuze degradatie in kwaliteit, waarbij competitieve metrieken behouden blijven, zelfs bij extreme versnellingsniveaus.
- Generalisatie: De methode die getraind is op 512×512 beelden generaliseert succesvol naar 1024×1024 zonder hertraining. Het transereert ook effectief naar het gedestilleerde FLUX.1-Schnell model en de Parti-Prompts dataset.
DiT-XL/2 (ImageNet-256):
- Vergeleken met leer-gebaseerde methoden (FastCache, L2C) en training-vrije methoden (TeaCache, AdaCache), bereikt OnlineCache een 1.88× versnelling (onder DPM++ 50 stappen) terwijl het de FID verbetert van 3.47 naar 3.28. De auteurs schrijven deze kwaliteitswinst toe aan de onderdrukking van sampling-ruis via selectieve caching en foutcorrectie.
CogVideoX-2B (Video Generatie):
- Bij video-generatietaken presteert OnlineCache beter dan de TeaCache baseline, waarbij het hogere VBench-scores en lagere LPIPS behaalt bij vergelijkbare versnellingen (bijv. 1.79× versnelling met 78,09% VBench score versus TeaCache's 77,40%).

Betekenis en Claims

Het artikel claimt dat OnlineCache een geprincipiëerd, globaal geoptimaliseerd paradigma vestigt voor cache-gebaseerde versnelling. Door caching te behandelen als een sequentieel besluitvormingsprobleem in plaats van een statische regel, navigeert het framework effectief tussen de trade-off tussen efficiëntie en getrouwheid.

De auteurs benadrukken dat hun aanpak:

Automatisch middelen toewijst over zowel samples als timesteps, waarmee de intrinsieke heterogeniteit van diffusieprocessen wordt geadresseerd.
Geen architecturale wijzigingen vereist voor de backbone-diffusiemodellen, wat het een "plug-and-play" oplossing maakt.
Superieure Pareto-fronten levert tussen snelheid en kwaliteit vergeleken met bestaande state-of-the-art methoden, gevalideerd over diverse modaliteiten en resoluties.

Het werk suggereert dat toekomstige versnellingsstrategieën zich moeten bewegen van heuristische of statische scheduling naar adaptieve, instantie-bewuste beleidregelen die gezamenlijk optimaliseren voor zowel snelheid als foutcorrectie.