🤖 machine learning

OnlineCache: Learning Dynamic Caching Policies with Error Correction for Efficient Diffusion Inference

OnlineCache ist ein dynamisches Caching-Framework, das eine lernbare Policy und einen Fehlerkorrektor verwendet, um Rechenressourcen adaptiv über verschiedene Prompts und Zeitschritte hinweg zuzuweisen, wodurch signifikante Beschleunigungen der Inferenz für Diffusionsmodelle bei gleichzeitiger Bewahrung der Generationsqualität erreicht werden.

Ursprüngliche Autoren: Zhikang Xie, Xichen Ye, Yifan Wu, Haoshen Yu, Li chenan, Peizhu Gong, Weizhong Zhang, Cheng Jin

Veröffentlicht 2026-08-03

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zhikang Xie, Xichen Ye, Yifan Wu, Haoshen Yu, Li chenan, Peizhu Gong, Weizhong Zhang, Cheng Jin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein Meisterwerk zu malen, aber Sie sind gezwungen, die gesamte Leinwand für jeden einzelnen Pinselstrich von Grund auf neu zu übermalen. Das ist im Wesentlichen die Art und Weise, wie moderne KI-Bildgeneratoren, bekannt als Diffusionsmodelle, heute arbeiten. Sie beginnen mit einer chaotischen Wolke aus digitalem Rauschen und verfeinern sie Schritt für Schritt zu einem klaren Bild. Während dieser Prozess atemberaubend realistische Bilder erzeugt, ist er unglaublich langsam und rechenintensiv – wie der Versuch, einen Wolkenkratzer zu bauen, indem man Stein für Stein legt und dann seine Arbeit überprüft, indem man den gesamten Turm neu baut. Um diese KI-Tools schneller und nützlicher für Echtzeitanwendungen zu machen, suchen Wissenschaftler nach Wegen, unnötige Schritte zu überspringen. Die bisher populärste Idee war das „Caching“, was so ähnlich ist, als würde man eine Kopie eines vorherigen Pinselstrichs aufbewahren und sie wiederverwenden, wenn sich das Bild noch nicht viel verändert hat. Die alte Methode der Umsetzung war jedoch starr: Sie nutzte einen festen Zeitplan und entschied, Schritte zu überspringen, basierend auf einem einfachen Timer, unabhängig davon, ob das aktuelle Bild einfach oder schwer zu zeichnen war.

Dieses Paper stellt einen intelligenteren, flexibleren Ansatz namens OnlineCache vor. Anstatt einer starren Regel ever zu folgen, hat die Autoren einen winzigen, leichtgewichtigen „Coach“ (ein Policy-Netzwerk) trainiert, der den Malprozess in Echtzeit beobachtet. Dieser Coach entscheidet Moment für Moment, ob es sicher ist, einen alten Pinselstrich wiederzuverwenden oder ob er die volle, schwere Berechnung durchführen muss. Das Paper argumentiert, dass der Schwierigkeitsgrad der Generierung eines Bildes je nach Prompt stark variiert (einige Ideen sind einfach, andere komplex) und dass einige Momente im Malprozess empfindlicher gegenüber Fehlern sind als andere. Indem man der KI beibringt, ihre Strategie vor Ort anzupassen und sogar einen „Korrektor“ einzubeziehen, um kleine Fehler zu beheben, die durch das Überspringen von Schritten entstehen, erreicht OnlineCache massive Geschwindigkeitssteigerungen. Auf dem FLUX.1-dev Modell verdreifacht es die Geschwindigkeit (ein 3× Speedup), während es die Bildqualität genauso hoch hält wie bei der langsamen, sorgfältigen Methode. Die Autoren zeigen, dass dieser dynamische, lernbasierte Ansatz bisherige statische Methoden über verschiedene Bildgrößen, Datensätze und sogar Video-Generationsaufgaben hinweg konsistent übertrifft.

Das Problem: Die „Einheitsgröße“-Falle

Um zu verstehen, warum OnlineCache eine große Sache ist, müssen wir zuerst das Problem betrachten, das es löst. Diffusionsmodelle sind wie Künstler, die mit einer verschwommenen, verrauschten Skizze beginnen und diese schrittweise schärfen. Um ein fertiges Bild zu erhalten, benötigen sie vielleicht 30 oder mehr Schritte. In der Vergangenheit versuchten Forscher, dies zu beschleunigen, indem sie sagten: „Hey, die Schritte 10, 11 und 12 sehen ähnlich aus, also lassen wir uns einfach das Ergebnis von Schritt 10 wiederverwenden.“ Dies wird als Caching bezeichnet.

Die bestehenden Methoden waren jedoch wie ein strenger Lehrer, der sagt: „Du musst die Schritte 10, 11 und 12 für jeden Schüler überspringen, egal was passiert.“ Dies ist eine statische Policy. Das Paper weist auf zwei wesentliche Mängel dieses Ansatzes hin:

Unterschiedliche Prompts, unterschiedliche Bedürfnisse: Einige Bildanfragen sind einfach (wie „ein roter Ball“), während andere komplex sind (wie „eine Cyberpunk-Stadt im Regen“). Ein statischer Lehrer behandelt sie gleich und verschwendet Zeit bei den einfachen und hetzt bei den schwierigen.
Unterschiedliche Momente, unterschiedliche Risiken: Im Malprozess sind einige Schritte entscheidend, um die Form richtig hinzubekommen, während andere nur Texturen hinzufügen. Wenn man einen entscheidenden Schritt überspringt, könnte das gesamte Bild falsch aussehen. Statische Regeln kennen den Unterschied nicht; sie könnten einen entscheidenden Schritt überspringen oder Zeit mit einer langweiligen Aufgabe verschwenden.

Die Autoren argumentieren, dass diese Starrheit der Flaschenhals ist. Sie beobachteten, dass sich der „Schwierigkeitsgrad“ der Aufgabe von Prompt zu Prompt und von Schritt zu Schritt ändert, alte Methoden dies jedoch ignorierten.

Die Lösung: Ein smarter Coach, der lernt

OnlineCache verändert die Spielregeln, indem es die Caching-Entscheidung in ein Lernproblem verwandelt. Anstatt einer festen Regel verwendet das System ein winziges neuronales Netzwerk (die „Policy“), das wie ein smarter Coach fungiert, der den Malprozess beobachtet.

Wie der Coach entscheidet:
Der Coach betrachtet einige Schlüsselhinweise, bevor er entscheidet, ob ein Schritt übersprungen wird:

Der aktuelle Zustand: Wie sieht das Bild gerade aus? (Ist es noch ein Chaos oder ist es fast fertig?)
Der gecachte Zustand: Wie sah der letzte gespeicherte Schritt aus?
Die Zeit: Wie weit sind wir im Prozess fortgeschritten?

Basierend auf diesen Hinweisen fragt der Coach: „Ist es sicher, das alte Ergebnis wiederzuverwenden, oder müssen wir die harte Arbeit erledigen?“ Wenn der Coach glaubt, dass es sicher ist, überspringt er die schwere Berechnung (was Zeit spart). Wenn er glaubt, dass das Bild knifflig oder der Schritt kritisch ist, zwingt er die KI zur vollständigen Berechnung.

Der „Bilevel“-Twist (Der Coach und der Fixer):
Das Paper führt zwei Versionen dieses Systems ein. Die erste besteht nur aus dem Coach. Die zweite, fortgeschrittenere Version (genannt Bilevel Optimization oder BLO) fügt einen zweiten Charakter hinzu: einen Korrektor.

Der Coach entscheidet, wann übersprungen wird.
Der Korrektur-Mechanismus ist ein winziges Werkzeug, das die kleinen Fehler behebt, die entstehen, wenn der Coach einen Schritt überspringt.

Stellen Sie sich das wie einen Videoplayer vor, bei dem man vorspulen kann. Der Coach entscheidet, wann vorgespult wird. Wenn das Vorspulen zu viel überspringt, könnte das Bild verschwommen aussehen. Der Korrektor ist wie ein „Schärfen“-Button, der das Verschwimmen sofort behebt und sicherstellt, dass das vorgespulte Video dennoch knackig aussieht. Das System trainiert sowohl den Coach als auch den Korrektor gemeinsam: Der Coach lernt, nur dann zu überspringen, wenn der Korrektor die Reparatur bewältigen kann, und der Korrektor lernt, das zu reparieren, was der Coach überspringt.

Was die Experimente zeigten

Die Autoren testeten dieses System auf mehreren leistungsstarken KI-Modellen, einschließlich FLUX.1-dev, DiT und CogVideoX (für Video). Hier ist, was sie herausfanden:

Geschwindigkeit vs. Qualität: Beim FLUX.1-dev Modell erreichte OnlineCache eine nahezu 3-fache Beschleunigung (3× speedup). Das bedeutet, es generierte Bilder dreimal schneller als die Standardmethode. Entscheidend ist, dass die Qualität nicht sank; tatsächlich waren die Bilder oft schärfer und präziser als die mit anderen schnellen Methoden erzeugten.
Anpassungsfähigkeit: Das System bewies, dass es verschiedene Szenarien bewältigen kann. Wenn es angewiesen wurde, einfache Bilder zu generieren, übersprang es mehr Schritte. Wenn der Prompt komplex war, arbeitete es härter. Es fand auch heraus, dass bestimmte spezifische Momente im Malprozess zu wichtig waren, um sie zu überspringen, während andere ignoriert werden konnten.
Den Wettbewerb schlagen: Das Paper verglich OnlineCache mit anderen erstklassigen Methoden wie ERTACache und TeaCache. In fast jedem Test produzierte OnlineCache bessere Bilder mit weniger Fehlern. Beispielsweise reduzierte es in einem Test den visuellen Fehler (L1-Fehler) im Vergleich zu einer statischen Methode, die die gleiche Anzahl an Übersprüngen verwendete, um 37,48 %.
Generalisierung: Das System wurde auf einem Satz von Bildern (MSCOCO) trainiert, funktionierte aber perfekt auf völlig anderen Bildern (Parti-Prompts) und sogar bei unterschiedlichen Auflösungen (von 512x512 bis 1024x1024), ohne neu trainiert werden zu müssen. Es funktionierte sogar bei der Videogenerierung und zeigte damit, dass die Idee des „smarten Coaches“ nicht nur für Bilder gilt.

Warum das wichtig ist

Das Paper legt nahe, dass die Zukunft der schnellen KI nicht darin liegt, größere, schnellere Computer zu bauen, sondern darin, smarter mit den Computern umzugehen, die wir bereits haben. Indem wir uns von starren „Einheitsgröße“-Regeln lösen und einen dynamischen, lernbasierten Ansatz wählen, können wir KI-Generatoren signifikant schneller machen, ohne die Qualität zu opfern, die sie so großartig macht. Die Autoren zeigen, dass wir, indem wir der KI erlauben zu entscheiden, wann sie eine Abkürzung nimmt und wie sie die Fehler behebt, das Beste aus beiden Welten erhalten: Geschwindigkeit und Perfektion.

Kurz gesagt: OnlineCache lehrt die KI, ein flexibler Künstler statt eines starren Roboters zu sein, was zu schnelleren, qualitativ hochwertigeren Kreationen führt, die sich der jeweiligen Aufgabe anpassen.

Technisches Resümee: OnlineCache

Problemstellung

Diffusionsmodelle haben sich als dominantes Paradigma in der generativen KI für Bilder, Videos und Audio etabliert. Ihr Rückgriff auf iterative Entrauschungsprozesse verursacht jedoch einen erheblichen Rechenaufwand und hohe Latenzen, was den Echtzeit-Einsatz erschwert. Während cache-basierte Beschleunigungsstrategien entstanden sind, um Zwischenmerkmale wiederzuverwenden und zeitliche Redundanz auszunutzen, leiden bestehende Ansätze unter erheblicher Rigidität. Die meisten aktuellen Methoden verlassen sich auf statische, stichprobenunabhängige Zeitpläne (z. B. feste Cache-Raten) oder heuristikgesteuerte Regeln (z. B. gierige lokale Schwellenwerte).

Die Autoren argumentieren, dass diese starren Richtlinien nicht in der Lage sind, zwei empirisch validierte Quellen der Heterogenität im Entrauschungsprozess zu adressieren:

Stichproben-Heterogenität (Sample-level heterogeneity): Die Schwierigkeit der Generierung variiert signifikant zwischen verschiedenen Prompts. Statische Richtlinien weisen die Rechenleistung gleichmäßig zu, wodurch sie es versäumen, komplexen Eingaben mehr Ressourcen und einfachen weniger Ressourcen zuzuweisen.
Zeitschritt-Heterogenität (Timestep-level heterogeneity): Die Fehlersensitivität fluktuiert im Verlauf der Entrauschungstrajektorie. Statische Richtlinien können unbeabsichtigt Schritte mit hohem Fehler cachen oder Rechenleistung für redundante, niederfrequente Schritte verschwenden, was zu einer suboptimalen Qualität führt.

Methodik

Um diese Einschränkungen zu adressieren, schlägt das Paper OnlineCache vor, ein dynamisches Caching-Framework, das den Caching-Zeitplan als sequenzielles Entscheidungsproblem formuliert. Das Framework lernt, wann gecacht werden muss und wie Approximationsfehler korrigiert werden können, wobei es sich sowohl an spezifische Stichproben als sie an Zeitschritte anpasst.

Kernkomponenten

Policy-Netzwerk ( $\pi_\theta$ ):
- Architektur: Ein leichtgewichtiges Multi-Layer Perceptron (MLP), das eine binäre Entscheidung ( $a_t \in \{0, 1\}$ ) für jeden Zeitschritt ausgibt: ob ein gecachter Residual verwendet oder die volle Berechnung durchgeführt werden soll.
- Zustandsrepräsentation ( $s_t$ ): Um Effizienz und Generalisierbarkeit zu gewährleisten, verarbeitet die Policy keine rohen Latent-Token. Stattdessen nutzt sie statistische Suffizienz und zeitliche Bewusstheit:
  - Kanalweise Mittelwert ( $\mu$ ) und Standardabweichung ( $\sigma$ ) des aktuellen Latents $x_t$ und des gecachten Residuals $r_{cached}$ .
  - Der maximale Absolutwert des gecachten Residuals ( $\max(|r_{cached}|)$ ), um markante lokalisierte Updates zu erfassen.
  - Time-Embedding ( $emb_{time}(t)$ ), um Phaseninformationen bereitzustellen.
- Optimierung: Die Policy wird mittels Policy Gradient (REINFORCE) trainiert. Das Ziel ist die Maximierung einer Trajektorien-basierten Belohnung, die visuelle Treue gegen eine Ziel-Beschleunigungsrate abwägt.
Belohnungsdesign (Reward Design):
- Qualitätsbelohnung ( $R_q$ ): Basierend auf der perzeptuellen Ähnlichkeit (LPIPS) und strukturellen Ähnlichkeit (SSIM) zwischen dem generierten Bild und der Ground Truth.
- Beschleunigungskonstante ( $R_a$ ): Ein Strafterm, der eine Ziel-Cache-Rate erzwingt (z. B. 50 % Caching).
- Stabilitätsstrafe ( $R_s$ ): Eine Strafe, die angewendet wird, wenn aufeinanderfolgende Skips einen Toleranzschwellenwert überschreiten, um eine Fehlerexplosion zu verhindern.
Bilevel Optimization (BLO) Variante:
- Um die durch das Überspringen von Berechnungen eingeführten Fehler zu mildern, führen die Autoren einen lernbaren Error Corrector ( $C_\phi$ ) ein, der als leichtgewichtiges MLP implementiert ist.
- Äußere Schleife (Outer Loop): Optimiert die Policy $\theta$ , um die globale Generierungsqualität zu maximieren.
- Innere Schleife (Inner Loop): Optimiert den Corrector $\phi$ , um lokale Fehler (Mean Squared Error) auf den gecachten Schritten zu minimieren.
- Trainingsstrategie: Aufgrund der Unpraktikabilität der exakten Berechnung impliziter Gradienten (verursacht durch diskretes Action-Sampling und hohe Dimensionalität) verwenden die Autoren eine First-Order-Approximation. Sie wechseln sich zwischen der Aktualisierung der Policy (unter der Annahme, dass der Corrector fixiert ist) und der Aktualisierung des Correctors (mittels überwachter Feinabstimmung auf Trajektorien, die von der neuen Policy generiert wurden) ab. Dieser Koordinatenabstieg konvergiert zu einem gemeinsamen Gleichgewicht.

Wichtige Beiträge

Dynamisches, instanzbewusstes Framework: OnlineCache geht über feste Regeln hinaus und weist Ressourcen dynamisch basierend auf der Prompt-Schwierigkeit und der Zeitschritt-Sensitivität zu.
Gemeinsame Optimierung von Policy und Korrektur: Die BLO-Variante koppelt die Caching-Entscheidung einzigartig mit einem Error Corrector und stellt sicher, dass die Policy die Berechnung nur dann überspringt, wenn der Corrector die induzierten Trajektorienabweichungen effektiv reparieren kann.
Effizientes und generalisierbares Design:
- Das Policy-Netzwerk ist leichtgewichtig (vernachlässigbare Inferenzlatenz).
- Die Verwendung statistischer Zusammenfassungen (Mittelwert/Standardabweichung) anstelle von Roh-Tensoren macht den Ansatz auflösungsagnostisch und fähig zum Zero-Shot-Transfer über verschiedene Auflösungen und eng verwandte Modellarchitekturen hinweg.
Umfassende Evaluierung: Die Autoren liefern umfangreiche Experimente über Bildgenerierung (FLUX.1-DEV, DiT) und Videogenerierung (CogVideoX) hinweg, die die Überlegenheit gegenüber sowohl statischen als auch lernbasierten Baselines demonstrieren.

Experimentelle Ergebnisse

Das Paper berichtet über signifikante Leistungssteigerungen bei mehreren Modellen und Datensätzen:

FLUX.1-DEV (Bildgenerierung):
- Auf MSCOCO (512×512) erreicht OnlineCache (BLO-Variante) eine 2,96× Beschleunigung bei einer Cache-Rate von 72,22 % und übertrifft damit ERTACache (2,68×) und TeaCache (2,60×) sowohl in der Geschwindigkeit als auch in der visuellen Qualität (niedrigeres LPIPS, höheres SSIM/PSNR).
- Auf Parti-Prompts erzielt es bis zu eine 5,25× Beschleunigung mit einem sanften Qualitätsverlust, wobei kompetitive Metriken selbst bei extremer Beschleunigung beibehalten werden.
- Generalisierung: Die auf 512×512 Bildern trainierte Methode generalisiert erfolgreich auf 1024×1024 ohne erneutes Training. Sie überträgt sich auch effektiv auf das destillierte FLUX.1-Schnell-Modell und den Parti-Prompts-Datensatz.
DiT-XL/2 (ImageNet-256):
- Im Vergleich zu lernbasierten Methoden (FastCache, L2C) und trainingsfreien Methoden (TeaCache, AdaCache) erreicht OnlineCache eine 1,88× Beschleunigung (unter DPM++ 50 Schritten) und verbessert gleichzeitig den FID von 3,47 auf 3,28. Die Autoren führen diesen Qualitätsgewinn auf die Unterdrückung von Sampling-Rauschen durch selektives Caching und Fehlerkorrektur zurück.
CogVideoX-2B (Videogenerierung):
- Bei Videogenerierungsaufgaben übertrifft OnlineCache die TeaCache-Baseline und erzielt höhere VBench-Scores und ein niedrigeres LPIPS bei vergleichbaren Beschleunigungen (z. B. 1,79× Beschleunigung mit 78,09 % VBench-Score gegenüber 77,40 % bei TeaCache).

Bedeutung und Behauptungen

Das Paper behauptet, dass OnlineCache ein prinzipielles, global optimiertes Paradigma für die Cache-basierte Beschleunigung etabliert. Indem es das Caching als sequenzielles Entscheidungsproblem und nicht als statische Regel behandelt, navigiert das Framework effektiv durch den Trade-off zwischen Effizienz und Treue.

Die Autoren betonen, dass ihr Ansatz:

Ressourcen automatisch alloziert über sowohl Stichproben als auch Zeitschritte hinweg und so die intrinsische Heterogenität von Diffusionsprozessen adressiert.
Keine architektonischen Änderungen an den Backbone-Diffusionsmodellen erfordert, was ihn zu einer „Plug-and-Play“-Lösung macht.
Überlegene Pareto-Fronten zwischen Geschwindigkeit und Qualität im Vergleich zu bestehenden State-of-the-Art-Methoden liefert, validiert über diverse Modalitäten und Auflösungen hinweg.

Die Arbeit legt nahe, dass zukünftige Beschleunigungsstrategien über heuristische oder statische Zeitplanung hinausgehen sollten, hin zu adaptiven, instanzbewussten Policies, die sowohl für Geschwindigkeit als auch für Fehlerkorrektur gemeinsam optimieren.