TAP: A Token-Adaptive Predictor Framework for Training-Free Diffusion Acceleration

Die Arbeit stellt TAP vor, ein trainingsfreies Framework, das durch eine adaptive, tokenbasierte Auswahl von Vorhersagemodellen auf Basis einer kostengünstigen Sondierung die Inferenzgeschwindigkeit von Diffusionsmodellen erheblich steigert, ohne die generative Qualität zu beeinträchtigen.

Das Wesentliche

Stell dir vor, du möchtest ein wunderschönes Gemälde oder einen kurzen Film mit Hilfe einer künstlichen Intelligenz (KI) erstellen. Diese KI, die sogenannten "Diffusionsmodelle", funktioniert wie ein Künstler, der ein Bild erst aus einem riesigen Haufen zufälligen Rauschens (wie statisches Bildrauschen auf einem alten Fernseher) langsam herausarbeitet.

Das Problem: Dieser Prozess ist extrem langsam. Die KI muss das Bild Schritt für Schritt "entstören", und für jeden dieser Schritte muss sie den gesamten, riesigen Rechenprozess durchlaufen. Das ist, als würdest du für jede einzelne Pinselstrich-Bewegung den gesamten Künstler neu anweisen, das ganze Bild von vorne zu berechnen.

Hier kommt TAP ins Spiel. TAP ist wie ein super-effizienter Assistent, der die Arbeit des Künstlers beschleunigt, ohne dass die Qualität des Bildes leidet.

Hier ist die Erklärung in einfachen Bildern:

1. Das Problem: Der "Einheits-Schuh"

Bisherige Methoden waren wie ein Schuh, der für alle Füße gleich groß ist.

• Wenn die KI ein ruhiges, gleichmäßiges Bild (wie ein blauer Himmel) malt, reicht ein einfacher, schneller Trick aus.
• Wenn die KI aber etwas Komplexes malt (wie die feinen Haare eines Tigers oder die Falten eines Gesichts), braucht sie den vollen, langsamen Rechenprozess.
• Frühere Beschleuniger haben aber immer den gleichen Trick für jedes Teil des Bildes benutzt. Entweder war der Trick zu simpel (und das Bild wurde unscharf) oder zu kompliziert (und es dauerte zu lange).

2. Die Lösung: TAP als "Schneider auf Maß"

TAP (Token-Adaptive Predictor) ist wie ein Maßschneider, der für jeden einzelnen Teil des Bildes (jeden "Token") genau den richtigen Schuh anfertigt.

Stell dir vor, das Bild besteht aus Millionen kleiner Puzzleteile. TAP schaut sich jedes Puzzleteil einzeln an und fragt: "Wie schwierig ist es, dieses Teil vorherzusagen?"

• Für den ruhigen blauen Himmel: TAP sagt: "Kein Problem! Ich nutze einen einfachen, schnellen Trick (eine niedrige Vorhersage), um das nächste Bild zu simulieren." -> Super schnell.
• Für das komplexe Tigerfell: TAP sagt: "Oh, das ist tricky! Hier brauchen wir eine kompliziertere, genauere Vorhersage." -> Genau, aber etwas langsamer.

Das Geniale: TAP trifft diese Entscheidung für jedes einzelne Puzzleteil in jedem Schritt.

3. Der "Schnelltest" (Der Probe-Then-Select Mechanismus)

Wie weiß TAP, welcher Trick für welches Teil am besten ist, ohne das ganze Bild erst mühsam zu berechnen?

TAP nutzt einen cleveren Schnelltest:

1. Es macht einen winzigen, billigen Test am Anfang des Prozesses (nur die allererste Schicht der KI).
2. Dieser Test verrät ihm sofort: "Hey, dieses Teil hier ist stabil, jenes hier ist chaotisch."
3. Basierend auf diesem Test wählt TAP sofort den perfekten "Vorhersage-Trick" für jedes Teil aus einer kleinen Auswahl an Werkzeugen aus.

Es ist, als würde ein Chefkoch vor dem Kochen nur einen kleinen Bissen vom rohen Gemüse probieren, um sofort zu wissen, wie lange er es garen muss, ohne das ganze Gericht erst fertigzustellen.

4. Warum ist das so toll?

• Kein Training nötig: TAP muss nicht erst lernen. Es funktioniert sofort mit jeder bestehenden KI.
• Kein Qualitätsverlust: Weil es die komplexen Teile nicht vernachlässigt, sieht das fertige Bild genauso gut aus wie das Original.
• Riesige Geschwindigkeit: In Tests konnte TAP die Erzeugung von Bildern und Videos um das 6-fache beschleunigen, ohne dass man einen Unterschied im Bild sieht.

Zusammenfassung in einem Satz

Stell dir vor, du hast einen riesigen Zug, bei dem jeder Waggon (jedes Bildteil) eine eigene Geschwindigkeit hat. Früher musste der ganze Zug langsam fahren, weil der langsamste Waggon das Tempo bestimmte. TAP ist wie ein intelligenter Lokführer, der jedem Waggon erlaubt, mit seiner eigenen optimalen Geschwindigkeit zu fahren, sodass der ganze Zug viel schneller ans Ziel kommt, ohne dass jemand aus dem Waggon fällt.

TAP macht KI-Kunst also nicht nur schneller, sondern auch schlauer, indem es für jeden kleinen Teil des Bildes genau das Richtige tut.

Technische Zusammenfassung

Problemstellung

Diffusionsmodelle (DMs) haben sich als Eckpfeiler der generativen KI etabliert und liefern state-of-the-art Ergebnisse in der Bild- und Videogenerierung. Ein zentrales Hindernis für ihren praktischen Einsatz ist jedoch die hohe Rechenzeit während der Inferenz. Da der Denoising-Prozess sequentiell abläuft, erfordert jeder Schritt einen vollständigen Durchlauf des oft sehr großen Modells.
Bestehende Beschleunigungsmethoden stoßen an Grenzen:

• Reduktion der Schritte: Methoden wie DDIM oder DPM-Solver reduzieren die Anzahl der Schritte, führen aber bei starker Reduktion zu Qualitätsverlusten.
• Feature-Caching und Vorhersage: Ansätze wie DeepCache oder TaylorSeer versuchen, Berechnungen durch Wiederverwendung oder Vorhersage von Features zu überspringen. Diese Methoden wenden jedoch meist eine globale, statische Vorhersagestrategie auf alle Token an.
• Das Kernproblem: Die zeitliche Dynamik von Token ist heterogen. Hintergrundbereiche (glatt) benötigen einfache Vorhersagen, während Kanten oder bewegte Objekte komplexe, hochordentliche Vorhersagen erfordern. Eine globale Strategie führt entweder zu unnötigem Rechenaufwand bei stabilen Token oder zu massiven Fehlakkumulationen bei dynamischen Token, was die Bildqualität verschlechtert.

Methodik: Token-Adaptive Predictor (TAP)

TAP ist ein trainingsfreies, probedriven Framework, das die Vorhersagestrategie pro Token und pro Schritt dynamisch anpasst.

1. Grundprinzip: „Probe-then-Select"
Anstatt alle Token gleich zu behandeln, nutzt TAP eine kostengünstige „Sonde" (Probe), um für jedes Token den besten Vorhersager aus einer kompakten Familie von Kandidaten auszuwählen.

• Die Sonde: TAP führt zu Beginn eines Zeitfensters (z. B. alle $N$ Schritte) eine vollständige Berechnung durch. Dabei werden nicht nur die Features, sondern spezifisch der modulierte Eingabevektor der ersten Schicht ($h_t$) und das globale Residuum ($r_t$) zwischengespeichert.
• Korrelation: Die Autoren stellen fest, dass der Fehler in dieser ersten Schicht stark mit dem Fehler in den nachfolgenden Schichten korreliert. Daher dient $h_t$ als effizienter Proxy, um die Qualität einer Vorhersage zu bewerten, ohne den gesamten Rest des Modells berechnen zu müssen.

2. Die Familie der Taylor-Vorhersager
TAP verwendet eine diverse Familie von Kandidaten-Vorhersagern, primär basierend auf Taylor-Entwicklungen, die durch Variation von zwei Parametern diversifiziert werden:

• Ordnung ($m$): Von 0 (einfache Wiederverwendung) bis zu höheren Ordnungen (z. B. 2) für glattere Dynamiken.
• Vorhersagehorizont ($k_p$): Die Distanz zum letzten vollständigen Berechnungspunkt wird diskretisiert (z. B. von $k-\lambda$ bis $k$), um die Konvergenzradien verschiedener Token zu berücksichtigen.
• Ergebnis: Ein Pool von ca. 15 Kandidaten (bei Standardkonfiguration), der verschiedene zeitliche Verhaltensmuster abdeckt.

3. Der Selektionsmechanismus
Für jeden Schritt innerhalb des Fensters (wo keine volle Berechnung stattfindet):

1. Alle Kandidaten-Vorhersager berechnen parallel eine Vorhersage für den modulierten Eingabevektor ($\hat{h}_{t,p}$) basierend auf den zwischengespeicherten Daten.
2. Für jedes Token wird der Proxy-Verlust (z. B. Kosinus-Distanz) zwischen der vorhergesagten Sonde $\hat{h}_{t,p}$ und der tatsächlichen (gespeicherten) Sonde $h_t$ berechnet.
3. Das Token erhält den Vorhersager $p^*$ zugewiesen, der den geringsten Proxy-Verlust aufweist.
4. Der ausgewählte Vorhersager wird verwendet, um das Residuum für den Rest des Modells zu generieren.

4. Vorteile des Designs

• Threshold-frei: Die Auswahl basiert auf relativen Fehlern zwischen Kandidaten, nicht auf manuell justierten Schwellenwerten.
• Skalierbarkeit: Der Overhead ist minimal (nur eine erste Schicht-Evaluation und parallele Punkt-zu-Punkt-Operationen).
• Speichereffizienz: Es werden nur Residuen und modulierte Eingaben der ersten Schicht gecacht, nicht die Features aller Schichten (O(1) Speicherzuwachs bzgl. Modelltiefe).

Wichtige Beiträge

1. Token-adaptives Framework: TAP ist der erste Ansatz, der die Vorhersagekomplexität pro Token dynamisch anpasst, anstatt eine globale Strategie zu erzwingen.
2. Effektive Proxy-Sonde: Der Nachweis, dass eine einzelne Evaluation der ersten Schicht ausreicht, um die Eignung verschiedener Vorhersager für spezifische Token zu bewerten.
3. Vielfältige Vorhersagerfamilie: Die Einführung einer adaptiven Familie von Taylor-Vorhersagern (Ordnung und Horizont), die unterschiedliche Token-Dynamiken abdeckt.
4. Umfassende Evaluation: Demonstration der Überlegenheit gegenüber globalen Vorhersagern und Caching-Baselines auf verschiedenen Architekturen (FLUX.1, Qwen-Image, HunyuanVideo).

Ergebnisse

Die Experimente zeigen signifikante Verbesserungen in der Abwägung zwischen Genauigkeit und Effizienz:

• FLUX.1-dev: TAP erreicht eine Beschleunigung von 6,24-fach (bei $N=8$) ohne messbaren Qualitätsverlust (ImageReward: 0,99 vs. 0,95 bei Basis). Im Vergleich dazu leiden globale Methoden wie TaylorSeer oder TeaCache bei dieser Geschwindigkeit unter starken Artefakten.
• Qwen-Image: Bei 3,57-facher Beschleunigung erzielt TAP einen ImageReward von 1,23 (vs. 1,18 bei TaylorSeer) und übertrifft TeaCache um ca. 1,1 dB im PSNR.
• HunyuanVideo (Video): Bei 4,98-facher Beschleunigung erreicht TAP den höchsten VBench-Score (65,46) mit nur einem 1,7%igen Rückgang gegenüber dem unbeschleunigten Modell.
• Ressourcen: TAP fügt nur ca. 0,1 GB GPU-Speicher hinzu (ca. 0,3% des Originalmodells) und erhöht die FLOPs nur um ~0,015%. Im Gegensatz dazu benötigen andere Methoden oft deutlich mehr Speicher für Caching.

Bedeutung und Fazit

TAP adressiert das fundamentale Dilemma der Diffusionsmodelle: den Trade-off zwischen Geschwindigkeit und Qualität. Indem es die inhärente Heterogenität der Token-Dynamiken ausnutzt, ermöglicht es eine nahtlose Beschleunigung, die weder das Training erfordert noch die Batch-Parallelität bricht.

Die Methode zeigt, dass „Intelligenz" in der Inferenz nicht durch komplexere Modelle, sondern durch adaptive, datengesteuerte Entscheidungen erreicht werden kann. TAP stellt einen neuen Standard für trainingsfreie Beschleunigung dar, der sowohl für Bild- als auch für Videogenerierung anwendbar ist und die Grenzen des „Pareto-Frontier" (Qualität vs. Latenz) signifikant nach außen verschiebt.