💻 computer science

Not All Tokens Need 40 Steps: Heterogeneous Step Allocation in Diffusion Transformers for Efficient Video Generation

Dieser Artikel stellt Heterogeneous Step Allocation (HSA) vor, einen trainingsfreien Inferenzalgorithmus, der Diffusion Transformer für die Videogenerierung beschleunigt, indem er Tokens mit niedriger Geschwindigkeit dynamisch weniger Denoising-Schritte zuweist, während der globale Kontext und die Qualität durch einen neuartigen KV-Cache-Synchronisationsmechanismus und zwischengespeicherte Euler-Aktualisierungen aufrechterhalten werden.

Ursprüngliche Autoren: Ernie Chu, Vishal M. Patel

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ernie Chu, Vishal M. Patel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie inszenieren eine massive Filmproduktion mit hohem Budget. In diesem Film ist jeder einzelne Charakter, jeder Hintergrundbaum und jeder Staubfleck auf dem Boden ein Schauspieler. In einem standardmäßigen Diffusion-Transformer (dem KI-Modell, das das Video erstellt) behandelt der Regisseur jeden dieser „Schauspieler" exakt gleich.

Wenn das Drehbuch 40 Proberunden (Denoising-Schritte) erfordert, um die Szene perfekt zu bekommen, zwingt der Regisseur die Hintergrundwand, 40 Mal zu proben, den statischen Baum, 40 Mal zu proben, und den Helden, der über den Bildschirm rennt, ebenfalls 40 Mal zu proben.

Das Problem? Die Wand und der Baum bewegen sich kaum. Sie brauchen keine 40 Proben; sie kämen mit 5 davon. Doch die KI verschwendet massive Mengen an Zeit und Energie, indem sie sie trotzdem proben lässt, während der Held (der sich schnell bewegt und seine Form ändert) ebenfalls die gleichen 40 Runden erhält. Es ist, als würde man einem Superstar-Schauspieler und einem Pappkarton exakt denselben Stundenlohn für exakt die gleiche Arbeitsmenge zahlen.

Die Lösung: Heterogene Schrittzuteilung (HSA)

Die Autoren dieses Papers, Ernie Chu und Vishal Patel, schlagen einen intelligenteren Weg vor, den Filmset zu betreiben, der als Heterogene Schrittzuteilung (HSA) bezeichnet wird.

Stellen Sie sich HSA als einen intelligenten Regisseur vor, der die Schauspieler beobachtet und sagt:

„Du, die Hintergrundwand? Du bist langweilig und statisch. Du brauchst nur 5 Proben."
„Du, der rennende Held? Du bist dynamisch und komplex. Du brauchst alle 40 Proben."
„Du, der sich wiegende Baum? Du brauchst 20 Proben."

Das spart eine enorme Menge an Zeit, weil die KI aufhört, Energie für die langweiligen Teile zu verschwenden.

Die zwei kniffligen Probleme, die sie lösten

Man könnte denken: „Okay, aber wenn die Wand nach 5 Runden mit dem Proben aufhört, wie weiß sie dann, was der Held in Runde 40 macht? Sie müssen sich sehen, um in derselben Szene zu bleiben."

Das Paper stellt zwei clevere Tricks vor, um dies zu lösen:

1. Der „Geistergedächtnis"-Trick (KV-Cache-Synchronisation)
In der KI müssen die Schauspieler sich „sehen", um synchron zu bleiben (dies wird Attention genannt). Normalerweise verschwindet ein Schauspieler, wenn er mit dem Proben aufhört, aus dem Raum, und die anderen können ihn nicht mehr sehen.

Die Lösung: Die KI behält eine „Geistergedächtnis"-Speicherung (einen Cache) der Wand und des Baumes. Obwohl sie nicht aktiv proben, bleiben ihre „Geister" im Raum. Die aktiven Schauspieler (der Held) können weiterhin auf die Geister der inaktiven Schauspieler schauen, um zu wissen, wo sie sich befinden.
Das Ergebnis: Der Held kann intensiv proben und weiß trotzdem genau, wo die Wand ist, ohne dass die Wand tatsächlich Arbeit leisten muss.

2. Der „Zeitreise"-Trick (Cached Euler-Update)
Was passiert mit der Position der Wand, während sie eine Pause macht? Friert sie einfach ein?

Die Lösung: Die KI erinnert sich an das letzte Mal, als sich die Wand bewegt hat, und wie schnell sie war. Sie verwendet eine einfache mathematische Formel, um die Position der Wand durch die übersprungenen Zeitabschnitte „vorzuspulen". Es ist, als würde man sagen: „Die Wand hat sich beim letzten Mal 1 Zoll pro Sekunde bewegt; ich berechne einfach, wo sie jetzt ist, ohne sie tatsächlich bewegen zu lassen."
Das Ergebnis: Die Wand wird im Hintergrund sofort aktualisiert, ohne dass die KI eine komplexe Simulation dafür ausführen muss.

Die Ergebnisse: Schneller, Günstiger, Genau so Gut

Die Forscher testeten dies an leistungsstarken KI-Modellen zur Videoerstellung (wie Wan-2 und LTX-2). Hier ist, was sie herausfanden:

Geschwindigkeit: Sie konnten die Zeit, die zum Erstellen eines Videos benötigt wird, um 50 % oder sogar 75 % kürzen (so dass es nur noch 25 % der ursprünglichen Zeit benötigt).
Qualität: Selbst mit all dieser gekürzten Zeit sahen die Videos fast exakt genauso aus wie die langsamen, Vollgeschwindigkeitsversionen. Der „Held" sah immer noch scharf aus, und die „Wand" sah immer noch solide aus.
Vergleich: Bisherige Methoden versuchten, Dinge zu beschleunigen, indem sie einfach ganze Proberunden für alle gleichzeitig übersprangen. Diese Methoden führten dazu, dass das Video auseinanderfiel (wie ein einstürzendes Gebäude), wenn sie zu schnell wurden. HSA hielt das Video stabil, weil es nur die Teile übersprang, die keine Arbeit benötigten.

In Kürze

Dieses Paper handelt davon, nicht jeden Pixel gleich zu behandeln. Indem man erkennt, dass einige Teile eines Videos langweilig und statisch sind, während andere aufregend und beweglich sind, kann die KI aufhören, Zeit für die langweiligen Teile zu verschwenden. Sie nutzt „Geistergedächtnisse" und „mathematische Abkürzungen", um alles synchron zu halten, was uns ermöglicht, hochwertige Videos in einem Bruchteil der Zeit zu generieren.

Es ist der Unterschied zwischen einer Fabrik, die jede einzelne Schraube an einem Auto mit derselben Präzision bearbeitet, und einer Fabrik, die 90 % ihrer Zeit auf den Motor verwendet und nur 10 % auf die Schrauben, die die Sitzbezüge halten. Das Auto funktioniert immer noch perfekt, aber es wird viel schneller gebaut.

Technische Zusammenfassung: Heterogene Schrittzuteilung (HSA) für effiziente Videogenerierung

1. Problemstellung

Diffusion-Transformer (DiTs) haben State-of-the-Art-Leistung in der Videogenerierung etabliert, leiden jedoch unter immensen Rechenkosten. Standard-Inferenzprotokolle wenden eine einheitliche Anzahl von Denoisingschritten ( $T$ ) auf jeden spatiotemporale Token in der Sequenz an. Dieser monolithische Ansatz ignoriert die inhärente Asymmetrie visueller Daten: Hintergrundbereiche, statische Patches und grobe Strukturen sind perceptuell einfacher und benötigen weniger Denoisingschritte als detailreiche Vordergrundobjekte oder Bereiche mit hoher Bewegung. Darüber hinaus ist das menschliche Sehen bei hochdynamischen Komponenten weniger empfindlich gegenüber Qualitätsverschlechterungen als bei statischen. Folglich ist die Anwendung eines vollen Denoising-Budgets einheitlich auf alle Token rechnerisch verschwenderisch und stimmt nicht mit perceptuellen Prioritäten überein.

Bestehende Beschleunigungsmethoden, wie das Caching von Features auf Schrittebene (z. B. TeaCache), treffen typischerweise globale Entscheidungen: Zu einem gegebenen Iterationsschritt werden entweder alle Token berechnet oder alle Token wiederverwenden gecachte Ausgaben. Diese Methoden nutzen keine räumliche oder Token-Level-Heterogenität aus und behandeln die Sequenz als monolithischen Block statt als Sammlung von Token mit unterschiedlichen dynamischen Anforderungen.

2. Methodik: Heterogene Schrittzuteilung (HSA)

Die Autoren schlagen Heterogene Schrittzuteilung (HSA) vor, einen trainingsfreien, modellagnostischen Inferenzalgorithmus, der token-spezifische Denoising-Trajektorien innerhalb eines vortrainierten DiT zuweist. Die Kernidee besteht darin, die Token-Sequenz basierend auf ihren Geschwindigkeitsdynamiken in Gruppen zu partitionieren, wobei langsameren Token weniger Schritte zugewiesen werden, während eine Basisgruppe einen vollen Zeitplan beibehält.

2.1 Token-Partitionierung und Zeitplanung

Die Menge der $N$ Token wird in $K$ disjunkte Gruppen ( $G_1, \dots, G_K$ ) partitioniert. Jeder Gruppe $G_k$ wird ein Schrittbudget $s_k$ zugewiesen, das ein Teiler der Gesamtschritte $T$ sein muss.

Basisgruppe ( $G_1$ ): Erhält das volle Budget $s_1 = T$ . Diese Token sind in jeder Iteration aktiv.
Reduzierte Gruppen: Erhalten kleinere Budgets (z. B. $T/2, T/4$ ). Diese Token sind nur aktiv, wenn die globale Iteration $i$ die Bedingung $i \pmod{T/s_k} = 0$ erfüllt.
Dynamische Auswahl: Die Arbeit bewertet vier Strategien zur Zuweisung von Token zu Gruppen. Die Strategie Dynamische Token-Auswahl, die Token basierend auf der per-Token L1-relativen Änderung der Geschwindigkeitsvorhersagen zuweist (und damit langsam-evolvierende Regionen wie Hintergründe identifiziert), liefert konsistent die besten Ergebnisse.

2.2 KV-Cache-Synchronisation

Eine primäre Herausforderung bei heterogener Zeitplanung besteht darin, dass Token mit unterschiedlichen Schrittzahlen zu einem gegebenen Wanduhr-Iterationsschritt auf unterschiedlichen Rauschniveaus ( $\sigma$ ) existieren. Self-Attention erfordert, dass alle Token aufeinander achten, was zu einer Synchronisationsinkonsistenz führt. HSA löst dies über einen KV-Cache-Synchronisationsmechanismus:

Aktive Token: Nur die Teilmenge der aktiven Token ( $A_i$ ) führt einen Forward-Pass durch die QKV-Projektionen durch.
Cache-Aktualisierung: Frische Key ( $K$ ) und Value ( $V$ ) Projektionen für aktive Token werden in einen pro-Layer-Cache geschrieben und veraltete Einträge überschrieben.
Vollkontext-Attention: Aktive Token berechnen Queries gegen die gesamten gecachten $K, V$ -Matrizen (die sowohl frische Einträge für aktive Token als auch veraltete, aber gültige Einträge für übersprungene Token enthalten).
Komplexitätsreduktion: Dies reduziert die Self-Attention-Komplexität von $O(N^2)$ auf $O(|A_i| \cdot N)$ , wobei $|A_i|$ die Anzahl der aktiven Token im Schritt $i$ ist. Übersprungene Token verursachen in inaktiven Iterationen keine Query-Berechnung, Cross-Attention oder Feed-Forward-Operationen.

2.3 Gecachter Euler-Update

Um die latenten Zustände übersprungener Token ohne zusätzliche Modellevaluationen voranzubringen, verwendet HSA einen gecacheten Euler-Update.

Jeder Token speichert die Geschwindigkeit ( $\hat{v}_n$ ), die bei seinem letzten aktiven Schritt vorhergesagt wurde.
Bei jeder globalen Iteration werden alle Token (aktive und übersprungene) um denselben inkrementellen Euler-Schritt $(\sigma_{i+1} - \sigma_i)$ vorangebracht.
Aktive Token verwenden ihre frisch berechnete Geschwindigkeit; übersprungene Token wiederverwenden ihre gecachte Geschwindigkeit.
Dieser Update wird als einzelne Tensor-Operation über alle $N$ Token formuliert, um Verzweigungen zu vermeiden und die GPU-Effizienz zu erhalten.

2.4 Phasenbewusstes Caching-Fenster

In Anerkennung der Tatsache, dass frühe und späte Denoising-Phasen für globale Struktur bzw. feine Details kritisch sind, beschränkt HSA das Caching auf den mittleren Teil der Trajektorie. Die ersten und letzten $m$ Schritte führen vollständige, ungecachete Forward-Pässe für alle Token durch, um sicherzustellen, dass strukturelle Integrität und Detailverfeinerung nicht durch veraltete Approximationen beeinträchtigt werden.

3. Hauptbeiträge

HSA-Algorithmus: Ein vollständig trainingsfreies, Plug-and-Play-Inferenzparadigma, das heterogene Denoising-Trajektorien spatiotemporalen Token-Gruppen basierend auf Geschwindigkeitsdynamiken zuweist.
KV-Cache-Synchronisation: Ein Mechanismus, der den vollen $N$ -Token-Attention-Kontext für aktive Token bewahrt, während inaktive Token vollständig umgangen werden, wodurch die Attention-Kosten pro Iteration auf $O(|A_i| \cdot N)$ reduziert werden.
Gecachter Euler-Update: Eine einfache Tensor-Operation, die übersprungene Token unter Verwendung gecachter Geschwindigkeiten voranbringt und die Generierungsqualität ohne zusätzliche Modellevaluationen erhält.
Umfassende Evaluation: Eine Analyse von vier Token-Gruppierungsstrategien und vier Budget-Voreinstellungen, die Robustheit über verschiedene Inferenzbudgets hinweg demonstriert.

4. Experimentelle Ergebnisse

Die Autoren evaluierten HSA auf Wan-2.1-1.3B und Wan-2.2-A14B (Text-zu-Video und Bild-zu-Video) sowie LTX-2 (Audio-Video).

Qualitäts-Laufzeit-Abwägung: HSA erreicht eine überlegene Pareto-Front im Vergleich zu uniformem Flow Matching (FM) und State-of-the-Art-Caching-Methoden wie TeaCache.
Aggressive Beschleunigung: Die Vorteile sind in Regimen aggressiver Beschleunigung (50 % und 25 % Laufzeit) am ausgeprägtesten. Bei 25 % Laufzeit übertrifft HSA die Baselines auf dem VBench-Benchmark signifikant (Gesamtscore: 79,87 % vs. 75,68 % für FM und 78,33 % für TeaCache).
Dimensionale Robustheit: Während Baseline-Methoden unter engen Budgets an „katastrophalem Dimensionskollaps" leiden (schwere Verschlechterung in spezifischen VBench-Dimensionen wie Bewegungsglättung oder zeitlicher Konsistenz), verfolgt HSA robust die Referenz mit vollem Budget über alle 16 Evaluationsdimensionen hinweg.
Bild-zu-Video (I2V): HSA erhält erfolgreich die Bild-Conditioning-Ausrichtung und visuelle Fidelity in I2V-Aufgaben, wohingegen uniforme FM-Baselines bei reduzierten Schritten ( $T=10$ ) einen schweren strukturellen Kollaps aufweisen.
Kein Offline-Profiling: Im Gegensatz zu TeaCache, das teures Offline-Profiling zur Schätzung von Modellausgangsfluktuationen erfordert, arbeitet HSA ohne jegliches Offline-Tuning oder Fine-Tuning.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass HSA eine fundamentale Ineffizienz in der DiT-Inferenz adressiert, indem es Rechenressourcen mit der perceptuellen und dynamischen Komplexität visueller Daten in Einklang bringt. Indem Token individuell statt global behandelt werden, erreicht HSA signifikante Beschleunigungen ohne die Qualitätsverschlechterung, die typischerweise mit aggressiver Beschleunigung verbunden ist.

Die Autoren betonen, dass HSA ein flexibles Framework ist, das mit verschiedenen Token-Gruppierungsstrategien instanziiert werden kann. Während die dynamische Auswahl derzeit die stärksten Ergebnisse liefert, erwartet das Framework weitere Verbesserungen durch ausgefeiltere Gruppierungsstrategien. Die Arbeit legt den Grundstein für eine neue Klasse von Inferenzalgorithmen, die die inhärente Heterogenität spatiotemporaler Daten nutzen, um hochfidelie Videogenerierung zu demokratisieren.