🤖 AI

Kaleido: Algorithm-Hardware Co-Design for Video Diffusion Transformers by Exploiting Latent Space Correlations

Kaleido ist ein Algorithmus-Hardware-Co-Design, das Video-Diffusion-Transformer beschleunigt, indem es kanalspezifische spatiotemporale Korrelationen im latenten Raum ausnutzt, um einen leichtgewichtigen Reuse-Algorithmus und einen rekonfigurierbaren Systolic-Array-Beschleuniger zu ermöglichen, wodurch eine bis zu 5,9-fache Beschleunigung und eine 16,0-fache Energieeinsparung bei gleichbleibend hoher generativer Qualität erreicht werden.

Ursprüngliche Autoren: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Veröffentlicht 2026-07-16

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Wenxuan Miao, Haosong Liu, Weiming Hu, Zihan Liu, Aiyue Chen, Jianlin Yu, Yiwu Yao, Yiming Gan, Jieru Zhao, Jingwen Leng, Minyi Guo, Yu Feng

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer aus einem einzigen Satz ganze Filme erträumen können und Szenen erschaffen, die so real sind, dass man sie fast berühren könnte. Dieser Zauber wird durch „Video-Diffusionsmodelle“ angetrieben, eine Art künstliche Intelligenz, die lernt, Videos zu erstellen, indem sie mit einem Bildschirm voller statischem Rauschen beginnt und diesen Schritt für Schritt langsam säubert, bis ein klares Bild erscheint. Denken Sie an einen Bildhauer, der mit einem groben Steinblock beginnt und den überschüssigen Stein abträgt, um eine Statue zu enthüllen. Dieser Prozess ist jedoch unglaublich langsam und energiehungrig. Der Computer muss für jedes einzelne Frame Millionen winziger Berechnungen durchführen, immer und immer wieder, wie ein Koch, der eine Suppe hunderte Male probiert, bevor er sie serviert. Da diese KI-Modelle immer besser darin werden, längere, qualitativ hochwertigere Videos zu erstellen, sind der Zeitaufwand und der Energiebedarf, die für deren Ausführung nötig sind, zu einem massiven Engpass geworden, der alles von der Filmbearbeitung bis hin zur Erstellung virtueller Welten ausbremst. Wissenschaftler und Ingenieure jagen einem Weg hinterher, dies zu beschleunigen, ohne die Qualität des fertigen Films zu ruinieren.

Hier kommt Kaleido ins Spiel, eine kluge neue Erfindung von Forschern der Shanghai Jiao Tong University und Huawei, die wie eine superintelligente Abkürzung für diese film machenden Computer fungiert. Das Team entdeckte, dass die KI, während sie das Video „reinigt“, oft dieselben Berechnungen immer und immer wieder durchführt, weil die Videoframes in bestimmten Weisen sehr ähnlich zueinander sind. Anstatt alles von Grund auf neu zu berechnen, agiert Kaleidos Algorithmus wie ein brillanter Bibliothekar, der sich erinnert: „Hey, diesen Teil habe ich schon für das letzte Frame gemacht, also lass uns einfach diese Antwort wiederverwenden!“ Aber es gibt einen Haken: Diese Abkürzungen erzeugen ein unordentliches, unregelmäßiges Arbeitsmuster, das Standard-Computerchips hassen, ganz so, als würde ein Koch versuchen, Gemüse mit einem stumpfen Messer zu schneiden, das ständig abrutscht. Um dies zu lösen, haben die Forscher nicht nur ein neues Rezept geschrieben; sie haben eine brandneue Küche gebaut. Sie entwarfen einen speziellen Hardware-Chip mit einem besonderen „Daten-Dispatcher“, der die unordentlichen Abkürzungen in ordentliche, effiziente Pakete organisiert und es dem Computer ermöglicht, redundante Arbeit zu überspringen, ohne auch nur einen Tropfen an Qualität zu verlieren.

Das Ergebnis ist ein System, das signifikant schneller und energieeffizienter ist als alles, was derzeit verfügbar ist. In ihren Tests machte Kaleido die Videogenerierung bis zu 5,9-mal schneller und sparte 16,0-mal mehr Energie im Vergleich zu den besten existierenden Beschleunigern und High-End-Grafikkarten. Vielleicht am beeindruckendsten ist, dass die produzierten Videos nicht nur schnell waren, sondern auch schärfer und präziser als jene, die mit anderen Abkürzungsmethoden erstellt wurden, wobei sie über 17 dB höher bei Bildqualitätsmetriken abschnitten. Die Forscher bewiesen, dass sie durch das Verständnis dessen, wie die Videodaten strukturiert sind – insbesondere, wie verschiedene Teile des Bildes in Bezug auf Zeit und Raum zusammenhängen –, ein System bauen konnten, das die langweiligen Teile der Arbeit überspringt, während es die kreativen Teile perfekt hält. Dies ist nicht nur eine kleine Anpassung; es ist eine grundlegende Änderung in der Art und Weise, wie wir Computern beibringen, Filme zu machen, und es beweist, dass der beste Weg, schneller zu werden, manchmal darin besteht, genau zu wissen, was man nicht tun muss.

Technisches Resümee: Kaleido

Problemstellung

Video Diffusion Transformers (vDiTs) haben sich als die State-of-the-Art-Architektur für die hochauflösende Videogenerierung etabliert, stehen jedoch vor massiven Rechenengpässen. Der Inferenzprozess umfasst iteratives Denoising über viele Zeitschritte, wobei der Self-Attention-Mechanismus die Ausführungszeit dominiert und etwa 68 % der gesamten Laufzeit beansprucht. Mit steigender Videoauflösung und -dauer wächst die Token-Sequenzlänge, was dazu führt, dass die Komplexität der Self-Attention quadratisch skaliert ( $O(N^2 \times d)$ ).

Bestehende Beschleunigungsstrategien adaptieren weitgehend Sparse-Attention-Techniken aus Large Language Models (LLMs), die auf dem Pruning unbedeutender Attention-Scores basieren, welche auf semantischer Sparsity beruhen. Diese Ansätze sind jedoch fundamental ungeeignet für Videodaten. Im Gegensatz zu Text tragen Videotoken dichte, kontinuierliche visuelle Semantik, wobei jeder Token zur räumlichen Kohärenz und zeitlichen Konsistenz beiträgt. Ein naives Pruning von Attention-Korrelationen führt zu Bewegungsdiskontinuitäten und Flackern. Zudem wird bei Reduzierung der Diffusion-Zeitschritte durch Distillation die Self-Attention zum alleinigen dominierenden Engpass, wodurch Techniken zur Reduzierung der Zeitschritte unzureichend werden.

Methodik

Kaleido adressiert diese Herausforderungen durch ein Algorithmus-Hardware-Co-Design, das kanalweise räumlich-zeitliche Korrelationen innerhalb des Latent-Raums von vDiTs ausnutzt, anstatt sich auf Token-Level-Sparsity zu verlassen.

1. Algorithmus: Kanalweise Wiederverwendung (Channel-Wise Reuse)

Die zentrale Erkenntnis ist, dass vDiT-Modelle Rotary Positional Embedding (RoPE) verwenden, welches die Token-Kanäle in drei distinkte Gruppen unterteilt: temporal ( $t$ ), horizontal ( $x$ ) und vertikal ( $y$ ). Diese Gruppen kodieren Positionsinformationen mit unterschiedlichen Frequenzen, was spezifische Muster in den Attention-Scores induziert.

Entdeckung von Korrelationen: Die Autoren zeigen, dass benachbarte Token innerhalb einer spezifischen Kanalgruppe eine hohe Ähnlichkeit entlang der Dimensionen aufweisen, die orthogonal zu ihrer Kodierungsrichtung liegen. Beispielsweise sind $t$ -Kanäle über die räumlichen Dimensionen ( $x$ und $y$ ) hinweg hoch korreliert, während $x$ -Kanäle über die temporale Dimension hinweg korreliert sind.
Wiederverwendungsmechanismus: Anstatt Berechnungen zu überspringen (wie bei Sparse Attention), wiederverwendet Kaleido Teilresultate.
- Ähnlichkeitsprüfung: Vor der Berechnung berechnet das System die Ähnlichkeit ( $\Delta$ ) zwischen benachbarten Token entlang einer vordefinierten Achse.
- Schwellenwertbildung: Zwei Schwellenwerte, $\theta_{th1}$ $θ_{t h 1}$ und $\theta_{th2}$ $θ_{t h 2}$ , bestimmen die Wiederverwendungsstrategie:
  - Wenn $\Delta < \theta_{th1}$ : Vollständige Wiederverwendung (Full Reuse). Der Token wiederverwendet vollständig das Teil-Attention-Score des vorherigen Tokens.
  - Wenn $\theta_{th1} \le \Delta < \theta_{th2}$ : Partielle Wiederverwendung (Partial Reuse). Der Token wiederverwendet die signifikantesten Bits (z. B. die obersten 3 Bits) des vorherigen Ergebnisses und berechnet nur die verbleibenden niedrigeren Bits.
  - Wenn $\Delta \ge \theta_{th2}$ : Vollständige Berechnung (Full Computation).
- Anwendbarkeit: Diese Strategie wird auf Self-Attention, Cross-Attention und MLP-Layer angewendet. Bei MLPs wird die Wiederverwendung auf die Aktivierungen statt auf die Gewichte angewendet.

2. Hardware: Rekonfigurierbarer Systolischer Beschleuniger

Die durch den Wiederverwendungsalgorithmus eingeführten irregulären Datenzugriffsmuster sind inkompatibel mit Standard-Systolic-Arrays. Kaleido führt eine maßgeschneiderte Hardware-Architektur ein, um dies zu unterstützen:

Rekonfigurierbare Processing Elements (PEs): Das PE-Array wird um zusätzliche Register und Multiplexer erweitert, um vier Ausführungsmodi zu unterstützen. Diese Modi ermöglichen es den PEs, innerhalb eines einzelnen Tiles dynamisch Full Computation, Full Reuse und Partial Reuse (Halb-Bit-Berechnung) zu handhaben. Die PEs können Teilresultate aus vorherigen Frames akkumulieren, ohne sie erneut aus dem On-Chip-Speicher laden zu müssen.
Data Dispatcher: Um die irreguläre Sparsity zu mildern, die zu einer geringen PE-Auslastung führt, wird ein dedizierter Data Dispatcher eingeführt. Dieser besteht aus:
- Scheduler: Gruppiert Token mit ähnlichen Wiederverwendungsmustern (repräsentiert als Binärstrings) in Clustern.
- Matcher: Paart kompatible Input-Kanäle innerhalb eines Clusters, um Datenströme zusammenzuführen, wodurch sichergestellt wird, dass benachbarte Zeilen, die in das PE-Array eingespeist werden, gleichzeitig verarbeitet werden können, was die Auslastung maximiert.

Wichtigste Beiträge

Systematische Charakterisierung von vDiTs: Die Arbeit ist die erste, die die räumlich-zeitlichen Korrelationen in vDiT-Latent-Räumen systematisch erklärt und die RoPE-basierte Kanalpartitionierung als Ursache für distinkte Attention-Muster identifiziert.
Kanalweiser Wiederverwendungsalgorithmus: Ein leichtgewichtiger Algorithmus, der redundante Berechnungen durch Wiederverwendung von Teilresultaten auf Kanalebene überspringt. Im Gegensatz zum Token-Level-Merging bewahrt dies die Pixel-Präzision und erreicht eine signifikant höhere generative Qualität (>17 dB PSNR-Verbesserung gegenüber vorangegangenen Co-Designs).
Co-Design-Beschleunigerarchitektur: Ein rekonfigurierbares systolisches Array mit maßgeschneiderten PEs und einem Data Dispatcher, der irreguläre Sparsity handhabt und die PE-Auslastung von ~69 % auf ~85 % verbessert.
Umfassende Evaluierung: Umfangreiche Evaluierung über vier mainstream vDiT-Modelle (HunyuanVideo, Wan, CogVideoX, TurboDiffusion) im Vergleich zu State-of-the-Art-GPUs und Beschleunigern.

Ergebnisse

Evaluierung auf einem 16nm-Technologieknoten mit einer 128x128 PE-Array-Konfiguration:

Performance: Kaleido erzielt bis zu eine 5,9-fache Beschleunigung gegenüber State-of-the-Art-Beschleunigern (z. B. AdapTiV, Exion) und eine 6,6-fache Beschleunigung gegenüber einer Nvidia A100 GPU.
Energieeffizienz: Das System liefert bis zu 16,0-fache Energieeinsparungen im Vergleich zur A100-Baseline.
Generative Qualität: Kaleido behält eine überlegene Videoqualität bei und erreicht PSNR-Werte von 29,9 dB (HunyuanVideo) und 24,5 dB (Wan), was >17 dB höher ist als bei Approximations-basierten Baselines wie Cambricon-D. Es übertrifft zudem softwareoptimierte Sparse-Attention-Methoden (z. B. MInference, SVG) in Bildqualitätsmetriken (PSNR, SSIM, LPIPS).
Skalierbarkeit: Die Performance-Lücke vergrößert sich, wenn die Videoauflösung von 480p auf 720p steigt, da höhere Auflösungen die genutzten räumlich-zeitlichen Korrelationen verstärken.

Bedeutung

Die Arbeit positioniert Kaleido als notwendige Evolution in der Beschleunigung der Videogenerierung. Sie argumentiert, dass die bloße Übertragung von LLM-basierten Sparse-Attention-Techniken auf Video ineffektiv ist, aufgrund der kontinuierlichen Natur visueller Daten. Durch die Verlagerung des Fokus von „Pruning“ hin zu „Wiederverwendung“ basierend auf den einzigartigen kanalweisen Korrelationen von vDiTs bietet Kaleido einen prinzipienbasierten Ansatz, der gleichzeitig den Rechenengpass adressiert und die Anforderungen an eine hohe Wiedergabetreue erfüllt. Die Arbeit zeigt, dass ein Algorithmus-Hardware-Co-Design essenziell ist, um die Effizienz der nächsten Generation von Video-Diffusionsmodellen freizusetzen, ohne die Ausgabequalität zu beeinträchtigen.