💻 computer science

SQuad: Sub-Quadratic Attention Distillation for Efficient Video Generation

SQuad ist ein Framework zur Distillation von Sub-Quadratic-Attention, das vortrainierte Video-Diffusion-Transformer komprimiert, um eine Komplexität von $\mathcal{O}(n\sqrt{n})$ zu erreichen und dabei eine Video-Generationsqualität auf quadratischem Niveau bei signifikant reduzierten Rechenkosten und schnelleren Inferenzgeschwindigkeiten zu liefern.

Ursprüngliche Autoren: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Veröffentlicht 2026-08-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Animesh Karnewar, Denis Korzhenkov, Amirhossein Habibian, Mohsen Ghafoorian

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Erstellen bewegter Bilder mit künstlicher Intelligenz ist zu einer der spannendsten Grenzen der modernen Computertechnik geworden. Diese Systeme, bekannt als Video-Diffusionsmodelle, arbeiten, indem sie mit einer chaotischen Wolke aus statischem Rauschen beginnen und dieses schrittweise, Frame für Frame, basierend auf einer Textbeschreibung in eine kohärente Szene verfeinern. Um zu verstehen, wie sie dies tun, stellen Sie sich ein riesiges Gitter winziger digitaler Pixel vor, bei dem jeder Pixel ein Token ist, der Informationen über Farbe, Form und Zeit trägt. Der Motor, der diese Modelle antreibt, ist ein Mechanismus namens Self-Attention (Selbstaufmerksamkeit). Dieser Mechanismus ermöglicht es jedem einzelnen Token des Videos, auf jeden anderen Token zu blicken, um zu entscheiden, wie sie zueinander in Beziehung stehen sollen. Es ist diese ständige, alles sehende Verbindung, die dem Video seine lebensnahe Qualität verleiht und sicherstellt, dass die Bewegung eines Charakters in der ersten Sekunde mit seinem Aussehen in der letzten Sekunde übereinstimmt. Diese Macht hat jedoch einen hohen Preis. Wenn das Video länger oder detaillierter wird, explodiert die Anzahl der Verbindungen, die das System berechnen muss, was den Prozess unglaublich langsam und teuer macht und Schöpfer oft auf nur wenige Sekunden Videomaterial beschränkt.

Forscher bei Qualcomm AI Research haben einen neuen Ansatz namens SQuad entwickelt, um dieses Problem zu lösen, ohne die Qualität des Videos zu opfern. Anstatt zu versuchen, die komplexen Verbindungen zu vereinfachen oder den Kernmechanismus durch eine günstigere, schwächere Alternative zu ersetzen, haben sie einen Weg gefunden, die Art und Weise zu reorganisieren, wie das System die Daten betrachtet. Bei der Standardmethode muss jedes Token sich bei jedem anderen Token melden, ein Prozess, der unhandlich wird, wenn die Videogröße zunimmt. Das Team stellte fest, dass bei der Videogenerierung die meisten dieser Verbindungen tatsächlich sehr schwach sind; nur eine kleine, kritische Gruppe von Token muss in einem gegebenen Moment wirklich einander Aufmerksamkeit schenken. Aufbauend auf dieser Beobachtung entwarfen sie einen zweistufigen Prozess. Zuerst gruppiert das System benachbarte Token in kleine Fenster und lässt sie lokal Informationen mischen. Dann folgt ein zweiter Durchgang, der es diesen Fenstern ermöglicht, über das gesamte Video hinweg miteinander zu kommunizieren. Diese Struktur erlaubt es dem Modell, eine vollständige Sicht auf die Szene zu behalten und gleichzeitig die Anzahl der erforderlichen Berechnungen drastisch zu reduzieren.

Die Ergebnisse der Anwendung dieser Methode auf ein großes Videogenerationsmodell namens Wan 2.2 sind beeindruckend. Die Forscher nahmen ein leistungsfähiges, vortrainiertes Modell und brachten es durch einen Prozess der Destillation dazu, diese neue, gestraffte Attention-Methode zu nutzen, bei dem das neue System lernt, das Verhalten des Originals nachzuahmen. Das Ergebnis ist ein Modell, das Videos mit einer nahezu identischen visuellen Qualität wie das Original erzeugt, in strengen Qualitätsprüfungen fast dieselben Werte erzielt, aber mit einer massiven Reduktion der Kosten. Während das ursprüngliche Modell 100 Schritte benötigte, um ein Video zu generieren, erreicht die neue Version ähnliche Ergebnisse in nur sechs Schritten. In Bezug auf die Geschwindigkeit sank die Zeit, die für die Verarbeitung eines einzelnen Schritts der Videogenerierung benötigt wurde, von etwa 47 Millisekunden auf nur 4 Millisekunden. Die Menge der für diese Schritte benötigten Rechenleistung fiel um den Faktor fast 67.

Dieser Effizienzgewinn ist nicht nur eine theoretische Verbesserung; er überträgt sich direkt auf das, was ein Nutzer erlebt. Bei Tests an einer Standardaufgabe zur Generierung hochauflösender Videos generierte die neue Methode ein Video in etwa der Hälfte der Gesamtzeit des ursprünglichen Systems, selbst wenn man die gesamte Generierungspipeline berücksichtigt. Die Forscher verglichen ihre Methode mit anderen Versuchen, die Videogenerierung zu beschleunigen, von denen einige auf komplexen, hybriden Architekturen beruhen, die Millionen von zusätzlichen Parametern zum Modell hinzufügen. Im Gegensatz dazu erfordert der SQuad-Ansatz keinen zusätzlichen Speicher oder spezialisierte Hardware und fügt sich nahtlos in bestehende Systeme ein. Nutzerstudien bestätigten, dass Menschen nicht zuverlässig zwischen den Videos unterscheiden konnten, die vom ursprünglichen, schweren Modell und denen, die vom neuen, effizienten Modell erstellt wurden. Tatsächlich bevorzugte ein signifikanter Teil der menschlichen Betrachter im direkten Vergleich sogar die Videos, die durch die neue Methode generiert wurden.

Die Bedeutung dieser Arbeit liegt in ihrer Balance. Frühere Versuche, diese Modelle schneller zu machen, beinhalteten oft den Ersatz des leistungsstarken Attention-Mechanismus durch einfachere, lineare Approximationen, was häufig zu einem spürbaren Abfall der Videoqualität führte. Die SQuad-Methode vermeidet diese Falle, indem sie die Kernmathematik intakt hält, aber die Reihenfolge ändert, in der sie angewendet wird. Sie beweist, dass die volle, quadratische Komplexität, jeden Token gegen jeden anderen zu prüfen, nicht zwingend erforderlich ist, um hochpräzise Ergebnisse zu erzielen. Durch die sorgfältige Strukturierung des Informationsflusses haben die Forscher gezeigt, dass es möglich ist, lange, hochauflösende Videos mit einem Bruchteil der Rechenkosten zu generieren. Dies öffnet die Tür für die Generierung längerer, komplexerer Szenen auf Standardhardware und bringt das Feld näher an das Ziel, unbegrenzten, hochwertigen Videoinhalt ohne die aktuellen Engpässe von Zeit und Energie zu erschaffen.

Technisches Resümee: SQuad: Sub-quadratische Attention-Destillation für effiziente Videogenerierung

Problemstellung

Die Videogenerierung mittels Diffusion Transformers (DiTs) wird derzeit durch die Rechenkosten des Softmax-Self-Attention-Mechanismus gebremst. In Standard-DiTs skaliert die Attention-Komplexität quadratisch, $O(n^2)$ , mit der Anzahl der latenten Token $n$ . Bei der Videogenerierung, bei der $n$ ein räumlich-zeitliches Volumen darstellt (das oft zehntausende Token erreicht), dominiert dieser quadratische Term sowohl die Laufzeit als auch den Speicherbedarf, was die erreichbare Auflösung, Dauer und den Durchsatz einschränkt.

Bestehende Lösungen versuchen, dies zu mildern, indem sie die Softmax-Self-Attention durch lineare $O(n)$ - oder Low-Rank-$O(nk)$-Approximationen ersetzen oder durch die Verwendung von spärlichen Masken und hybriden Architekturen. Diese Ansätze leiden jedoch häufig unter einer „hartnäckigen Qualitätslücke“, da sie die Nichtlinearität und die scharfe, eingabeabhängige Selektivität des vollen Softmax opfern. Darüber hinaus führen hybride Designs, die teure quadratische Blöcke mit effizienten Blöcken verzahnen, eine architektonische Komplexität ein und behalten oft eine Abhängigkeit von eben jenen quadratischen Operationen bei, die sie eigentlich reduzieren wollen.

Methodik: SQuad

Die Autoren schlagen SQuad (Sub-Quadratic Attention Distillation) vor, ein Framework, das die Attention-Komplexität auf $O(n\sqrt{n})$ reduziert, während es die echte Softmax-Operation beibehält. Anstatt einen neuen Video-DiT von Grund auf neu zu trainieren, destilliert SQuad einen vortrainierten Full-Softmax-DiT (speziell die Modelle Wan 2.2 5B und Wan 2.1 1.3B) in eine modifizierte Architektur.

1. SQuad-Attention-Operator

Die Kerninnovation ist ein zweistufiger Attention-Mechanismus, der die volle $O(n^2)$ Attention in einen lokalen Durchgang (Local Pass) und einen globalen Durchgang (Global Pass) faktorisiert:

Lokaler Durchgang ( $Attn_L$ ): Token mischen sich innerhalb fester Fenster der Größe $w$ .
Globaler Durchgang ( $Attn_G$ ): Token an der gleichen relativen Position innerhalb jedes Fensters mischen sich über alle Fenster hinweg.
Komposition: Das Ergebnis des lokalen Durchgangs wird in den Value-Stream des globalen Durchgangs eingespeist. Diese Verschachtelung ermöglicht es dem globalen Durchgang, auf Token zuzugreifen, die bereits lokal gemischt wurden, wodurch ein vollständiges rezeptives Feld wiederhergestellt wird.
Komplexität: Durch Festlegung der Fenstergröße auf $w = \sqrt{n}$ erreicht die Methode eine Komplexität von $O(n\sqrt{n})$ . Entscheidend ist, dass beide Durchgänge den Standard-Softmax nutzen, wodurch die Expressivität bewahrt wird, die bei linearen Approximationen verloren geht.

2. Destillationsstrategie

Da das Ersetzen des Attention-Operators die berechnete Funktion des Netzwerks verändert, sind die vortrainierten Gewichte nicht mehr optimal. Die Autoren wenden einen zweistufigen Destillationsprozess an:

Flow-Matching Supervised Fine-Tuning (SFT): Das Netzwerk wird auf Videodaten (VIPE 1M Datensatz) feinjustiert, um die Gewichte unter der neuen SQuad-Attention-Architektur neu zu positionieren.
Distribution Matching Distillation (DMD2): Ein verbesserter Schritt-Destillationsansatz wird angewendet, um die während der architektonischen Änderung verlorene Generierungsqualität wiederherzustellen und die Anzahl der benötigten Neural Functional Evaluations (NFEs) beim Sampling zu reduzieren.

Zentrale Beiträge

Sub-quadratische Komplexität mit vollem Softmax: SQuad erreicht eine $O(n\sqrt{n})$ Komplexität, ohne die Softmax-Operation aufzugeben, und adresst damit die Qualitätslücke, die bei linearen oder Low-Rank-Approximationen besteht.
Destillations-Framework: Die Arbeit zeigt, dass ein vortrainierter quadratischer DiT effektiv über einen zweistufigen Destillationsprozess (SFT + DMD2) in eine sub-quadratische Architektur überführt werden kann, wodurch die prohibitiven Kosten eines Trainings von Grund auf vermieden werden.
Hardware-Effizienz: Die Methode ist hardwarefreundlich konzipiert; sie erfordert keine spezialisierten Fused-Kernel oder On-Device-Optimierungen, sondern stützt sich stattdessen auf Standard-Tensor-Reshaping und Standard-Attention-Blöcke.

Experimentelle Ergebnisse

Die Methode wurde auf den Modellen Wan 2.2 5B und Wan 2.1 1.3B evaluiert.

Qualitätserhaltung: Auf dem Wan 2.2 5B erreicht SQuad einen VBench Total Score von 83,20 und gleicht damit effektiv den ursprünglichen Full-Softmax-Baseline-Wert (83,08) aus. In Nutzerpräferenzstudien bevorzugten 35 % der Nutzer die SQuad-Generierungen gegenüber der Baseline, während 31 % sie als ununterscheidbar empfanden.
Effizienzgewinne:
- Latenz: SQuad reduziert die Per-Block-Attention-Latenz um etwa das 11-Fache (von 47,10 ms auf 4,27 ms) und die End-to-End-DiT-Latenz um das 2-Fache (von 667 ms auf 314 ms im kompilierten Modus).
- Rechenaufwand: Die Attention-TFLOPs werden um ~67× reduziert (von 4,205 auf 0,063).
- Sampling-Geschwindigkeit: Das destillierte Modell generiert hochwertige Videos in 6 NFEs, im Vergleich zu den standardmäßigen 100 NFEs des Originalmodells.
Vergleich: SQuad übertrifft andere effiziente Attention-Methoden (wie VSA, Jenga, Radial Attention und Attention Surgery) in Bezug auf Latenz und TFLOPs, während es eine vergleichbare oder überlegene Qualität beibehält, ohne zusätzliche lernbare Parameter zu benötigen (im Gegensatz zu Methoden, die 72M–283M Gewichte hinzufügen).

Bedeutung und Behauptungen

Das Paper behauptet, dass SQuad die Hypothese validiert, dass die volle $O(n^2)$ Komplexität der Token-zu-Token-Kommunikation für eine hochqualitative Videogenerierung nicht zwingend erforderlich ist. Durch den Vorschlag eines „Mittelwegs“, der die Expressivität des Softmax durch eine strukturierte, sub-quadratische Faktorisierung beibehält, bietet SQuad einen praktischen Weg, um längere und hochauflöselere Videos auf aktueller Hardware zu generieren.

Die Autoren positionieren SQuad nicht nur als Destillationsziel für bestehende Modelle, sondern auch als Kandidaten für einen Attention-Mechanismus beim Pretraining großer Modelle von Grund auf. Sie räumen ein, dass ihre aktuelle Strategie die Attention-Destillation mit der Schritt-Destillation (DMD2) koppelt, und schlagen vor, dass zukünftige Arbeiten die Änderung der Attention vom Beschleunigen des Samplings isolieren oder die Kombination von mehr als zwei Durchgängen untersuchen könnten, um Tiefe weiter gegen Effizienz abzuwägen.