🤖 AI

VideoMLA: Low-Rank Latent KV Cache for Minute-Scale Autoregressive Video Diffusion

Dieses Papier stellt VideoMLA vor, eine neuartige Architektur, die Multi-Head Latent Attention auf autoregressive Videodiffusion im Minutenbereich anwendet und dabei eine Reduktion des KV-Cache-Speichers um 92,7 % sowie eine Steigerung des Durchsatzes um den Faktor 1,23 erreicht, während die Basisqualität beibehalten oder übertroffen wird, obwohl die Methode erfolgreich ist, obwohl die vortrainierte Aufmerksamkeit nicht inhärent niedrigrangig ist.

Ursprüngliche Autoren: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hidir Yesiltepe, Jiazhen Hu, Tuna Han Salih Meral, Adil Kaan Akan, Kaan Oktay, Hoda Eldardiry, Pinar Yanardag

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine Geschichte zu erzählen, die eine Stunde dauert, aber Sie haben nur ein kleines Notizbuch, um sie aufzuschreiben. Jedes Mal, wenn Sie einen neuen Satz hinzufügen, müssen Sie sich an alles erinnern, was Sie zuvor geschrieben haben, um sicherzustellen, dass die Geschichte Sinn ergibt.

In der Welt der KI-Videoerstellung wird dieses „Notizbuch" als KV-Cache bezeichnet. Es ist ein Speicherbank, in der die KI Informationen über die bereits erstellten Videoframes speichert, damit sie die nächsten generieren kann.

Das Problem: Das Notizbuch ist zu schwer

Aktuelle KI-Video-Modelle sind wie Schüler, die versuchen, eine einstündige Geschichte zu schreiben, deren Notizbücher jedoch so schwer sind, dass sie sie kaum heben können.

Der alte Weg: Für jeden einzelnen Videoframe, an den sich die KI erinnert, schreibt sie eine massive, detaillierte Beschreibung für jede einzelne „Gehirnzelle" (Kopf) in ihrem Netzwerk auf.
Das Ergebnis: Je länger das Video wird (Minuten lang), desto riesiger wird dieses Notizbuch, bis der Speicher erschöpft ist. Um dies zu beheben, werfen die meisten Systeme einfach alte Seiten weg (ein gleitendes Fenster), aber die Seiten, die sie behalten, sind immer noch unglaublich sperrig und langsam zu lesen.

Die Lösung: VideoMLA (Das „Zusammenfassungs"-Notizbuch)

Die Arbeit stellt VideoMLA vor, eine neue Art, diese Geschichte zu schreiben, die das Notizbuch um 92,7 % verkleinert.

So funktioniert es anhand einer einfachen Analogie:

1. Die „Gemeinsame Zusammenfassung" (Low-Rank Latent)
Stellen Sie sich vor, Sie beschreiben eine Szene einer Gruppe von 12 Freunden (den 12 „Köpfen" in der KI).

Früher: Sie schrieben einen einzigartigen, 128-seitigen detaillierten Bericht für jeden Freund. Das sind $12 \times 128 = 1.536$ Seiten Informationen pro Frame!
VideoMLA: Sie merken, dass alle Ihre Freunde dieselbe Geschichte hören. Anstatt 12 separate Berichte zu schreiben, verfassen Sie einen einzigen, kondensierten Zusammenfassung (das „Latent"), der das Kernwesen der Szene einfängt. Alle 12 Freunde teilen sich diese eine Zusammenfassung.
Die Magie: Diese Zusammenfassung ist viel kleiner (nur 192 Seiten statt 1.536). Sie erfasst das „Was" (den Inhalt) ohne Redundanz.

2. Die „Separate Karte" (Decoupled 3D-RoPE)
Die Zusammenfassung sagt Ihnen, was passiert, aber nicht wo oder wann.

Früher: Die Orts- und Zeitinformationen waren in diesen riesigen, sperrigen Berichten vermischt.
VideoMLA: Sie nehmen die Orts- und Zeitinformationen (wie „es regnet um 14 Uhr auf der linken Seite") und kleben sie auf einen winzigen, separaten Haftnotiz. Dieser Zettel wird ebenfalls von allen geteilt.
Das Ergebnis: Sie haben nun eine winzige Zusammenfassung plus einen winzigen Haftnotiz, anstatt 12 riesige Berichte.

Die große Überraschung: Es funktioniert, auch wenn es „nicht sollte"

Normalerweise verwenden Wissenschaftler diesen „Zusammenfassungs"-Trick (Multi-Head Latent Attention genannt), weil sie glauben, dass die ursprünglichen Informationen natürlich einfach und leicht zusammenzufassen sind (wie ein mathematisches Problem mit niedrigem Rang).

Die Entdeckung der Arbeit:
Die Autoren überprüften das ursprüngliche KI-Modell und stellten etwas Überraschendes fest: Die ursprünglichen Informationen sind NICHT einfach. Sie sind tatsächlich unglaublich komplex und chaotisch (hoher „Rang").

Das Rätsel: Wenn Sie versuchen, ein komplexes, chaotisches Gemälde mit einer einfachen Skizze zusammenzufassen, verlieren Sie normalerweise viele Details.
Die Realität: VideoMLA funktioniert trotzdem! Obwohl die ursprünglichen Daten chaotisch sind, lernt die KI, die gesamte Geschichte in den kleinen Zusammenfassungsraum zu passen. Es stellt sich heraus, dass die Grenze nicht darin besteht, wie chaotisch die Geschichte ist, sondern wie groß das Notizbuch ist. Die KI passt sich einfach an, um die gesamte Geschichte perfekt in den kleinen Raum zu integrieren.

Warum das wichtig ist

Durch die Verkleinerung des Notizbuchs:

Längere Videos: Die KI kann nun minutenlange Videos generieren, ohne den Speicher zu erschöpfen.
Schnellere Geschwindigkeit: Das Lesen einer winzigen Zusammenfassung ist viel schneller als das Lesen von 12 riesigen Berichten. Die Arbeit zeigt, dass dies die KI um das 1,23-fache schneller macht.
Bessere Qualität: Trotz der massiven Komprimierung bleibt die Videoqualität hoch. Die KI wird nicht „rauschend" oder unscharf; die Bewegung bleibt flüssig und die Charaktere bleiben konsistent.

In Kürze

VideoMLA ist wie die Erkenntnis, dass Sie keine Bibliothek voller Bücher tragen müssen, um eine Geschichte zu erzählen. Sie brauchen nur eine gut geschriebene Zusammenfassung und eine kleine Karte. Dies ermöglicht es der KI, längere, flüssigere Geschichten viel schneller zu erzählen, ohne einen Supercomputer zur Speicherung des Speichers zu benötigen.

Technischer Zusammenfassung: VideoMLA

Problemstellung
Causale Video-Diffusionsmodelle mit langen Rollouts haben sich als dominanter Ansatz für das Streaming und die Generierung von Videos im Minutenbereich etabliert. Diese Modelle verlassen sich typischerweise auf einen Key-Value (KV)-Cache mit fester Größe und gleitendem Fenster, um die autoregressive Generierung aufrechtzuerhalten. Während neuere Arbeiten innerhalb dieses Layouts durch Änderungen bei der Token-Auswahl, der Positionskodierung (z. B. Infinity-RoPE) oder Trainingsstrategien (z. B. Self-Forcing) Innovationen vorangetrieben haben, bewahren sie weitgehend das KV-Layout pro Kopf. Bei standardmäßiger dichter Aufmerksamkeit speichert jeder gecachte Token vollständige Keys und Values für alle Attention-Köpfe. Für ein Modell wie Wan-1.3B ergibt dies einen massiven Speicherbedarf (ca. 6,0 GB für einen Cache mit 21 Latent-Frames), was die Batch-Größen, den Durchsatz und die machbare Länge von Video-Rollouts begrenzt. Bestehende effiziente Methoden ändern entweder den Aufmerksamkeitsmechanismus vollständig (z. B. lineare Aufmerksamkeit) oder cachen nur bestimmte Schichten, doch nur wenige adressieren die Speicherkosten des KV-Zustands pro Token und pro Kopf über alle gecachten Schichten hinweg.

Methodik: VideoMLA
Die Arbeit stellt VideoMLA vor, die erste Anwendung von Multi-Head Latent Attention (MLA) auf autoregressive Video-Diffusion. VideoMLA strukturiert den KV-Cache grundlegend um, indem es dichte Keys und Values pro Kopf durch eine gemeinsame Low-Rank-Darstellung ersetzt.

Gemeinsamer Low-Rank-Inhaltslatent: Anstatt separate Keys ( $K$ ) und Values ( $V$ ) für jeden der $n_h$ Köpfe zu speichern, komprimiert VideoMLA den Inhalt eines Tokens $x_t$ über eine Down-Projektionsmatrix $W^{KV}_\downarrow$ in einen einzigen gemeinsamen latenten Vektor $c^{KV}_t$ . Dieser Latent hat die Dimension $d_c \ll n_h d_h$ .
Bedarfsgerechte Rekonstruktion: Während der Aufmerksamkeitsberechnung werden die inhaltsbezogenen Keys ( $k^{nope}_{t,h}$ ) und Values ( $v_{t,h}$ ) pro Kopf aus dem gemeinsamen Latent unter Verwendung kopfspezifischer Up-Projektionsmatrizen ( $W^K_\uparrow, W^V_\uparrow$ ) rekonstruiert.
Entkoppeltes 3D-RoPE: Um Positionsinformationen zu verarbeiten, ohne sie in den gemeinsamen Latent zu integrieren (was eine Kopfteilung verhindern würde), teilt die Methode die Dimension pro Kopf in einen Inhalts-Unterraum ( $d^{nope}_h$ ) und einen Positions-Unterraum ( $d^{rope}_h$ ) auf. Ein einzelner, kopfgeteilter Positionsschlüssel $k^R_t$ wird berechnet und mittels 3D-RoPE rotiert. Der Cache speichert das Paar $(c^{KV}_t, k^R_t)$ anstelle von dichten Zuständen pro Kopf.
Speicherreduktion: Dieses Design reduziert den pro Token gecachten Zustand von $2n_h d_h$ Skalaren auf $d_c + d^{rope}_h$ . In der Standardkonfiguration ( $d_c=192, d^{rope}_h=32$ ) ergibt dies eine Reduktion des KV-Cache-Speichers pro Schicht um 92,7 %.

Hauptergebnisse und Spektralanalyse
Ein zentraler Beitrag der Arbeit ist die Auflösung eines theoretischen Rätsels darüber, warum MLA bei Video-Diffusion funktioniert.

Das Rätsel: Bei Sprachmodellen wird MLA oft durch die Annahme motiviert, dass vortrainierte $W^K$ - und $W^V$ -Matrizen intrinsisch Low-Rank sind. Eine Spektralanalyse des Video-Backbones Wan-1.3B zeigt jedoch, dass der gemeinsame Operator $[W^K; W^V]$ nicht Low-Rank ist; sein effektiver Rang mit 99 %-Energie übersteigt 1300, weit über praktischen latenten Dimensionen ( $d_c=192$ ).
Die Lösung: Die Autoren zeigen, dass der effektive Rang des gelernten zusammengesetzten Operators in VideoMLA durch die architektonische Engstelle ( $d_c$ ) bestimmt wird und nicht durch das vortrainierte Spektrum. Sowohl die SVD-Initialisierung als auch die zufällige Initialisierung sättigen das auferlegte Ranggeld von Anfang an, und das Training bewahrt dieses Budget, während es sich innerhalb dessen anpasst. VideoMLA gelingt es also nicht, eine verborgene Low-Rank-Struktur wiederherzustellen, sondern es legt ein Ranggeld fest, das das Modell effektiv zu nutzen lernt.

Ergebnisse

Qualität: Auf VBench erreicht VideoMLA die Leistung von Streaming-Baselines mit kurzem Horizont und erzielt die beste Gesamtnote bei langen Horizonten (60 s) unter den bewerteten Methoden. Es bewahrt die Identität des Subjekts, die Szenenstruktur und die Bewegungsdynamik und vermeidet die statische Degradation, die bei anderen Kompressionsmethoden zu beobachten ist.
Effizienz: Die Methode verbessert den Inferenzdurchsatz auf einer einzelnen B200-GPU um das 1,23-fache im Vergleich zu Baselines.
Skalierbarkeit: Unter einem festen Speicherbudget (B200) ermöglicht VideoMLA Batch-Größen, die 8,0-mal größer sind als bei dichter Multi-Head Attention (MHA) bei der Standardkonfiguration $d_c=192$ , und bei niedrigeren $d_c$ -Einstellungen bis zu 11,4-mal größer, ohne Out-of-Memory (OOM)-Fehler.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass VideoMLA das KV-Layout pro Token als direkten und effektiven Hebel zur Skalierung effizienter Video-Diffusion mit langem Horizont identifiziert, was orthogonal zu bestehenden Methoden ist, die sich auf Token-Auswahl oder Positions-Neuparametrisierung konzentrieren. Durch die Reduzierung des KV-Speichers pro Token um 92,7 % bei gleichzeitiger Bewahrung der visuellen Glaubwürdigkeit und der Bewegungskonsistenz ermöglicht VideoMLA die Generierung von Videos im Minutenbereich mit deutlich geringerer Latenz und höherem Durchsatz. Die Arbeit verlagert die Designfrage von „Was ist der intrinsische Rang der Video-Aufmerksamkeit?" zu „Welches latente Budget erhält die Videoqualität?", und zeigt, dass architektonische Beschränkungen das Lernen erfolgreich steuern können, selbst wenn das vortrainierte Spektrum hochrangig ist.