🤖 machine learning

Attend Locally, Remember Linearly: Linear Attention as Cross-Frame Memory for Autoregressive Video Diffusion

Dieser Artikel stellt ARL2 vor, eine hybride Aufmerksamkeitsarchitektur für autoregressive Videodiffusion, die quadratische interframe-Aufmerksamkeit durch einen rekurrenten Zustand fester Größe ersetzt, um eine lineare Zeitkomplexität und einen konstanten Speicherverbrauch zu erreichen, während die zeitliche Konsistenz und die Generierungsqualität beibehalten oder verbessert werden.

Ursprüngliche Autoren: Kunyang Li, Mubarak Shah, Yuzhang Shang

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kunyang Li, Mubarak Shah, Yuzhang Shang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „endlose Rucksack"

Stellen Sie sich vor, Sie sind ein Künstler, der versucht, einen sehr langen Film Bild für Bild zu malen. Damit der Film flüssig und konsistent aussieht, müssen Sie sich an alles erinnern, was Sie bisher gemalt haben.

Bei aktuellen Video-KI-Modellen ist die Art und Weise, wie sie „erinnern", wie das Tragen eines Rucksacks, der immer schwerer wird.

Für das erste Bild legen Sie eine kleine Notiz in Ihren Rucksack.
Für das zweite Bild fügen Sie eine weitere Notiz hinzu, behalten aber die erste.
Beim 100. Bild ist Ihr Rucksack riesig. Beim 1.000. Bild ist er so schwer, dass Sie sich nicht mehr bewegen können.

In technischen Begriffen nennt man dies einen KV-Cache. Je länger das Video wird, desto mehr Speicher (RAM) benötigt der Computer, um all diese vergangenen Notizen zu speichern. Irgendwann ist der Speicherplatz des Computers erschöpft, und die Videogenerierung stoppt. Dies ist die „Skalierbarkeitsengstelle", die das Paper zu beheben versucht.

Die Lösung: ARL2 (Attend Locally, Remember Linearly)

Die Autoren schlagen eine neue Art vor, den Film zu malen, die ARL2 heißt. Anstatt einen wachsenden Rucksack zu tragen, verwenden sie ein intelligentes, festes Notizbuch.

Sie teilen die Aufgabe des Künstlers in zwei verschiedene Aufgaben auf:

1. „Attend Locally" (Die Detailarbeit)

Wenn der Künstler ein einzelnes Bild malt, muss er jeden Teil dieses spezifischen Bildes betrachten, um sicherzustellen, dass die Details übereinstimmen (z. B. dass das linke Auge zum rechten passt oder dass der Schal natürlich fließt).

Die Analogie: Dies ist wie das Betrachten der gesamten Leinwand vor Ihnen. Sie müssen alles auf einmal sehen, um die Details richtig zu bekommen.
Die Lösung des Papers: Sie behalten die alte, leistungsstarke „Softmax"-Methode dafür bei. Sie ist hervorragend für lokale Details geeignet, daher ändern sie sie nicht.

2. „Remember Linearly" (Das Langzeitgedächtnis)

Wenn der Künstler zum nächsten Bild übergeht, muss er sich daran erinnern, was in den vorherigen Bildern passiert ist, um die Geschichte konsistent zu halten (z. B. sollte die Farbe des Schals einer Figur nicht plötzlich von Rot auf Blau wechseln).

Der alte Weg: Eine Liste jedes einzelnen jemals gemalten Bildes führen (Der schwere Rucksack).
Der neue Weg (ARL2): Anstatt einer Liste verwendet der Künstler eine einzelne, magische Zusammenfassungskarte.
- Wenn ein neues Bild fertig ist, aktualisiert der Künstler diese eine Karte mit den wichtigsten Informationen.
- Die Karte bleibt gleich groß, egal ob der Film 1 Minute oder 1 Stunde lang ist.
- Dies ist der „Recurrent State". Es ist wie ein „Gated Delta Network", das entscheidet, was behalten und was vergessen wird, um sicherzustellen, dass das Gedächtnis sauber und handhabbar bleibt.

Wie sie es zum Funktionieren brachten (Das Training)

Man kann den schweren Rucksack nicht über Nacht einfach durch ein kleines Notizbuch ersetzen; der Künstler könnte verwirrt werden. Das Paper beschreibt einen zweistufigen Trainingsprozess, um dem Modell diesen neuen Trick beizubringen:

Stufe 1 (Der Probelauf): Sie nehmen das ursprüngliche, schwererucksack-Modell und bringen ihm Schicht für Schicht bei, wie man das kleine Notizbuch verwendet. Sie testen, welche Schichten „empfindlich" sind (den schweren Rucksack für perfekte Details benötigen) und welche „flexibel" sind (das kleine Notizbuch verwenden können).
Stufe 2 (Die Abschlussprüfung): Sie mischen die beiden zusammen. Sie lassen das Modell üben, das kleine Notizbuch für die flexiblen Schichten zu verwenden, während es den schweren Rucksack für die empfindlichen beibehält. Sie tun dies, bis das Modell genauso gut ist wie das Original, aber viel leichter.

Die Ergebnisse: Schneller und leichter

Das Paper behauptet, dass durch die Verwendung dieses hybriden Ansatzes:

Speicher: Die Speichernutzung des Computers aufhört zu wachsen, wenn das Video länger wird. Sie bleibt konstant. Sie reduzierten die Speichernutzung für lange Videos um 54 %.
Geschwindigkeit: Da der Computer nicht damit kämpft, einen schweren Rucksack zu tragen, malt er schneller. Sie beobachteten eine 2,26-fache Beschleunigung (mehr als doppelt so schnell) für sehr lange Videos.
Qualität: Die Videoqualität blieb genauso gut, und in einigen Fällen war die Bewegung sogar flüssiger, weil die „Zusammenfassungskarte" die Langzeitgeschichte besser erinnerte als die unordentliche Liste von Notizen.

Zusammenfassende Analogie

Stellen Sie sich das alte Modell als einen Schüler vor, der versucht, ein ganzes Buch auswendig zu lernen, indem er jedes einzelne Wort auf ein Stück Papier schreibt, das immer länger und länger wird, bis es den Raum füllt.

Das neue ARL2-Modell ist wie ein Schüler, der:

Die aktuelle Seite sorgfältig liest, um die Details zu verstehen (Attend Locally).
Einen einzigen, perfekten zusammenfassenden Satz auf einen Haftnotizzettel schreibt, um die bisherige Handlung zu erinnern (Remember Linearly).
Diesen Haftnotizzettel aktualisiert, wenn er zur nächsten Seite übergeht, und ihn für immer klein und handhabbar hält.

Dies ermöglicht es ihnen, ein Buch beliebiger Länge zu lesen (zu generieren), ohne den Platz auf ihrem Schreibtisch zu erschöpfen.

Technische Zusammenfassung: Attend Locally, Remember Linearly (ARL2)

1. Problemstellung

Autoregressive (AR) Video-Diffusion hat sich aufgrund seiner kausalen, chunkweisen Formulierung als führende Paradigme für Streaming und interaktive Videoerstellung etabliert. Allerdings verlassen sich bestehende AR-Video-Diffusionsmodelle auf Softmax-Selbstaufmerksamkeit innerhalb von Diffusion-Transformern (DiTs). Diese Abhängigkeit führt zu einem fundamentalen Skalierbarkeitsengpass:

Quadratische Berechnung und linearer Speicherbedarf: Der Standard-Aufmerksamkeitsmechanismus verursacht eine rechnerische Komplexität von $O(N^2)$ und einen Speicherverbrauch von $O(N)$ relativ zur Sequenzlänge $N$ (Videoframes).
Wachstum des KV-Cache: Um zeitliche Konsistenz zu gewährleisten, akkumulieren diese Modelle einen Key-Value (KV)-Cache, der mit jedem generierten Block linear wächst. Für ein 5-Sekunden-Video in 480p kann der KV-Cache 34 GB überschreiten und damit die Modellparameter selbst übersteigen.
Einschränkungen bestehender Lösungen: Aktuelle Ansätze wie sparse Attention, KV-Cache-Quantisierung oder Verwerfung (Eviction) reduzieren zwar die Kosten pro Schritt oder begrenzen den Speicher, scheitern jedoch daran, gleichzeitig das lineare Speicherwachstum zu eliminieren und den Streaming-Kontext effektiv zu verwalten. Sparse Attention verlässt sich weiterhin auf einen wachsenden Cache; Verwerfung verwirft den vergangenen Kontext unwiderruflich.

Die Kernherausforderung besteht darin, ein vortrainiertes AR-Video-Diffusionsmodell in eine hybride Architektur umzuwandeln, die konstanten Speicherbedarf ( $O(1)$ ) und lineare Zeitskalierung erreicht, ohne die räumliche Genauigkeit intra-frame-Interaktionen oder die zeitliche Konsistenz inter-frame-Generierung zu beeinträchtigen.

2. Methodik: ARL2

Die Autoren schlagen ARL2 (Attend Locally, Remember Linearly) vor, ein hybrider Aufmerksamkeitsmodul, der die Selbstaufmerksamkeit in zwei verschiedene Zweige zerlegt, um der heterogenen Natur der Videoaufmerksamkeit gerecht zu werden:

2.1 Hybride Aufmerksamkeitszerlegung

Das Modell teilt die Aufmerksamkeit auf in:

Intra-Frame-Zweig (Attend Locally): Bewahrt die ursprüngliche bidirektionale Softmax-Aufmerksamkeit innerhalb jedes Frames. Dieser Zweig erfasst feingranulare räumliche Korrelationen und lokale Abhängigkeiten, die für die visuelle Genauigkeit entscheidend sind. Er nutzt die eingefrorenen vortrainierten Projektionen wieder, um räumliche Details zu erhalten, ohne zusätzliche Latenz einzuführen, da alle Tokens eines Frames gemeinsam decodiert werden.
Inter-Frame-Zweig (Remember Linearly): Ersetzt den wachsenden KV-Cache durch einen festgroßen rekurrenten Zustand ( $S$ $S$ ). Dieser Zweig verwendet Gated Delta Network (GDN)-Mechanismen, um einen langreichweitigen zeitlichen Kontext zu erhalten.
- Anpassung: Da die vortrainierten $Q, K, V$ -Projektionen für Softmax optimiert sind, führt das Modell pro-Head gruppierte $1\times1$ -Feature-Maps ( $\phi_q, \phi_k, \phi_v$ ) ein, um Repräsentationen an den Bereich der linearen Rekursion anzupassen.
- Zustandsaktualisierung: Der Zustand $S_N$ wird mittels einer Gated-Regel aktualisiert: $S_N = \alpha_N S_{N-1} + \beta_N K'_N(V'_N - K'_N S_{N-1})$ , wobei $\alpha$ (Vergessens-Tor) und $\beta$ (Lernrate) pro-Token gelernte Projektionen sind.
- Ausgabe: Die Inter-Frame-Ausgabe wird berechnet als $O_{inter} = Q'_N S_{N-1}$ .

2.2 Speicherzustandsverwaltung

Um zu verhindern, dass der rekurrente Zustand durch verrauschte Zwischenschritte korrumpiert wird oder intra-frame-Asymmetrien entstehen, setzt ARL2 zwei spezifische Mechanismen ein:

Frame-Level-Zugriff: Alle Tokens innerhalb eines einzelnen Frames fragen denselben vor-Aktualisierungs-Zustand ( $S_{N-1}$ ) ab. Der Zustand wird erst aktualisiert, nachdem der gesamte Frame verarbeitet wurde. Dies gewährleistet einen konsistenten cross-frame-Kontext für alle Tokens im aktuellen Frame.
Clean-Pass-Aktualisierungen: Während der mehrstufigen Denoising-Schleife fragt das Modell den Zustand ab, aktualisiert ihn jedoch nicht. Der Zustand wird erst aktualisiert, nachdem der finale „saubere" Durchlauf des Frames erzeugt wurde. Dies verhindert, dass verrauschte Intermediate den langreichweitigen Speicher kontaminieren, und reduziert die Zustands-Schreibvorgänge von einem pro Denoising-Schritt auf einen pro Frame.

2.3 Trainingspipeline: Zweistufige Distillation

Anstatt von Grund auf neu zu trainieren, schlagen die Autoren eine effiziente zweistufige Distillationspipeline vor, um ein vortrainiertes Causal Forcing-Modell umzuwandeln:

Stufe 1 (Per-Layer-Distillation und Selektion): Jede der 30 Aufmerksamkeits-Schichten wird unabhängig distilliert. Die Autoren führen eine Analyse der Attention Recovery Rate (ARR) ein, um Schichten in „Hybrid-Recoverable" (HR) und „Hybrid-Sensitive" (HS) zu klassifizieren.
- HR-Dimensionen: Subjektkonsistenz, Hintergrundkonsistenz, Bewegungsglättung und ästhetische Qualität (wiederherstellbar >85%).
- HS-Dimensionen: Bildqualität (sensibel, Wiederherstellung nur ~25%).
- Schichtenselektion: Ein Scoring-Mechanismus ( $p_\ell$ ) priorisiert das Ersetzen von Schichten, die weniger empfindlich auf die HS-Dimension reagieren, und stellt sicher, dass kritische Schichten für die Bildqualität die Softmax-Aufmerksamkeit beibehalten.
Stufe 2 (Gemeinsame Distillation): Das hybride Modell (mit ausgewählten, ersetzten Schichten) wird gemeinsam end-to-end gegen den eingefrorenen Lehrer feinabgestimmt, indem das vorhergesagte Geschwindigkeitsfeld angeglichen wird, um einen kohärenten Betrieb über alle Schichten hinweg zu gewährleisten.

3. Hauptbeiträge

Erste hybride AR-Video-Diffusion: Dies ist die erste Arbeit, die ein vortrainiertes AR-Video-Diffusionsmodell in eine hybride lineare Aufmerksamkeitsarchitektur umwandelt und damit Streaming-Generierung mit konstantem Speicherbedarf ermöglicht, ohne von Grund auf neu trainieren zu müssen.
Rollenbewusste Zerlegung: Das Design respektiert explizit die Heterogenität der Videoaufmerksamkeit, behält bidirektionale Softmax für räumliche Details bei und verwendet lineare Rekursion für zeitlichen Speicher.
Stabile Zustandsverwaltung: Die Einführung von Frame-Level-Zugriff und Clean-Pass-Aktualisierungen löst die spezifischen Herausforderungen der Anwendung rekurrenter linearer Aufmerksamkeit auf iterative Diffusions-Denoising, verhindert Kontext-Asymmetrie und Speicherkorruption.
Effiziente Distillationsstrategie: Eine sensibilitätsgeführte, zweistufige Distillationspipeline, die Leistungsverschlechterungen minimiert und gleichzeitig Effizienzgewinne maximiert.

4. Experimentelle Ergebnisse

Die Autoren bewerteten ARL2 auf dem VBench-Benchmark über verschiedene Videolängen (81 bis 921 Frames) hinweg unter Verwendung eines Modells mit 1,3 Milliarden Parametern.

Effizienz:
- Speicher: Erzielte bis zu 54% Speicherreduktion (z. B. 40,5 GB vs. 87,9 GB für 921 Frames) und behielt einen konstanten Speicherbedarf unabhängig von der Videolänge bei, wohingegen Baseline-Modelle bei 1005 Frames aufgrund von OOM (Out of Memory) versagten.
- Geschwindigkeit: Erzielte bis zu 2,26× Wall-Clock-Beschleunigung bei 921 Frames. Die Beschleunigung skaliert mit der Videolänge, da der KV-Cache-Overhead dominant wird.
Qualität:
- ARL2 (50% Ersetzung): Entsprach oder übertraf den Softmax-Lehrer in der Gesamtqualität, mit spezifischen Verbesserungen bei Temporal Flickering (+0,99) und Motion Smoothness (+1,35).
- ARL2 (75% Ersetzung): Behielt eine wettbewerbsfähige Qualität (innerhalb von ~1% der Baseline bei Bildqualität) bei, während maximale Effizienzgewinne erzielt wurden.
- Vergleich: ARL2 (50%) schnitt besser ab als andere distillierte Modelle und entsprach dem viel größeren MAGI-1 (4,5B) mit 3,5× weniger Parametern.
Ablationsstudien:
- Das Entfernen des hybriden Zweigs oder die Verwendung von Token-Level-Zugriff verschlechterte die Leistung, was die Notwendigkeit beider Zweige und des Frame-Level-Zustands-Sharing bestätigt.
- Headweise Gating bot den besten Kompromiss zwischen Leistung und Parameter-Effizienz.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass ARL2 den Skalierbarkeitsengpass der autoregressiven Video-Diffusion grundlegend adressiert. Durch die Entkopplung von räumlicher und zeitlicher Modellierung ermöglicht es langformatige Videosynthese, die zuvor aufgrund von Speichereinschränkungen nicht durchführbar war. Die Autoren betonen, dass ihr Ansatz Streaming-Video-Generierung mit konstantem Speicherbedarf ermöglicht und sich somit für interaktive und Echtzeit-Anwendungen eignet.

Die Arbeit zeigt, dass es möglich ist, die hochwertige räumliche Modellierung der Softmax-Aufmerksamkeit beizubehalten, während der speicherintensive zeitliche Mechanismus durch einen linearen, rekurrenten Zustand ersetzt wird. Die vorgeschlagene zweistufige Distillation beweist, dass solche architektonischen Änderungen effizient auf vortrainierte Modelle übertragen werden können, mit minimalen trainierbaren Parametern (<2%) und Rechenkosten (~156 H100 GPU-Stunden), und bietet einen praktischen Weg hin zu skalierbarer Video-Generierung.