💻 computer science

SSM Meets Video Diffusion Models: Efficient Long-Term Video Generation with Structured State Spaces

Dieses Paper schlägt die Integration bidirektionaler strukturierter Zustandsraummodelle (SSMs) als effiziente zeitliche Merkmalsextraktoren in Video-Diffusionsmodellen vor, um die quadratischen Rechenbeschränkungen von Attention-Mechanismen zu überwinden und so eine qualitativ hochwertige langfristige Videogenerierung bei signifikant reduziertem Speicherverbrauch zu ermöglichen.

Ursprüngliche Autoren: Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuta Oshima, Shohei Taniguchi, Masahiro Suzuki, Yutaka Matsuo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „Stau“ in der Video-KI

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, einen Film zu zeichnen, Frame für Frame. Um den Film flüssig und logisch aussehen zu lassen, muss der Roboter sich daran erinnern, was in den vorherigen Frames passiert ist, und vorhersagen, was als Nächstes kommt.

Aktuelle KI-Modelle (genannt Diffusionsmodelle) sind darin großartig, aber sie haben einen massiven Engpass, wenn es darum geht, lange Videos zu erstellen. Sie nutzen einen Mechanismus namens Attention (Aufmerksamkeit). Stellen Sie sich Attention wie einen Bibliothekar vor, der jedes einzelne Buch in einer Bibliothek lesen muss, um das eine Buch zu finden, das Sie benötigen.

Kurzes Video (16 Frames): Die Bibliothek ist klein. Der Bibliothekar findet das Buch schnell.
Langes Video (256 Frames): Die Bibliothek ist riesig. Der Bibliothekar muss jedes Buch gegen jedes andere Buch prüfen, um Verbindungen zu finden. Die Arbeit verdoppelt sich nicht nur, sie vervierfacht sich. Dies erzeugt einen „Verkehrsstau“ im Speicher und in der Rechenleistung des Computers, was die Erstellung langer Videos sehr teuer und langsam macht.

Die Lösung: Die „State-Space“-Expressspur

Die Autoren dieser Arbeit schlagen einen neuen Weg vor, um den „Gedächtnis“-Teil der KI zu handhaben, indem sie den Bibliothekar durch ein State-Space-Modell (SSM) austauschen, speziell einen Typ namens Mamba.

Betrachten Sie das SSM eher als einen Hochgeschwindigkeitszug statt eines Bibliothekars.

Anstatt die gesamte Geschichte jedes Mal neu zu lesen, trägt der Zug eine „Zusammenfassung“ dessen bei sich, wo er gewesen ist.
Während er zur nächsten Station (dem nächsten Videoframe) fährt, aktualisiert er seine Zusammenfassung einfach basierend auf der neuen Station.
Das Ergebnis: Egal, ob der Zug 16 Meilen oder 256 Meilen weit fährt, der Zeitaufwand und der Treibstoffverbrauch (Rechenaufwand) steigen in einer geraden, vorhersehbaren Linie an. Es explodiert nicht wie beim Bibliothekar-Verfahren in den Kosten.

Was sie tatsächlich getan haben

Die Forscher bauten einen Videogenerator und tauschten die „Attention“-Engine gegen diese neue „SSM“-Engine aus. Sie testeten dies an drei verschiedenen Video-Datensätzen:

MineRL Navigate: Ein Roboter, der sich in einer Minecraft-ähnlichen Welt bewegt.
GQN-Mazes: Ein Roboter, der 3D-Labyrinthe löst.
CARLA-Town01: Eine Simulation für selbstfahrende Autos.

Sie testeten Videos, die von kurzen Clips (16 Frames) bis hin zu langen Sequenzen (256 Frames) reichten.

Die wichtigsten Erkenntnisse

1. Der Gewinner bei langen Videos
Bei der Erzeugung kurzer Videos (16 Frames) lagen die neue SSM-Methode und die alte Attention-Methode Kopf an Kopf. Sobald sie jedoch versuchten, lange Videos (256 Frames) zu generen, zog die SSM-Methode deutlich davon.

Analogie: Es ist wie der Vergleich zwischen einem Fahrrad und einem Sportwagen auf einer kurzen Einfahrt (beide sind okay). Aber auf einer 200 Meilen langen Autobahn bringt Sie der Sportwagen (SSM) schneller ans Ziel und verbraucht weniger Benzin, während das Fahrrad (Attention) erschöpft wird und langsamer wird.
Der Beweis: Die SSM-Modelle erzeugten hochwertigere Videos (gemessen an einem Score namens FVD) bei gleichzeitig weniger Speicherbedarf und weniger Zeitaufwand als die Attention-Modelle.

2. Das Geheimrezept: Zweirichtungsverkehr und intelligentes Filtern
Die Forscher fanden heraus, dass der bloße Austausch des Motors nicht ausreichte; sie mussten ihn auf zwei spezifische Arten abstimmen, um die besten Ergebnisse zu erzielen:

Bidirektionalität (Zwei-Wege-Verkehr): Standard-SSMs schauen nur nach vorne (Vergangenheit zu Zukunft). Die Forscher ließen das Modell in beide Richtungen schauen (Vergangenheit und Zukunft).
- Analogie: Stellen Sie sich vor, Sie fahren ein Auto. Wenn Sie nur durch die Windschutzscheibe schauen, übersehen Sie vielleicht ein Auto, das von der Seite her einfährt. Indem Sie auch in den Rückspiegel (den Kontext der Zukunft) schauen, versteht die KI die gesamte Szene besser.
Selektive Scans (Intelligentes Filtern): Das Modell lernte, langweilige, repetitive Frames zu ignorieren und sich auf wichtige Änderungen zu konzentrieren.
- Analogie: Stellen Sie sich vor, Sie lesen einen Roman. Wenn 10 Seiten denselben leeren Flur beschreiben, überfliegen Sie diese. Aber wenn ein Charakter den Raum betritt, lesen Sie aufmerksam. Das SSM macht dies automatisch und hält sein „Gedächtnis“ für die wichtigen Momente frisch.

Das Fazente

Diese Arbeit beweist, dass es für die Erstellung von langen Videos eine klügere und effizientere Wahl ist, State-Space-Modelle (SSMs) anstelle der traditionellen Attention-Methode zu verwenden. Es ermöglicht Computern, längere, flüssigere Videos zu generieren, ohne dass extrem teure Hardware benötigt wird, und gibt Forschern im Wesentlichen einen „Cheat-Code“, um die Speicherlimits zu umgehen, die die Video-KI eine Zeit lang zurückgehalten haben.

Hinweis: Die Arbeit konzentriert sich strikt auf die technische Architektur und die Leistung bei spezifischen Datensätzen. Sie behauptet nicht, dass diese Modelle derzeit bereit für medizinische Diagnosen, Echtzeit-Sicherheit oder kommerzielle Filmproduktionen sind, sondern dass sie eine überlegene architektonische Wahl für die spezifische Aufgabe der langfristigen Videogenerierung darstellen.

Technisches Resümee: SSM trifft auf Video-Diffusionsmodelle

1. Problemstellung

Die Forschungsgemeinschaft hat sich zunehmend auf die Erweiterung von Diffusionsmodellen von der Bildgenerierung auf die Videogenerierung konzentriert. Während jüngste Video-Diffusionsmodelle (VDMs) beeindruckende Fähigkeiten demonstriert haben, verlassen sie sich überwiegend auf Attention-Mechanismen, um zeitliche Merkmale über Videoframes hinweg zu extrahieren. Eine kritische Einschränkung dieses Ansatzes ist, dass die Rechenkosten (Speicher und Zeit) der Attention-Schichten quadratisch ( $O(L^2)$ ) mit der Sequenzlänge $L$ skalieren.

Diese quadratische Skalierung stellt eine erhebliche Barriere für die Generierung langfristiger Videosequenzen dar. Folglich sind viele hochmoderne Methoden auf kurze Sequenzen beschränkt (z. B. 16 Frames, was etwa zwei Sekunden bei 8 fps entspricht). Während einige jüngste groß angelegte Modelle versuchen, längere Sequenzen zu adressieren, begrenzen praktische Speicher- und Rechenbeschränkungen oft die realisierbare Generierungslänge. Das Paper identifiziert die Notwendigkeit eines temporalen Merkmalsextraktors, der eine hohe generative Qualität beibehält und gleichzeitig eine lineare Rechenkomplexität bietet, um eine effiziente langfristige Videogenerierung zu ermöglichen.

2. Methodik

Die Autoren schlagen vor, die temporalen Attention-Schichten in Standard-Video-Diffusionsmodellen durch strukturierte Zustandsraummodelle (SSMs) zu ersetzen, wobei spezifisch die Mamba-Architektur verwendet wird.

Kernarchitektur

Baseline: Die Studie verwendet ein U-Net-basiertes Video-Diffusionsmodell (VDM) als Baseline. In Standard-VDMs sind räumliche Attention-Schichten mit temporalen Attention-Schichten verschachtelt, um Frame-zu-Frame-Abhängigkeiten zu erfassen.
Vorgeschlagene Modifikation: Die Autoren ersetzen die temporalen Attention-Schichten durch temporale SSM-Schichten, während die räumlichen Schichten (Konvolution und räumliche Attention) unverändert bleiben.
Bidirektionales Mamba: Im Gegensatz zu Standard-SSMs, die inhärent kausal (unidirektional) sind, verwendet die vorgeschlagene temporale Schicht einen bidirektionalen Mamba-Block. Dieser besteht aus zwei parallelen Zweigen:
- Einem Vorwärtszweig, der die Frames vom Anfang bis zum Ende verarbeitet.
- Einem Rückwärtszweig, der die Frames vom Ende bis zum Anfang verarbeitet.
- Die Ausgaben beider Zweige werden vor einer finalen linearen Projektion summiert. Dies ermöglicht es dem Modell, die temporale Dynamik zu erfassen, die von sowohl vergangenen als auch zukünftigen Frames abhängt.
Selektiver Scan (S6): Die Implementierung nutzt den selektiven Scan-Mechanismus, der in Mamba zu finden ist. Hierbei sind die Parameter, welche die Zustandsräume steuern ( $B$ , $C$ und der Diskretisierungsschritt $\Delta$ ), eingabebedingt. Dies ermöglicht es dem Modell, irrelevante Informationen selektiv zu verwerfen und essenzielle Informationen über längere Zeiträume hinweg zu bewahren, indem die Zustandsaktualisierung basierend auf dem Inhalt jedes Frames angepasst wird.
Komplexität: Durch die Nutzung von SSMs skalieren der Speicherbedarf und die Rechenzeit für die temporalen Schichten linear ( $O(L)$ ) mit der Sequenzlänge, im Gegensatz zur quadratischen Skalierung der Attention.

3. Zentrale Beiträge

Architektonischer Vorschlag: Das Paper präsentiert die erste Anwendung von bidirektionalen Mamba-Blöcken spezifisch auf die temporale Achse von Video-Diffusionsmodellen für die langfristige Generierung (≥256 Frames).
Effizienzanalyse: Es zeigt auf, dass SSM-basierte temporale Schichten eine vergleichbare oder überlegene generative Leistung im Vergleich zu Attention-basierten Schichten erzielen können, während sie die Rechenkosten (Speicher und Inferenzzeit) für lange Sequenzen signifikant reduzieren.
Ablations-Erkenntnisse: Die Studie liefert eine detaillierte Ablationsanalyse, die zeigt, dass:
- Bidirektionalität entscheidend ist; unidirektionale SSMs schneiden schlechter ab als Attention-basierte Baselines.
- Selektives Scannen essenziell ist; nicht-selektive SSMs (wie S4D) schneiden im Vergleich zu selektiven Varianten deutlich schlechter ab, wenn es darum geht, temporale Abhängigkeiten über lange Sequenzen hinweg zu erfassen.
Umfassende Evaluierung: Die Methode wird über mehrere Datensätze (MineRL Navigate, GQN-Mazes, CARLA-Town01) und verschiedene Modellgrößen (von ~14M bis ~913M Parametern) sowie Sequenzlängen (16, 64 und 256 Frames) evaluiert.

4. Experimentelle Ergebnisse

Die Experimente wurden auf drei Datensätzen durchgeführt:

MineRL Navigate: 1.186 Videos (Minecraft-Umgebung).
GQN-Mazes: 108.200 Videos (3D-Labyrinth-Simulator).
CARLA-Town01: 508 Videos (Fahrsimulator).

Wichtigste Erkenntnisse:

Kurze Sequenzen (16–64 Frames): SSM-basierte Modelle erreichen eine generative Leistung (gemessen am Fréchet Video Distance, FVD), die unter denselben Rechenbeschränkungen vergleichbar mit Attention-basierten Modellen ist.
Lange Sequenzen (256 Frames): SSM-basierte Modelle übertreffen Attention-basierte Modelle signifikant. Unter identischen Speicher- und Zeitbeschränkungen erreichen SSM-Modelle einen niedrigeren FVD (bessere Qualität).
Ressourceneffizienz: Für 256-Frame-Sequenzen demonstrierte der SSM-basierte Ansatz eine etwa 1,56-mal schnellere Inferenz und einen etwa 1,56-mal geringeren Speicherverbrauch im Vergleich zu Attention-basierten Gegenstücken gleicher Größe.
Skalierungsverhalten: Während Speicherbedarf und Inferenzzeit für Attention-Modelle quadratisch mit der Sequenzlänge steigen, weisen SSM-basierte Modelle nur einen linearen Anstieg auf.
Ablationsergebnisse: Auf dem MineRL 256-Frame-Datensatz erreichte der vollständige bidirektionale selektive-Scan-SSM einen FVD von 381, verglichen mit 458 für einen nicht-selektiven SSM und 610 für einen unidirektionalen SSM.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Nutzung von SSMs als temporale Merkmalsextraktoren eine höhere generative Leistung bei gleichen Rechenkosten im Vergleich zu Attention-basierten Methoden ermöglicht, insbesondere für langfristige Sequenzen.

Zugänglichkeit: Durch die Reduzierung der Rechenbarriere für die langfristige Videogenerierung ermöglicht dieser Ansatz Institutionen mit begrenzten Rechenressourcen, an der Spitzenforschung zur Videogenerierung teilzunehmen.
Architektonische Überlegenheit: Die Studie legt nahe, dass die Wahl der temporalen Architektur entscheidend ist; der bloße Ersatz von Attention durch ein naives SSM reicht nicht aus. Die Kombination aus Bidirektionalität und selektivem Scannen ist notwendig, um die Leistung von Attention-Mechanismen in der Videogenerierung zu erreichen oder zu übertreffen.
Zukünftiges Potenzial: Die Autoren merken an, dass ihr temporaler SSM-Block ein "Drop-in-Replacement" für das temporale Self-Attention ist. Dies impliziert, dass er mit anderen bestehenden Strategien (z. B. Latent Diffusion, kaskadierte Pipelines oder autoregressive Generierung) kombiniert werden kann, um die Generierung langer Sequenzen weiter zu verbessern, ohne die zugrunde liegende Komplexität der temporalen Mixing-Schicht zu verändern.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und räumen ein, dass ihre Experimente auf eine räumliche Auflösung von 32×32 fixiert waren, um temporale Effekte zu isolieren, und dass Metriken wie FVD für sehr lange Sequenzen (≥512 Frames) aufgrund des Pretrainings des I3D-Backbones auf kurzen Clips weniger zuverlässig werden könnten. Sie identifizieren die Skalierung auf höhere Auflösungen und die Entwicklung besserer Evaluierungsprotokolle für lange Horizonte als notwendige zukünftige Arbeiten.