💻 computer science

DCVC-MB: Neural B-Frame Video Compression using State Space Models

Dieses Paper stellt DCVC-MB vor, ein Framework zur neuronalen Videokompression für B-Frames, das Zustandsraummodelle für die bidirektionale Vorhersage und einen entropiebewussten Skipping-Mechanismus nutzt, um im Vergleich zu bestehenden neuronalen Codecs sowie traditionellen Standards wie VTM signifikante Bitratenreduzierungen zu erreichen.

Ursprüngliche Autoren: Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

Veröffentlicht 2026-07-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arjun Arora, Calvin-Khang Ta, Carlos Restrepo-Galeano, Kruthi Murali, Naga Akhil E S, Arunkumar Mohananchettiar, Jay Shingala, Tong Shao, Peng Yin, Sean McCarthy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen massiven High-Definition-Film über eine langsame Internetverbindung an einen Freund zu senden. Wenn Sie einfach jeden einzelnen Frame als separates Bild senden würden, wäre die Datei riesig und Ihr Freund müsste ewig warten. Dies ist das tägliche Problem der Videokompression: wie man Videodateien auf eine handliche Größe schrumpft, ohne dass sie wie ein verschwommenes Durcheinander aussehen. Jahrzehntelang haben Ingenieure dies gelöst, indem sie einen „Keyframe“ (ein vollständiges Bild) und dann nur die Änderungen für die nächsten Frames senden, wie etwa einen „P-Frame“, der sagt: „Der Hintergrund blieb gleich, aber der Typ hat seinen Arm bewegt.“

Aber es gibt einen klügeren Weg, der in traditionellen Videoplayern namens „B-Frame“ verwendet wird. Anstatt nur in die Vergangenheit zu schauen, um die Zukunft zu erraten, schaut ein B-Frame sowohl in die Vergangenheit als auch in die Zukunft, um genau zu verstehen, was in der Mitte passiert. Es ist, als würde man versuchen, den Plot einer Filmszene zu erraten, indem man gleichzeitig das Kapitel vor der Szene und das Kapitel danach liest. Während dies Wunder bei der Platzersparnis bewirkt, war es unglaublich schwierig, Computer dazu zu bringen, dies zu tun. Frühere Versuche führten entweder dazu, dass das Gehirn des Computers vor lauter Mathematik explodierte, oder sie scheiterten daran, die Informationen aus der Zukunft effektiv zu nutzen. Dieses Paper taucht in diese spezifische Ecke der Informatik ein – die neuronale Videokompression – um zu sehen, ob wir der KI endlich beibringen können, diese „in beide Richtungen blickenden“ Frames effizient zu nutzen.

Die große Idee des Papers: Der KI beibringen, in beide Richtungen zu schauen

Die Forscher hinter DCVC-MB (was für DCVC-Mamba steht) haben ein neues Videokompressionssystem entwickelt, das endlich „B-Frames“ gut mit moderner KI kompatibel macht. Stellen Sie sich ihren Ansatz wie die Aufrüstung einer Einbahnstraße zu einer zweispurigen Superautobahn für Videodaten vor.

Das Problem mit dem alten Weg
Die meisten aktuellen KI-Videocodecs sind wie ein Autofahrer, der nur in den Rückspiegel schaut. Sie verwenden nur „P-Frames“, die die Vergangenheit nutzen, um die Gegenwart vorherzusagen. Sie ignorieren die „B-Frames“ (die sowohl die Vergangenheit als auch die Zukunft berücksichtigen), weil die Mathematik, die erforderlich ist, um gleichzeitig in beide Richtungen zu schauen, für Computer meist zu schwerfällig ist, insbesondere bei hohen Auflösungen wie 1080p. Frühere Versuche, KI für dies einzusetzen, stützten sich auf „Transformer“, einen Typ von Modell, der exponentiell langsamer und speicherhungriger wird, je größer das Video wird. Es ist, als würde man versuchen, eine Bibliothek zu organisieren, indem man jedes einzelne Buch liest, um ein einziges Wort zu finden; das funktioniert für ein kleines Regal, versagt aber bei einer ganzen Stadt.

Die Lösung: Die „Mamba“-Magie
Die Autoren führten eine neue Engine namens Mamba ein (ein Typ eines State Space Models). Wenn Transformer wie ein langsamer, schwerer Lkw sind, der im Stau stecken bleibt, wenn die Straße länger wird, dann ist Mamba ein flinker E-Scooter, der mit konstanter Geschwindigkeit durchrauscht, egal wie lang die Straße ist.

Wie es funktioniert: Das System nimmt einen Frame aus der Vergangenheit ( $t-1$ ) und einen Frame aus der Zukunft ( $t+1$ ) und führt sie zusammen, um den mittleren Frame ( $t$ ) perfekt zu rekonstruieren.
Die Innovation: Sie nutzten Mamba, um diese Fusion durchzuführen. Da Mamba effizient ist, kann es hochauflösende Videos (720p und 1080p) verarbeiten, ohne dass der Computerspeicher überläuft – etwas, das frühere „Transformer“-Methoden nicht leisten konnten.

Der „Skip“-Trick
Um das System noch schneller zu machen, fügten sie ein cleveres, „faules“ Feature namens Adaptive Latent Skipping hinzu.

Die Analogie: Stellen Sie sich vor, Sie beschreiben einem Freund ein Gemälde. Wenn ein Teil des Gemäldes nur ein langweiliger, blauer Himmel ist, müssen Sie nicht jeden einzelnen Pixel davon beschreiben. Sie sagen einfach: „Es ist blau.“
Die Technik: Die KI betrachtet die Daten, die sie senden muss. Wenn ein Datenpaket „langweilig“ ist (statistisch vorhersagbar), überspringt sie das Senden komplett. Dies beeinträchtigt die Bildqualität kaum, verkürzt aber die Zeit für die Videokompression um etwa das 9-fache bei Standard-Frames und um das 5-fache bei komplexen B-Frames.

Die „Open“-Strategie
Sie haben auch angepasst, wie das Video in Stücke geschnitten wird. Traditionelle Methoden sperren das Video oft in starre Blöcke (Closed Group of Pictures). Die Autoren probierten eine „Open GoP“-Strategie aus, bei der der letzte Frame eines Blocks erlauben wird, einen Blick auf den ersten Frame des nächsten Blocks zu werfen. Es ist, als würde man einem Leser erlauben, einen Satz zu Ende zu lesen, der in den nächsten Absatz übergeht, was den Lesefluss verbessert und mehr Platz spart.

Was sie herausgefunden haben

Das Team testete ihr neues DCVC-MB-System gegen die aktuellen Goldstandards: den traditionellen VTM-19.0-Codec und die besten existierenden KI-Codecs (DCVC-DC und DCVC-FM).

Die Ergebnisse: Das neue System ist ein klarer Gewinner. Im Vergleich zu den bisher besten KI-Codecs reduzierte DCVC-MB die Dateigröße (gemessen als BD-Rate) um durchschnittlich 8,98 % bis 9,21 %.
Die Giganten besiegen: Im Vergleich zum leistungsstarken traditionellen VTM-19.0-Codec war das neue KI-System sogar noch beeindruckender. Es schlug die „Low Delay“-Version des traditionellen Codecs um 30,45 % und die „Random Access“-Version um 1,81 %.
Visuelle Qualität: In direkten Vergleichen bewahrte das neue System winzige Details (wie Falten auf einem Trikot oder die Textur einer Wand) viel besser als die alten KI-Methoden, selbst während es signifikant weniger Bits verwendete.

Was es nicht kann
Das Paper weist vorsichtig darauf hin, was nicht perfekt funktioniert. Das System hat manchmal Schwierigkeiten mit hochgradig animierten Inhalten oder Videos mit extrem schnellen, chaotischen Bewegungen, die nichts mit den natürlichen Videos zu tun haben, auf denen die KI trainiert wurde. In diesen spezifischen „Domain Gap“-Fällen kann die KI die Zukunft nicht korrekt erraten, was zu einer etwas schlechteren Qualität als bei den älteren, einfacheren Methoden führt.

Warum das wichtig ist

Dieses Paper legt nahe, dass wir nicht mehr zwischen „intelligenter“ KI-Kompression und „schneller“ Kompression wählen müssen. Durch die Nutzung der effizienten Mamba-Architektur haben die Autoren gezeigt, dass wir endlich die leistungsstarke „In beide Richtungen schauen“-Strategie (B-Frame) in neuronalen Netzen anwenden können, ohne den Computer zu überlasten. Sie haben es nicht nur vorgeschlagen, sondern gemessen und damit bewiesen, dass ihre Methode signifikant Platz und Zeit spart – ein Schritt näher an der Möglichkeit, hochqualitative Videos selbst über die langsamsten Verbindungen zu streamen.

Technisches Resümee: DCVC-MB: Neuronale B-Frame-Videokompression mittels State Space Models

Problemstellung

Während traditionelle Videocodecs (z. B. VVC, HEVC) signifikante Kompressionsgewinne durch bidirektionale Prädiktion (B-Frames) erzielen, haben sich bestehende Versuche für neuronale Videocodecs (NVCs) überwiegend auf unidirektionale P-Frame-Strukturen konzentriert. Bisherige Versuche, B-Frames in NVCs zu integrieren, scheiterten primär an zwei Problemen:

Ineffektive Fusion: Vorherige Methoden versäumten es, bidirektionale temporale Informationen effizient zu fusionieren, was oft zu einer schlechteren Leistung im Vergleich zu P-Frame-basierten Ansätzen führte.
Rechenkomplexität: Transformer-basierte Architekturen, die in der Lage sind, weitreichende Abhängigkeiten zu erfassen, skalieren quadratisch ( $O(N^2)$ ) mit der Auflösung. Dies führt zu einem prohibitiven Speicherverbrauch (Überschreitung der VRAM-Limits) und hohen Rechenkosten bei hohen Auflösungen (720p, 1080p), was sie für den realen Einsatz unpraktikabel macht.

Methodik

Die Autoren schlagen DCVC-MB (DCVC-Mamba) vor, ein neuronales Videocodec-Framework, das speziell für die B-Frame-Kodierung unter Verwendung von State Space Models (SSMs) entwickelt wurde. Die Architektur baut auf dem DCVC-DC-Framework auf, führt jedoch grundlegende Änderungen ein, um den gleichzeitigen Zugriff auf vergangene und zukünftige temporale Informationen zu ermöglichen.

Kernkomponenten der Architektur

Bidirektionale Feature-Fusion via Mamba:
- Im Gegensatz zu früheren Modellen, die nur einen Decoded Picture Buffer (DPB) aus der Vergangenheit nutzen, pflegt DCVC-MB zwei DPBs: einen aus dem vergangenen Frame ( $X_{t-1}$ ) und einen aus dem zukünftigen Frame ( $X_{t+1}$ ).
- Diese Features werden mittels eines Bidirectional Mamba Blocks (BMB) fusioniert. Die Mamba-Architektur bietet eine lineare Komplexität ( $O(N)$ ) im Vergleich zur quadratischen Komplexität von Transformern, was eine effiziente Verarbeitung bei hohen Auflösungen ermöglicht.
- Der Fusionsprozess umfasst das Konkatenieren der Referenzframes, deren Einbettung via 2D-CNN, die Tokenisierung und die Verarbeitung der Sequenz durch das SSM. Das SSM modelliert Systemdynamiken mittels einer diskretisierten gewöhnlichen Differentialgleichung (ODE) mit lernbaren Parametern ( $A, B, C$ ).
- Um komplexe bidirektionale Abhängigkeiten zu erfassen, verwendet das Modell eine Spatial-First Bidirectional Methode, die Tokens in sowohl vorwärts als auch rückwärts gerichteten Zeilen-Scan-Verfahren verarbeitet und die Ausgaben summiert.
Adaptives Latent Skipping:
- Um die Entropiekodierungszeit zu reduzieren, nutzt das Framework einen Mechanellen des adaptiven Latent Skipping. Anstatt eines festen Schwellenwerts wird eine relative Schwellenwertstrategie basierend auf der Standardabweichung ( $\sigma$ ) der Latentelemente innerhalb eines Frames verwendet.
- Latente mit $\sigma_i < \text{mean}(\sigma)$ werden übersprungen (durch einen Mittelwert ersetzt), während andere kodiert werden. Dies reduziert die Entropiekodierungszeit um etwa das 9-fache für P-Frames und um das 5-fache für B-Frames, ohne eine asymmetrische Berechnung zu verursachen.
Kanonische Positions-Einbettung (Canonical Position Embedding):
- Um die Auflösungs-Diskrepanz zwischen Training (256 $\times$ 256) und Inferenz (bis zu 1080p) zu adressieren, ersetzen die Autoren die Standard-Pixelkoordinaten-Einbettung durch Canonical Position Embeddings.
- Räumliche Koordinaten werden auf eine kanonische Bildebene ( $x, y \in [0, 1]$ ) statt auf Rohpixelwerte normiert. Dies stellt sicher, dass die Positionsharmonischen über verschiedene Auflösungen hinweg konsistent bleiben und ein Overfitting an die Trainingsauflösung verhindert wird.
Optimierungen zur Inferenzzeit:
- Open GoP: Ermöglicht es dem letzten B-Frame einer Group of Pictures (GoP), auf den I-Frame des nachfolgenden GoP zu referenzieren, was zeitlich nähere Referenzen bereitstellt.
- Bidirektionale Kodierung: Kodiert ungerade indizierte GoPs sowohl in Vorwärts- als auch in Rückwärtsrichtung und wählt das Ergebnis mit den geringeren Rate-Distortion-Kosten aus. Gerade indizierte GoPs nutzen eine geschlossene Konfiguration, um die lineare Komplexität beizubehalten.

Wesentliche Beiträge

Neuartige Architektur: Einführung einer bidirektionalen Feature-Fusionsarchitektur basierend auf State Space Models (Mamba), die eine effiziente B-Frame-Kodierung bei hohen Auflösungen ermöglicht, wo Transformer-basierte Ansätze aufgrund von Speicherbeschränkungen scheitern.
IBP-Frame-Strategie: Implementierung eines Basis-Modells für die neuronale Kompression, das Random Access (RA) Videokodierung mittels IBP-Frame-Reihenfolge unterstützt.
Effizienzmechanismen: Entwicklung einer adaptiven, entropiebasierten Latent-Skipping-Technik zur Beschleunigung der Entropiekodierung sowie die Integration von Inferenzzeit-Strategien (Open GoP und Bidirektionale Kodierung) zur Steigerung der Kompressionsleistung.
Generalisierung der Auflösung: Verwendung von kanonischen Positions-Einbettungen, um eine effektive Generalisierung von niedrig aufgelösten Trainingsdaten auf hochaufgelöste Inferenzdaten zu gewährleisten.

Experimentelle Ergebnisse

Die Methode wurde auf Standard-Datensätzen (HEVC, UVG, MCL-JCV) unter Verwendung der RGB BT.709-Konvertierung evaluiert und gegen VTM-19.0 (LDP und RA Konfigurationen) sowie State-of-the-Art NVCs (DCVC-DC, DCVC-FM) verglichen.

Performance vs. Traditionelle Codecs: DCVC-MB erreicht BD-Rate-Reduktionen von bis zu 30,45 % gegenüber VTM-19.0-LDP und 1,81 % gegenüber VTM-19.0-RA (Inter-GoP=16).
Performance vs. Neuronale Codecs: Das Modell zeigt durchschnittliche BD-Rate-Reduktionen von 8,98 % im Vergleich zu vorherigen neuronalen Videocodecs (speziell DCVC-FM) und 20,19 % gegenüber dem stärkeren VTM-19.0-RA Benchmark.
Effizienz: Die lineare Skalierung des Mamba-Fusionsmodells ermöglicht es, die vollständige B-Frame-Pipeline bei 1080p in 13,8 GB VRAM zu betreiben, während eine vergleichbare Transformer-Architektur über 40 GB beanspruchen würde.
Ablationsstudien: Experimente bestätigen, dass das Mamba-Fusionsmodell den Großteil der BD-Rate-Gewinne ausmacht ( $-4,55 \%$ ), wobei die Inferenzzeit-Strategien additive Verbesserungen liefern. Kanonische Positions-Einbettungen erwiesen sich als entscheidend für die Generalisierung auf ungesehene Auflösungen.

Bedeutung und Behauptungen

Das Paper behauptet, dass DCVC-MB einen bedeutenden Fortschritt in der neuronalen Videokompression darstellt, indem es erfolgreich die Lücke zwischen der Kompressionsleistung von bidirektionaler Prädiktion und der rechnerischen Machbarkeit von Deep-Learning-Modellen schließt.

Die Autoren stellen fest, dass:

Skalierbarkeit: Durch die Nutzung von Mamba erreicht das Framework eine praktische B-Frame-Kodierung bei hohen Auflösungen (720p, 1080p) und überwindet damit die Speicherengpässe, die bisherige bidirektionale NVCs limitierten.
Wettbewerbsfähigkeit: DCVC-MB ist der erste NVC, der die stärkere VTM-19.0-RA Konfiguration übertrifft, was zeigt, dass neuronale Ansätze nun in der Lage sind, mit oder sogar besser als führende traditionelle Codecs in Random-Access-Szenarien abzuschneiden.
Praktikabilität: Durch adaptives Latent Skipping und Optimierungen zur Inferenzzeit balanciert die Methode hohe Kompressionsleistung mit reduzierten Kodierungs- und Dekodierungszeiten aus und bringt die neuronale Videokompression näher an den praktischen Einsatz.

Die Autoren räumen Einschränkungen ein und merken an, dass die Performance bei spezifischen Datensätzen (z. B. MCL-JCV) aufgrund von Domänenunterschieden zwischen Trainingsdaten (natürliches Video) und Testdaten (z. B. animierter Inhalt mit drastischer Bewegung) abfallen kann sowie dass die YUV420-Optimierung im Vergleich zu RGB-Training weiterhin eine Herausforderung darstellt.