💻 computer science

BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

Dieser Beitrag stellt BVI-Mamba vor, ein neuartiges Framework zur Videoverbesserung, das ein Visual State-Space (VSS)-Modell nutzt, um effizient Rauschen, geringen Kontrast und Farbungleichgewichte in Videos bei schwachem Licht und unter Wasser zu beheben und dabei die Rechenressourcen im Vergleich zu bestehenden Transformer- und Faltungs-basierten Methoden erheblich zu reduzieren.

Ursprüngliche Autoren: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

Veröffentlicht 2026-04-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen Film anzusehen, doch der Bildschirm ist von Nebel bedeckt, die Farben sind ausgewaschen und das Bild wackelt. Genau das passiert, wenn Kameras versuchen, in sehr dunklen Orten (wie einer Höhle bei Nacht) oder unter Wasser (wo Licht gestreut und absorbiert wird) aufzunehmen. Das resultierende Video ist oft körnig, unscharf und schwer zu verstehen.

Die Arbeit stellt ein neues Werkzeug namens BVI-Mamba vor, um diese unordentlichen Videos zu reparieren. Denken Sie daran wie an einen „intelligenten Video-Restaurierer", der eine neue Art von künstlicher Intelligenz nutzt, um das Filmmaterial schnell und effizient zu bereinigen.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Der „schwere Rucksack" alter KI

Früher erforderte die Reparatur dieser Videos KI-Modelle, die wie schwere Rucksäcke waren. Sie waren sehr leistungsfähig, benötigten jedoch viel Speicherplatz und Zeit zum Ausführen, insbesondere für Videos (die nur eine lange Abfolge von Bildern sind).

Alte Methoden waren wie der Versuch, einen ganzen Film zu reparieren, indem man sich ein einzelnes Bild nach dem anderen ansieht, oder indem man einen riesigen, langsam bewegenden Roboter verwendet, um Bilder zu vergleichen.
Die neue Methode (BVI-Mamba) ist wie ein leichter, agiler Läufer. Sie nutzt eine neue Art von KI-Architektur namens „Visual State Space" (oder Mamba). Dies ermöglicht es ihr, lange Videosequenzen zu verarbeiten, ohne müde zu werden oder einen massiven Computer zu benötigen.

2. Der Zwei-Schritte-Prozess: Ausrichten und Polieren

Das BVI-Mamba-System arbeitet in zwei Hauptphasen, wie ein Zwei-Personen-Team, das ein schmutziges Fenster reinigt:

Schritt 1: Die „stabile Hand" (Merkmalsausrichtung)
Wenn Sie im Dunkeln oder unter Wasser filmen, kann Ihre Hand zittern oder sich das Motiv bewegen. Dies führt dazu, dass das Video zittert oder „geisterhaft" aussieht, wenn Sie versuchen, Bilder zu kombinieren, um es klarer zu machen.

Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Kartendeck zu stapeln, bei dem alle Karten leicht verschoben sind. Wenn Sie sie einfach zusammenkleben, ist das Bild unscharf.
Was BVI-Mamba tut: Es fungiert wie ein superpräziser Kartenschüttler. Bevor es versucht, das Bild zu reinigen, betrachtet es die „Merkmale" (Formen und Kanten) der Videobilder und richtet sie im digitalen Raum perfekt aus. Es verwendet ein spezielles „Pyramiden"-System, um große Bewegungen und kleine Details zu handhaben, und stellt sicher, dass die Bilder übereinstimmen, damit das Video nicht flackert.

Schritt 2: Der „magische Polierer" (Verbesserung)
Sobald die Bilder ausgerichtet sind, muss das System die Dunkelheit, das Rauschen und die Farben beheben.

Die Analogie: Denken Sie an eine Standard-KI als Pinsel, der nur weiß, wie man kleine, lokale Stellen malt. Es hat Schwierigkeiten, das „große Ganze" des gesamten Raums zu erkennen.
Was BVI-Mamba tut: Es ersetzt den Pinsel durch einen Laser-Scanner (genannt Visual State Space-Block). Dieser Scanner kann einen winzigen Staubfleck und den gesamten Raum gleichzeitig betrachten. Er versteht, wie das Licht durch die gesamte Szene wandert. Dies ermöglicht es ihm, den „Schnee" (Rauschen) zu entfernen, dunkle Bereiche aufzuhellen und die seltsamen blau/grünen Farbstiche von Unterwasseraufnahmen viel besser zu korrigieren als ältere Methoden.

3. Warum es besser ist (Die Ergebnisse)

Die Autoren testeten diesen neuen „Läufer" gegen die alten „schweren Rucksäcke" (Modelle, die auf CNNs und Transformern basieren).

Das Rennen: In Tests mit realen Datensätzen für Videos bei schwachem Licht und unter Wasser gewann BVI-Mamba.
Die Punktzahl: Es erzeugte klarere Bilder mit höheren „Signal-zu-Rausch"-Verhältnissen (weniger Körnung) und besserer struktureller Ähnlichkeit (die Formen sahen natürlicher aus).
Die Effizienz: Es tat dies unter Verwendung von weniger Computerspeicher und Zeit. Es ist nicht nur ein besserer Reiniger, sondern auch ein schnellerer.

4. Die Unterwasser-Herausforderung

Unterwasservideos sind knifflig, weil Wasser wie ein Filter wirkt, der rotes Licht verschluckt und blaues Licht streut, wodurch alles grün oder blau aussieht.

Da es keine „perfekten" Unterwasservideos zum Vergleichen gibt (keine „Wahrheit"), nutzte das Team einen cleveren Trick. Sie trainierten die KI zunächst mit klaren, dunklen Landvideos. Dann, bevor sie ihr Unterwasseraufnahmen zuführten, gaben sie der KI eine „Farbkorrekturbrille" (chromatische Anpassung), um den Weißabgleich anzupassen.
Das Ergebnis? Die KI entfernte erfolgreich den trüben blauen Dunst und brachte Details hervor, die zuvor unsichtbar waren, und übertraf andere spezialisierte Unterwasserwerkzeuge.

Zusammenfassung

BVI-Mamba ist ein neues Video-Verbesserungswerkzeug, das ein „leichtes" KI-Gehirn nutzt, um wacklige, dunkle und trübe Videos zu reparieren. Anstatt sich mit schweren Berechnungen zu quälen, richtet es die Bilder perfekt aus und verwendet dann eine intelligente Scan-Technik, um das Bild zu reinigen. Die Arbeit behauptet, dass es schneller ist, weniger Speicher benötigt und klarere Ergebnisse liefert als frühere KI-Methoden sowohl für dunkle Umgebungen als auch für Unterwasserszenen.

1. Problemstellung

In schwach beleuchteten und unterwasser Umgebungen aufgezeichnete Videos leiden unter schweren Qualitätsmängeln, darunter:

Probleme bei schwacher Beleuchtung: Rauschen, geringer Kontrast, Farbungleichgewichte und Bewegungsunschärfe (verursacht durch langsame Verschlusszeiten oder hohe ISO-Werte).
Probleme unter Wasser: Lichtstreuung und -absorption, die zu Unschärfe, Halo-Effekten, Farbverzerrungen und reduziertem Kontrast führen.

Diese Mängel beeinträchtigen sowohl die ästhetische Qualität als auch die Leistung nachgelagerter Computer-Vision-Aufgaben (z. B. Objekterkennung, Verfolgung). Obwohl KI-basierte Bildverbesserung existiert, bleibt die Videoverbesserung aufgrund folgender Faktoren herausfordernd:

Zeitliche Inkonsistenz: Flackern und Helligkeitsschwankungen zwischen den Einzelbildern.
Rechenkosten: Bestehende Deep-Learning-Methoden (CNNs, Transformer) sind rechenintensiv und speicherhungrig, was eine Echtzeitverarbeitung erschwert.
Datenknappheit: Ein Mangel an groß angelegten, gepaarten Trainingsdatensätzen, insbesondere für Unterwasserszenarien.

2. Methodik: BVI-Mamba

Die Autoren schlagen BVI-Mamba vor, ein neuartiges Framework, das traditionelle Faltungs- und Transformer-Blöcke durch Visuelle Zustandsraummodelle (VSS) ersetzt, um eine lineare rechnerische Komplexität bei gleichzeitiger Aufrechterhaltung hoher Leistung zu erreichen. Die Architektur folgt einer zweistufigen Pipeline:

A. Feature-Ausrichtungsmodul

Um zeitliche Konsistenz zu gewährleisten und Flackern zu verhindern, richtet das Modell mehrere Eingabeframes vor der Verbesserung aus.

Mechanismus: Es wird ein Pyramid, Cascading, and Deformable (PCD)-Ausrichtungsmodul (angepasst von EDVR) verwendet, das mit einer Temporal and Spatial Attention (TSA)-Fusion integriert ist.
Funktion: Es registriert die raumzeitliche Verschiebung zwischen den Frames im Merkmalsraum, extrahiert und verarbeitet zeitliche Details, um die Konsistenz über aufeinanderfolgende Frames hinweg aufrechtzuerhalten.

B. Verbesserungsmodul

Dieses Modul führt Rauschunterdrückung und Helligkeitsanpassung unter Verwendung einer UNet-ähnlichen Architektur durch.

Kerninnovation: Alle Standard-Faltungsschichten und Swin-Transformer-Blöcke werden durch Visuelle Zustandsraum (VSS)-Blöcke ersetzt.
VSS-Block-Struktur:
- Basierend auf dem Mamba-Framework, das speziell den 2D-Selective-Scan (SS2D)-Mechanismus nutzt.
- SS2D-Prozess: Eingabepatches werden entlang vier Richtungen (Links-Rechts, Oben-Unten, Rechts-Links, Unten-Oben) in Sequenzen entfaltet, durch ein Selective State Space Model (SSM) verarbeitet und die Ergebnisse werden zusammengeführt.
- Vorteil: Im Gegensatz zu CNNs (begrenztes rezeptives Feld) oder Transformern (quadratische Komplexität) erfassen VSS-Blöcke sowohl lokale Details als auch langreichweitige globale Abhängigkeiten mit linearer rechnerischer Komplexität.
Mathematische Formulierung: Der VSS-Block in der Schicht $l$ ist definiert als:
$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$
$h_{l+1} = FFN(LN(h_l)) + h_l$
(Wobei $LN$ die Schichtnormalisierung und $FFN$ ein Feed-Forward-Netzwerk ist.)

3. Hauptbeiträge

Erste Anwendung von Mamba auf Videos mit schwacher Beleuchtung: Das Paper stellt das erste Framework vor, das das Visuelle Zustandsraummodell (VSS) auf die Video-Verbesserung anwendet (bisher auf Bilder beschränkt), speziell für Szenarien mit schwacher Beleuchtung und unter Wasser.
Effiziente Architektur: Durch den Ersatz schwerer Transformer-Blöcke durch VSS-Blöcke erreicht BVI-Mamba eine lineare rechnerische Komplexität, was den Speicherverbrauch und die Inferenzzeit im Vergleich zu CNN- und Transformer-basierten Gegenstücken erheblich reduziert.
Robuste zeitliche Ausrichtung: Die Integration der PCD-Ausrichtung mit der VSS-Verbesserung gewährleistet eine hohe zeitliche Konsistenz und wirkt effektiv dem Flackern und den Helligkeitsschwankungen entgegen, die bei der Videoverbesserung üblich sind.
Unterwasser-Anpassung: Das Framework umfasst einen Vorverarbeitungsschritt unter Verwendung von chromatischer Anpassung, um schwere Farbungleichgewichte in Unterwasserdaten zu adressieren und den Mangel an Ground-Truth in Unterwasserdatensätzen auszugleichen.

4. Experimentelle Ergebnisse

Das Modell wurde an drei Datensätzen evaluiert: DID (Schwache Beleuchtung), BVI-RLV (Schwache Beleuchtung) und BVI-Coral (Unterwasser).

Quantitative Leistung (Schwache Beleuchtung):
- Auf dem BVI-RLV-Datensatz erreichte BVI-Mamba einen PSNR von 22,93 und einen SSIM von 0,820 und übertraf damit:
  - PCDUNet (CNN): PSNR 19,50, SSIM 0,757.
  - STA-SUNet (Transformer): PSNR 20,64, SSIM 0,765.
  - BVI-CDM (Diffusion): PSNR 22,20, SSIM 0,773.
- Es erzielte zudem den niedrigsten LPIPS (0,146), was eine überlegene wahrgenommene Ähnlichkeit mit der Ground-Truth anzeigt.
Qualitative Leistung:
- Visuelle Vergleiche zeigen, dass BVI-Mamba Rauschen effektiv reduziert, Details schärft und feine Texturen besser erhält als konkurrierende Methoden.
Unterwasser-Ergebnisse:
- Unter Verwendung eines auf BVI-RLV vortrainierten Modells, das mit chromatischer Anpassung adaptiert wurde, erzeugte BVI-Mamba visuell überlegene Ergebnisse im Vergleich zu Zero-TIG, korrigierte Farbstiche und verbesserte die Sichtbarkeit in Tiefseefootage.

5. Bedeutung

Paradigmenwechsel: Diese Arbeit zeigt, dass Zustandsraummodelle (SSMs) eine viable und überlegene Alternative zu Transformern für Videoverarbeitungsaufgaben darstellen und ein besseres Gleichgewicht zwischen Leistung und rechnerischer Effizienz bieten.
Praktischer Einsatz: Der reduzierte Speicherbedarf und die lineare Komplexität machen BVI-Mamba zu einem starken Kandidaten für den Einsatz auf Edge-Geräten oder in Echtzeit-Überwachungs- und autonomen Navigationssystemen, bei denen Ressourcen begrenzt sind.
Domänenerweiterung: Es überbrückt erfolgreich die Lücke zwischen fortschrittlichen generativen/diskriminierenden Modellen und herausfordernden physikalischen Umgebungen (schwache Beleuchtung/Unterwasser) und bietet eine robuste Lösung für kritische Anwendungen wie Unterwassererkundung und nächtliche Sicherheit.