💻 computer science

BVI-Mamba: Video Enhancement Using a Visual State-Space Model for Low-Light and Underwater Environments

Dit artikel introduceert BVI-Mamba, een nieuw raamwerk voor videoverbetering dat gebruikmaakt van een Visual State-Space (VSS)-model om efficiënt ruis, laag contrast en kleuronevenwicht in video's met weinig licht en onderwater te verhelpen, terwijl het de rekenkracht aanzienlijk verlaagt ten opzichte van bestaande Transformer- en convolutiegebaseerde methoden.

Oorspronkelijke auteurs: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

Gepubliceerd 2026-04-28

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Guoxi Huang, Ruirui Lin, Yini Li, David R. Bull, Nantheera Anantrasirichai

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een film te kijken, maar het scherm is bedekt met mist, de kleuren zijn uitgewassen en het beeld trilt. Dit is wat er gebeurt wanneer camera's proberen opnames te maken op zeer donkere plekken (zoals een grot 's nachts) of onder water (waar licht wordt verstrooid en geabsorbeerd). Het resulterende videobeeld is vaak korrelig, wazig en moeilijk te begrijpen.

Het artikel introduceert een nieuw hulpmiddel genaamd BVI-Mamba om deze rommelige video's te herstellen. Denk eraan als een "slimme videohersteller" die een nieuw type kunstmatige intelligentie-gebruikt om de beelden snel en efficiënt op te schonen.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Zware Rugzak" van Oude AI

Vroeger vereiste het herstellen van deze video's AI-modellen die als zware rugzakken fungeerden. Ze waren zeer krachtig, maar namen veel geheugen en tijd in beslag om te draaien, vooral voor video (wat niets anders is dan een lange reeks beelden).

Oude methoden waren als proberen een hele film te herstellen door één frame tegelijk te bekijken, of door een reusachtige, traag bewegende robot te gebruiken om frames te vergelijken.
De nieuwe methode (BVI-Mamba) is als een lichtgewicht, wendbare loper. Het maakt gebruik van een nieuw type AI-architectuur genaamd "Visual State Space" (of Mamba). Hierdoor kan het lange reeksen video verwerken zonder moe te worden of een enorme computer nodig te hebben.

2. Het Tweestapsproces: Uitlijnen en Polijsten

Het BVI-Mamba-systeem werkt in twee hoofdfases, zoals een team van twee personen dat een vuil raam schoonmaakt:

Stap 1: De "Stevige Hand" (Feature Alignment)
Wanneer je in het donker of onder water filmt, kan je hand trillen of kan het onderwerp bewegen. Dit zorgt ervoor dat de video trilt of "spookachtig" lijkt wanneer je probeert frames te combineren om het helderder te maken.

De Analogie: Stel je voor dat je probeert een stapel kaarten te leggen die allemaal iets verschoven zijn. Als je ze gewoon aan elkaar lijmt, is het beeld wazig.
Wat BVI-Mamba doet: Het fungeert als een superprecieze kaartenschuiver. Voordat het probeert het beeld te reinigen, kijkt het naar de "kenmerken" (de vormen en randen) van de videoframes en lijnt ze perfect uit in de digitale ruimte. Het gebruikt een speciaal "Pyramid"-systeem om grote bewegingen en kleine details te hanteren, zodat de frames overeenkomen en de video niet flikkert.

Stap 2: De "Magische Polijster" (Enhancement)
Zodra de frames zijn uitgelijnd, moet het systeem de duisternis, ruis en kleur herstellen.

De Analogie: Denk aan een standaard AI als een verfkwast die alleen weet hoe het kleine, lokale plekken moet verven. Het heeft moeite om het "totale plaatje" van de hele kamer te zien.
Wat BVI-Mamba doet: Het vervangt de verfkwast door een laserscanner (genaamd een Visual State Space-blok). Deze scanner kan tegelijkertijd kijken naar een klein stofje én de hele kamer. Het begrijpt hoe het licht door de hele scène reist. Hierdoor kan het de "sneeuw" (ruis) verwijderen, de donkere gebieden verhelderen en de vreemde blauw/groene tinten van onderwatervideo's veel beter herstellen dan oudere methoden.

3. Waarom Het Beter Is (De Resultaten)

De auteurs hebben deze nieuwe "loper" getest tegen de oude "zware rugzakken" (modellen gebaseerd op CNN's en Transformers).

De Wedstrijd: In tests met echte datasets van video's met weinig licht en onder water, won BVI-Mamba.
De Score: Het produceerde helderdere beelden met hogere "signaal-ruisverhoudingen" (minder korrel) en betere structurele gelijkenis (de vormen zagen er natuurlijker uit).
De Efficiëntie: Het deed dit terwijl het minder computergeheugen en tijd gebruikte. Het is niet alleen een betere reiniger; het is ook een snellere.

4. De Uitdaging Onder Water

Onderwatervideo is lastig omdat water werkt als een filter dat rood licht opslurpt en blauw licht verstrooit, waardoor alles groen of blauw lijkt.

Omdat er geen "perfecte" onderwatervideo's zijn om mee te vergelijken (geen "ground truth"), gebruikte het team een slimme truc. Ze trainden de AI eerst op heldere, donkere video's van land. Vervolgens, voordat ze onderwaterbeelden invoerden, gaven ze de AI een "kleurcorrectiebril" (chromatische adaptatie) om de witbalans aan te passen.
Het resultaat? De AI slaagde erin de troebele blauwe waas te verwijderen en details naar boven te halen die voorheen onzichtbaar waren, en presteerde beter dan andere gespecialiseerde onderwatertools.

Samenvatting

BVI-Mamba is een nieuw hulpmiddel voor videoverbetering dat een "lichtgewicht" AI-brein gebruikt om trillende, donkere en troebele video's te herstellen. In plaats van te worstelen met zware berekeningen, lijnt het de frames perfect uit en gebruikt het vervolgens een slimme scantechniek om het beeld op te schonen. Het artikel beweert dat het sneller is, minder geheugen gebruikt en helderdere resultaten oplevert dan eerdere AI-methoden, zowel voor donkere omgevingen als voor onderwaterscènes.

1. Probleemstelling

Video's die zijn opgenomen in donkere en onderwater omgevingen lijden aan ernstige kwaliteitsdegradaties, waaronder:

Donkere-problemen: Ruis, laag contrast, kleurongelijkheid en bewegingsonscherpte (veroorzaakt door langzame sluitertijden of hoge ISO).
Onderwater-problemen: Lichtverstrooiing en absorptie die leiden tot wazigheid, halo-effecten, kleurvervorming en verminderd contrast.

Deze degradaties ondermijnen zowel de esthetische kwaliteit als de prestaties van downstream computer vision-taken (bijv. objectdetectie, tracking). Hoewel AI-gebaseerde beeldverbetering bestaat, blijft video-verbetering uitdagend vanwege:

Temporale inconsistentie: Flikkering en helderheidsfluctuaties tussen frames.
Berekeningskosten: Bestaande deep learning-methoden (CNN's, Transformers) zijn rekenkundig duur en geheugenintensief, waardoor real-time verwerking moeilijk is.
Data-schaarste: Een gebrek aan grote, gepaarde trainingsdatasets, met name voor onderwaterscenario's.

2. Methodologie: BVI-Mamba

De auteurs stellen BVI-Mamba voor, een nieuw raamwerk dat traditionele convolutie- en Transformer-blokken vervangt door Visual State Space Models (VSS) om lineaire berekeningscomplexiteit te bereiken terwijl hoge prestaties behouden blijven. De architectuur volgt een tweestapsproces:

A. Feature Alignment Module

Om temporale consistentie te waarborgen en flikkering te voorkomen, aligneert het model meerdere invoerframes voordat het de verbetering uitvoert.

Mechanisme: Gebruikt een Pyramid, Cascading, and Deformable (PCD) alignatiemodule (aangepast van EDVR) geïntegreerd met Temporal and Spatial Attention (TSA)-fusie.
Functie: Registreert ruimtelijk-temporale verplaatsing tussen frames in de feature-ruimte, extraheren en verwerken van temporale details om consistentie te behouden over opeenvolgende frames.

B. Enhancement Module

Deze module voert ruisverwijdering en helderheidsaanpassing uit met behulp van een UNet-achtige architectuur.

Kerninnovatie: Alle standaard convolutielagen en Swin Transformer-blokken worden vervangen door Visual State Space (VSS)-blokken.
VSS-blokstructuur:
- Gebaseerd op het Mamba-raamwerk, met name gebruikmakend van het 2D-Selective-Scan (SS2D)-mechanisme.
- SS2D-proces: Ontvouwt invoerpatches tot sequenties langs vier richtingen (Links-Rechts, Boven-Onder, Rechts-Links, Onder-Boven), verwerkt ze via een Selective State Space Model (SSM) en voegt de resultaten samen.
- Voordeel: In tegenstelling tot CNN's (beperkt receptief veld) of Transformers (kwadratische complexiteit), vangen VSS-blokken zowel lokale details als langeafstands globale afhankelijkheden op met lineaire berekeningscomplexiteit.
Wiskundige formulering: Het VSS-blok in laag $l$ wordt gedefinieerd als:
$h_l = SS2D(LN(h_{l-1})) + h_{l-1}$
$h_{l+1} = FFN(LN(h_l)) + h_l$
(Waarbij $LN$ Layer Normalization is en $FFN$ een Feed-Forward Network.)

3. Belangrijkste Bijdragen

Eerste Toepassing van Mamba op Donkere Video: Het artikel introduceert het eerste raamwerk dat het Visual State Space (VSS)-model toepast op video-verbetering (voorheen beperkt tot afbeeldingen), specifiek gericht op donkere en onderwaterscenario's.
Efficiënte Architectuur: Door zware Transformer-blokken te vervangen door VSS-blokken, bereikt BVI-Mamba lineaire berekeningscomplexiteit, wat het geheugengebruik en de inferentietyd aanzienlijk verlaagt in vergelijking met CNN- en Transformer-gebaseerde tegenhangers.
Robuuste Temporale Alignatie: De integratie van PCD-alignatie met VSS-verbetering zorgt voor hoge temporale consistentie, waardoor flikkering en helderheidsfluctuaties die gebruikelijk zijn bij video-verbetering effectief worden tegengegaan.
Onderwater-aanpassing: Het raamwerk omvat een voorverwerkingsstap met chromatische aanpassing om ernstige kleurongelijkheden in onderwaterdata aan te pakken, wat het gebrek aan ground truth in onderwaterdatasets compenseert.

4. Experimentele Resultaten

Het model werd geëvalueerd op drie datasets: DID (Donker), BVI-RLV (Donker) en BVI-Coral (Onderwater).

Kwantitatieve Prestaties (Donker):
- Op de BVI-RLV-dataset behaalde BVI-Mamba een PSNR van 22,93 en een SSIM van 0,820, waarmee het de volgende modellen overtrof:
  - PCDUNet (CNN): PSNR 19,50, SSIM 0,757.
  - STA-SUNet (Transformer): PSNR 20,64, SSIM 0,765.
  - BVI-CDM (Diffusion): PSNR 22,20, SSIM 0,773.
- Het behaalde ook de laagste LPIPS (0,146), wat wijst op superieure perceptuele gelijkenis met de ground truth.
Kwalitatieve Prestaties:
- Visuele vergelijkingen tonen aan dat BVI-Mamba effectief ruis reduceert, details scherper maakt en fijne texturen beter behoudt dan concurrerende methoden.
Onderwater-resultaten:
- Met behulp van een model dat vooraf is getraind op BVI-RLV en aangepast met chromatische aanpassing, produceerde BVI-Mamba visueel superieure resultaten in vergelijking met Zero-TIG, waarbij kleurafwijkingen werden gecorrigeerd en de zichtbaarheid in diepzee-opnames werd verbeterd.

5. Betekenis

Paradigmaverschuiving: Dit werk toont aan dat State Space Models (SSM's) een levensvatbaar en superieur alternatief zijn voor Transformers voor videoverwerkingstaken, en een betere balans bieden tussen prestaties en rekenkundige efficiëntie.
Praktische Implementatie: Het verminderde geheugenvoetafdruk en de lineaire complexiteit maken BVI-Mamba een sterke kandidaat voor implementatie op randapparatuur of in real-time bewakingssystemen en autonome navigatiesystemen waar middelen beperkt zijn.
Domeinuitbreiding: Het slaagt erin de kloof te overbruggen tussen geavanceerde generatieve/discriminerende modellen en uitdagende fysieke omgevingen (donker/onderwater), en biedt een robuuste oplossing voor kritieke toepassingen zoals onderwaterexploratie en nachtelijke beveiliging.