Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

Technische Samenvatting: Dynamische Gewichtgebaseerde Temporele Aggregatie voor Verbetering van Video's bij Zwakke Verlichting onder Extreme Ruis

Probleemstelling
Verbetering van video's bij zwakke verlichting (LLVE) staat voor aanzienlijke uitdagingen door ernstige ruis, laag contrast en kleurdegradatie, met name in outdoor-scenario's "in the wild". Hoewel leer-gebaseerde methoden snelle inferentie bieden, worstelen ze vaak onder zware real-world ruis omdat ze onvoldoende langdurige temporele aanwijzingen benutten. Bestaande benaderingen vertrouwen doorgaans op verwerkingsvensters of 3D-convoluties die slechts een kort opeenvolgend aantal frames in overweging nemen. Deze methoden zijn computergewicht, geheugenintensief en kunnen de langdurige temporele redundantie, die cruciaal is voor ruisreductie onder extreme omstandigheden, niet volledig benutten. Bovendien generaliseren modellen die zijn getraind op synthetische of lichte ruis vaak slecht tot complexe, ruimtelijk variërende real-world ruis, wat leidt tot temporele inconsistenties zoals flikkering en ghosting.

Methodologie: DWTA-Net
De auteurs stellen DWTA-Net voor, een nieuw deep-learning recurrent raamwerk gebaseerd op een tweestapsarchitectuur die is ontworpen om zware real-world ruis te hanteren terwijl temporele consistentie wordt behouden.

1. Stap I: Meerframe-Verbetering (Lokale Restauratie)

   • Doel: Lokale structuur, kleur en helderheid herstellen terwijl kortetermijn temporele consistentie wordt gewaarborgd.
   • Mechanisme: Een korte reeks aangrenzende frames wordt eerst uitgelijnd op een referentiekader met behulp van een PCD-module (Pixel-wise Convolutional Deformable) om bewegingsgecompenseerde features te genereren.
   • Ruggengraat: Deze uitgelijnde features worden verwerkt door een Mamba-gebaseerde U-Net-achtige ruggengraat. Conventionele convolutieblokken worden vervangen door Visual State-Space (VSS) blokken. In tegenstelling tot standaard convoluties met beperkte receptieve velden, gebruiken VSS-blokken een selectieve scanmechanisme om langeafstandsglobale afhankelijkheden vast te leggen, wat cruciaal is voor het herstellen van structurele coherentie in zwaar gedegradeerde scènes.

2. Stap II: Dynamische Recurrente Verfijning (Langdurige Aggregatie)

   • Doel: Ruis onderdrukken en details stabiliseren over lange sequenties door langdurige temporele bewijslast te accumuleren.
   • Mechanisme: Afwijkend van recurrentie van verborgen toestanden, voert DWTA-Net aggregatie direct uit in de ruimtelijke (pixel) ruimte, waar ruis bij zwakke verlichting zich manifesteert als hoogfrequente artefacten.
   • Dynamische Weging: Deze stap maakt gebruik van een recurrente formulering die wordt geleid door optische stroming (met GMFlow). Op elk tijdstip $t$ wordt de verfijnde output van de vorige stap ($O'_{t-1}$) vervormd om uitgelijnd te worden met de huidige output van Stap I ($O_t$).
   • Adaptieve Menging: Een dynamische gewigtskaart $\omega$ wordt berekend op basis van de bewegingsresidu $R = |O_t - O^W_{t-1}|$.
     • In statische gebieden (laag residu) benadrukt het gewicht de accumulatie uit het vervormde vorige frame om ruis te onderdrukken.
     • In dynamische gebieden (hoog residu) geeft het gewicht de voorkeur aan het huidige frame om bewegingsscherpte te behouden.
   • Deze strategie balanceert ruisreductie met bewegingsscherpte en overwint de beperkingen van vastvenster-gemiddelde.

3. Textuur-Adaptieve Loss

   • Om de ruimtelijke variatie van ruis bij zwakke verlichting aan te pakken, introduceren de auteurs een loss-functie die behoud van fijne details balanceert met ruimtelijke gladheid.
   • Een textuurbewuste kaart ($M_T$) wordt afgeleid van hoogfrequente componenten van de output met behulp van een 2D Discrete Wavelet Transform (2D-DWT).
   • De totale loss combineert een pixel-voor-pixel $\ell_2$ reconstructieloss met een gewogen som van:
     • Perceptuele Loss ($L_{VGG}$): Toegepast op sterk getextureerde gebieden ($M_T \to 1$) om fijne details te behouden.
     • Total Variation Loss ($L_{TV}$): Toegepast op homogene gebieden ($M_T \to 0$) om gladheid te bevorderen en ruis te onderdrukken.

Belangrijkste Bijdragen

• DWTA-Net Raamwerk: Een nieuw Mamba-gebaseerd recurrent raamwerk dat is toegespitst op zware real-world ruis, met een tweestapsontwerp dat lokale restauratie scheidt van langdurige temporele aggregatie.
• Ruimtelijke Recurrente Aggregatie: Een dynamische gewichtgebaseerde temporele aggregatiestrategie die werkt in de ruimtelijke ruimte in plaats van in de feature-ruimte. Het maakt gebruik van bewegingsresiduen om mengingsgewichten adaptief aan te passen, waarbij temporele consistentie wordt gebalanceerd met bewegingsbewuste scherpte.
• Textuur-Adaptieve Loss: Een aangepaste loss-functie die perceptuele en gladheidsbeperkingen dynamisch weegt op basis van lokale textuurcomplexiteit, waardoor behoud van details in getextureerde gebieden wordt gewaarborgd terwijl homogene gebieden worden geglad.

Experimentele Resultaten
Het model is getraind op de DID gekoppelde dataset voor video's bij zwakke verlichting en geëvalueerd op zowel kwantitatieve metrieken (PSNR, SSIM, LPIPS) als kwalitatieve "in-the-wild"-scenario's (specifiek de Horse-sequentie).

• Kwantitatieve Prestaties: Op de DID-dataset behaalde DWTA-Net de hoogste PSNR (24,27 dB) en LPIPS (0,115) onder vergeleken methoden, en presteerde beter dan state-of-the-art beeldgebaseerde methoden (zoals Retinexformer, WaveMamba) en videobaselines (zoals EDVR, SMOID).
• Ruisreductiecapaciteit: In een aanvullende evaluatie op een statisch luchtgebied van de Horse-beelden (met behulp van een pseudo-ground truth gegenereerd door framegemiddelde) behaalde DWTA-Net de hoogste PSNR (27,81 dB) en SSIM (0,839), en overtrof zelfs ideale beeldgebaseerde methoden voor statische scenario's.
• Visuele Kwaliteit: Kwalitatieve vergelijkingen tonen aan dat DWTA-Net fijne details (zoals omheiningen, kabels, grasstructuur) en natuurlijke kleuren behoudt zonder de overmatig gegladde artefacten die voorkomen bij methoden zoals Starlight-denoiser of de afleidende artefacten die worden geïntroduceerd door SDSD-net.
• Ablatiestudies: Het verwijderen van Stap I leidde tot drastische dalingen in PSNR en perceptuele kwaliteit, wat zijn rol in basisrestauratie bevestigt. Het verwijderen van Stap II resulteerde in een hogere LPIPS, wat de noodzaak van langdurige temporele aggregatie voor visuele kwaliteit aantoont. De textuur-adaptieve loss bleek cruciaal voor het balanceren van ruisverwijdering en textuurbehoud.

Betekenis en Claims
Het artikel stelt dat DWTA-Net een robuuste oplossing biedt voor verbetering van video's bij zwakke verlichting onder extreme ruisomstandigheden waar traditionele pipelines en bestaande leer-gebaseerde methoden falen. Door langdurige temporele redundantie te benutten via een recurrente, bewegingsbewuste aggregatiestrategie, bereikt het raamwerk superieure ruisreductie en temporele consistentie. De auteurs positioneren hun werk als een praktische vooruitgang die de specifieke uitdaging aanpakt van generalisatie naar complexe, real-world ruisdistributies terwijl fijne structurele details worden behouden, gevalideerd door uitgebreide benchmarks en uitdagende "in-the-wild"-evaluaties.