Dynamic Weight-based Temporal Aggregation for Low-light Video Enhancement Under Extreme Noise

Riepilogo Tecnico: Aggregazione Temporale Dinamica Basata su Pesi per il Miglioramento Video in Condizioni di Bassa Luminosità sotto Rumore Estremo

Enunciato del Problema
Il miglioramento video in condizioni di bassa luminosità (LLVE) affronta sfide significative a causa di rumore severo, basso contrasto e degradazione cromatica, in particolare negli scenari outdoor "in-the-wild". Sebbene i metodi basati sull'apprendimento offrano un'inferenza rapida, spesso faticano sotto rumore reale pesante perché non riescono a sfruttare sufficientemente i segnali temporali a lungo termine. Gli approcci esistenti si basano tipicamente sull'elaborazione a finestra scorrevole o su convoluzioni 3D che considerano solo un breve vicinato di fotogrammi. Questi metodi sono computazionalmente pesanti, intensivi in termini di memoria e incapaci di sfruttare appieno la ridondanza temporale a lungo termine, che è cruciale per la riduzione del rumore in condizioni estreme. Inoltre, i modelli addestrati su rumore sintetico o lieve generalizzano spesso male a rumore reale complesso e variabile spazialmente, portando a inconsistenze temporali come sfarfallio e ghosting.

Metodologia: DWTA-Net
Gli autori propongono DWTA-Net, un nuovo framework ricorrente basato sul deep learning con un'architettura a due stadi progettata per gestire rumore reale pesante mantenendo la coerenza temporale.

1. Stadio I: Miglioramento Multi-Fotogramma (Ripristino Locale)

   • Obiettivo: Ripristinare struttura locale, colore e luminosità garantendo al contempo la coerenza temporale a breve termine.
   • Meccanismo: Una breve sequenza di fotogrammi vicini viene allineata a un fotogramma di riferimento utilizzando un modulo PCD (Pixel-wise Convolutional Deformable) per generare caratteristiche compensate dal moto.
   • Backbone: Queste caratteristiche allineate vengono elaborate da un backbone simile a U-Net basato su Mamba. I blocchi convoluzionali convenzionali sono sostituiti da blocchi Visual State-Space (VSS). A differenza delle convoluzioni standard con campi ricettivi limitati, i blocchi VSS utilizzano un meccanismo di scansione selettiva per catturare dipendenze globali a lungo raggio, fondamentale per ripristinare la coerenza strutturale in scene fortemente degradate.

2. Stadio II: Affinamento Ricorrente Dinamico (Aggregazione a Lungo Termine)

   • Obiettivo: Sopprimere il rumore e stabilizzare i dettagli su sequenze lunghe accumulando evidenze temporali a lungo termine.
   • Meccanismo: Abbandonando la ricorrenza dello stato nascosto, DWTA-Net esegue l'aggregazione direttamente nello spazio spaziale (pixel), dove il rumore in bassa luminosità si manifesta come artefatti ad alta frequenza.
   • Ponderazione Dinamica: Lo stadio impiega una formulazione ricorrente guidata dal flusso ottico (utilizzando GMFlow). A ogni istante temporale $t$, l'output raffinato dal passaggio precedente ($O'_{t-1}$) viene deformato per allinearsi all'output corrente dello Stadio I ($O_t$).
   • Fusione Adattiva: Viene calcolato una mappa di pesi dinamica $\omega$ basata sul residuo di moto $R = |O_t - O^W_{t-1}|$.
     • Nelle regioni statiche (basso residuo), il peso enfatizza l'accumulo dal fotogramma precedente deformato per sopprimere il rumore.
     • Nelle regioni dinamiche (alto residuo), il peso favorisce il fotogramma corrente per preservare la nitidezza del moto.
   • Questa strategia bilancia la soppressione del rumore con la nitidezza del moto, superando i limiti della media a finestra fissa.

3. Funzione di Perdita Adattiva alla Texture

   • Per affrontare la varianza spaziale del rumore in bassa luminosità, gli autori introducono una funzione di perdita che bilancia la preservazione dei dettagli fini con la regolarità spaziale.
   • Una mappa consapevole della texture ($M_T$) è derivata dai componenti ad alta frequenza dell'output utilizzando una Trasformata Wavelet Discreta 2D (2D-DWT).
   • La perdita totale combina una perdita di ricostruzione $\ell_2$ pixel per pixel con una somma ponderata di:
     • Perdita Perceptiva ($L_{VGG}$): Applicata alle regioni altamente testurizzate ($M_T \to 1$) per preservare i dettagli fini.
     • Perdita di Variazione Totale ($L_{TV}$): Applicata alle regioni omogenee ($M_T \to 0$) per incoraggiare la regolarità e sopprimere il rumore.

Contributi Chiave

• Framework DWTA-Net: Un nuovo framework ricorrente basato su Mamba, progettato per rumore reale pesante, caratterizzato da un design a due stadi che separa il ripristino locale dall'aggregazione temporale a lungo termine.
• Aggregazione Ricorrente Spaziale: Una strategia di aggregazione temporale dinamica basata su pesi che opera nello spazio spaziale piuttosto che nello spazio delle caratteristiche. Utilizza i residui di moto per adattare dinamicamente i pesi di fusione, bilanciando la coerenza temporale con la nitidezza consapevole del moto.
• Funzione di Perdita Adattiva alla Texture: Una funzione di perdita personalizzata che pesa dinamicamente vincoli percettivi e di regolarità in base alla complessità della texture locale, garantendo la preservazione dei dettagli nelle aree testurizzate mentre regolarizza le regioni omogenee.

Risultati Sperimentali
Il modello è stato addestrato sul dataset video in bassa luminosità accoppiato DID e valutato sia su metriche quantitative (PSNR, SSIM, LPIPS) che su scenari qualitativi "in-the-wild" (specificamente la sequenza Horse).

• Prestazioni Quantitative: Sul dataset DID, DWTA-Net ha raggiunto il PSNR più alto (24,27 dB) e LPIPS più basso (0,115) tra i metodi confrontati, superando i metodi basati su immagini all'avanguardia (es. Retinexformer, WaveMamba) e i baseline basati su video (es. EDVR, SMOID).
• Capacità di Riduzione del Rumore: In una valutazione supplementare su una regione di cielo statico del video Horse (utilizzando un pseudo-ground truth generato dalla media dei fotogrammi), DWTA-Net ha ottenuto il PSNR più alto (27,81 dB) e SSIM (0,839), superando persino i metodi ideali basati su immagini per scenari statici.
• Qualità Visiva: I confronti qualitativi mostrano che DWTA-Net preserva i dettagli fini (es. recinzioni, cavi, texture dell'erba) e i colori naturali senza gli artefatti di eccessiva regolarizzazione osservati in metodi come Starlight-denoiser o gli artefatti distraenti introdotti da SDSD-net.
• Studi di Ablazione: La rimozione dello Stadio I ha portato a cali drastici di PSNR e qualità percettiva, confermando il suo ruolo nel ripristino di base. La rimozione dello Stadio II ha risultato in un LPIPS più alto, dimostrando la necessità dell'aggregazione temporale a lungo termine per la qualità visiva. La funzione di perdita adattiva alla texture è stata mostrata come critica per bilanciare la rimozione del rumore e la preservazione della texture.

Significato e Affermazioni
Il paper afferma che DWTA-Net fornisce una soluzione robusta per il miglioramento video in bassa luminosità in condizioni di rumore estremo dove le pipeline tradizionali e i metodi esistenti basati sull'apprendimento falliscono. Sfruttando la ridondanza temporale a lungo termine attraverso una strategia di aggregazione ricorrente e consapevole del moto, il framework raggiunge una soppressione del rumore superiore e coerenza temporale. Gli autori posizionano il loro lavoro come un avanzamento pratico che affronta la specifica sfida di generalizzare a distribuzioni di rumore complesse e reali, preservando al contempo i dettagli strutturali fini, validato attraverso benchmark estesi e valutazioni "in-the-wild" impegnative.