Zero-TIG: Temporal Consistency-Aware Zero-Shot Illumination-Guided Low-light Video Enhancement

1. Il Problema

I video acquisiti in condizioni di scarsa illuminazione (low-light) e sott'acqua soffrono di gravi problemi di qualità visiva, tra cui:

• Bassa visibilità e contrasto: I sensori catturano pochi fotoni, risultando in immagini scure e poco dettagliate.
• Rumore elevato: L'aumento della sensibilità ISO per compensare la luce scarsa amplifica il rumore.
• Sfocatura da movimento: L'aumento del tempo di esposizione causa motion blur.
• Distorsione del colore: In particolare nei video subacquei, l'assorbimento e la dispersione della luce causano una forte dominanza di colore (es. tonalità bluastre o verdastre).
• Inconsistenza temporale (Flickering): I metodi esistenti, spesso basati sull'elaborazione di singoli fotogrammi o su apprendimento supervisionato che richiede coppie di dati (ground truth), falliscono nel mantenere la coerenza temporale tra i fotogrammi consecutivi, generando sfarfallii fastidiosi.
• Mancanza di dati: La scarsità di dataset accoppiati (video a bassa luce / video a luce normale), specialmente per scenari sottomarini, limita l'efficacia dei metodi supervisionati.

2. Metodologia

Il paper propone Zero-TIG, un approccio di apprendimento zero-shot (senza dati di addestramento etichettati) e auto-supervisionato. Il metodo si basa sulla teoria di Retinex e integra tecniche di flusso ottico per garantire la coerenza temporale.

L'architettura della rete è composta da due moduli principali:

A. Modulo di Miglioramento (Enhancement Module)

Basato sul lavoro precedente Zero-IG, questo modulo elabora ogni fotogramma attraverso tre sottoreti:

1. LD-Net (Low-light Denoising Network): Rimuove il rumore iniziale dal fotogramma a bassa luce ($I_t$) utilizzando due downsampler per generare un'immagine denoizzata preliminare ($I_t^{LP}$).
2. IE-Net (Illumination Estimation Network): Scomponendo l'immagine secondo la teoria di Retinex ($I = R \cdot S$), separa l'immagine in Riflessanza ($R_{IE}$, i dettagli intrinseci) e Illuminazione ($S_{IE}$, le condizioni di luce).
3. RD-Net (Reflection Denoising Network): Affina ulteriormente la riflessione e l'illuminazione per rimuovere il rumore residuo, producendo l'output finale $R_{RD}$.

B. Modulo di Feedback Temporale (Temporal Feedback Module)

Questo è il contributo innovativo chiave per risolvere il problema dello sfarfallio. Il modulo allinea l'output del fotogramma precedente al fotogramma corrente e lo re-inietta nel processo di elaborazione:

1. Pre-elaborazione: L'immagine denoizzata precedente viene sottoposta a equalizzazione dell'istogramma per allineare la distribuzione dell'intensità.
2. Flusso Ottico (Optical Flow - OF): Viene utilizzato un modello RAFT pre-addestrato per calcolare il flusso ottico tra il fotogramma precedente (mappato) e il fotogramma corrente. Per migliorare l'accuratezza, le immagini vengono ridimensionate (downsampled) per ridurre gli errori causati da regioni a bassa texture e rumore.
3. Warpping e Fusione: I risultati di riflessione e illuminazione del fotogramma precedente vengono "warped" (trasformati geometricamente) in base al flusso ottico e fusi con i dati del fotogramma corrente all'interno delle reti IE-Net e RD-Net. Questo permette di utilizzare il contesto temporale per guidare il denoising e garantire transizioni fluide.

C. Funzioni di Loss e Bilanciamento Adattivo

Il modello è ottimizzato tramite 11 funzioni di loss che includono:

• Loss di residuo e consistenza per il denoising.
• Loss per la stima dell'illuminazione (media, adattamento pixel-wise, regolarizzazione della smoothness).
• Bilanciamento del bianco adattivo per dati subacquei: Poiché i canali RGB sott'acqua non sono distribuiti uniformemente, il metodo calcola il guadagno per ciascun canale (R, G, B) indipendentemente, vincolando l'illuminazione media di ciascun canale separatamente per correggere automaticamente la distorsione cromatica.

3. Contributi Chiave

1. Metodo Zero-Shot: Zero-TIG non richiede dati di addestramento accoppiati (paired data), rendendolo applicabile a scenari reali dove tali dati non sono disponibili.
2. Coerenza Temporale: L'integrazione di un modulo di feedback temporale basato su flusso ottico e warpping riduce drasticamente lo sfarfallio (flickering) e il rumore, mantenendo la continuità visiva.
3. Correzione Colore Subacquea: Un meccanismo adattivo bilancia i canali RGB per affrontare le distorsioni specifiche dei video sott'acqua, ottenendo un bilanciamento del bianco automatico.
4. Performance Senza Dati Etichettati: Dimostra che è possibile raggiungere qualità visiva superiore senza l'uso di ground truth, superando i limiti dei metodi supervisionati in termini di praticità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset: BVI-RLV (video a bassa luce) e BVI-Coral (video subacquei).

• Confronto Quantitativo (BVI-RLV):

  • Zero-TIG ha ottenuto risultati superiori alla maggior parte dei metodi self-supervised (come Zero-DCE, SGZSL, RUAS) e paragonabili o superiori a Zero-IG.
  • Sebbene i metodi supervisionati (BVI-CDM, BVI-Mamba) abbiano metriche PSNR/SSIM più alte, Zero-TIG ha mostrato una qualità visiva superiore, evitando artefatti di colore "allucinati" presenti in metodi come EnlightenGAN.
  • Le metriche LPIPS (percezione visiva) e SSIM sono state competitive, specialmente dopo l'adeguamento dell'istogramma.

• Coerenza Temporale:

  • Utilizzando la metrica MABD (Mean Absolute Brightness Differences), Zero-TIG ha mostrato variazioni di luminosità molto più stabili rispetto ad altri metodi, confermando la riduzione dello sfarfallio.

• Video Subacquei:

  • In assenza di ground truth, sono state usate metriche non di riferimento (UIQM, UCIQE, CLIP-IQA). Zero-TIG ha ottenuto punteggi superiori rispetto a Zero-IG, mostrando bordi più nitidi (coralli e sabbia) e un migliore bilanciamento del bianco.

5. Significato e Impatto

Zero-TIG rappresenta un passo avanti significativo nell'elaborazione video per scenari difficili:

• Praticità: Elimina la dipendenza da costosi e difficili da ottenere dataset accoppiati, rendendo la tecnologia utilizzabile in tempo reale per applicazioni sul campo.
• Affidabilità Temporale: Risolve il problema critico dello sfarfallio nei video migliorati, essenziale per applicazioni come sorveglianza, veicoli autonomi e imaging medico.
• Versatilità: La capacità di gestire sia video a bassa luce generici che video subacquei con distorsioni cromatiche specifiche lo rende uno strumento robusto per una vasta gamma di applicazioni di visione artificiale.

Il codice è stato reso disponibile pubblicamente, facilitando la riproducibilità e l'ulteriore ricerca nel campo del miglioramento video zero-shot.