Light 'em Up: Enabling Few-Shot Low-Light 3D Gaussian Splatting with Multi-Scale Explicit Retinex Illumination Decoupling

1. Enunciato del Problema

La Sintesi di Nuove Visuali (NVS) a 360° in condizioni di scarsa illuminazione rimane una sfida significativa nella visione artificiale. I metodi esistenti faticano con tre problemi principali quando applicati a scene reali con bassa esposizione:

• Inconsistenza Fotometrica: L'illuminazione insufficiente porta all'amplificazione del rumore e alla distorsione del colore, compromettendo la coerenza dell'aspetto necessaria per la ricostruzione geometrica multivista.
• Artefatti Dipendenti dalla Vista: Gli approcci non supervisionati soffrono spesso di gravi derive cromatiche quando le visuali variano significativamente (copertura completa a 360°), mentre i modelli di miglioramento 2D supervisionati non riescono a generalizzare a scene 3D non viste senza riaddestramento.
• Scarsità di Dati: La maggior parte dei metodi NVS esistenti per scarsa illuminazione richiede input di visuali dense o dati di addestramento accoppiati estesi, rendendoli poco pratici per scenari con poche visuali e pochi esempi, comuni nelle applicazioni reali (ad esempio, guida autonoma notturna, digitalizzazione del patrimonio culturale).

2. Metodologia: MERID-GS

Gli autori propongono MERID-GS, un framework che integra il Disaccoppiamento Esplicito dell'Illuminazione Retinex Multi-Scala con lo Splatting Gaussiano 3D (3DGS). La pipeline consiste in tre fasi distinte:

A. Disaccoppiamento Esplicito dell'Illuminazione Retinex Multi-Scala (MERID)

Invece di modellare il degrado dell'illuminazione implicitamente all'interno della rappresentazione 3D, MERID-GS esegue un disaccoppiamento esplicito nel dominio dell'immagine basato sulla teoria di Retinex ($I = L \times R$, dove $I$ è l'intensità, $L$ è l'illuminazione e $R$ è la riflettanza).

• Guadagno Regolarizzato Apprendibile: Per evitare instabilità numerica nel dominio logaritmico (comune in condizioni di scarsa illuminazione), il modello opera nel dominio spaziale. Introduce una funzione di guadagno apprendibile $g(x)$ che si adatta alle informazioni di luminanza e struttura, sopprimendo l'amplificazione del rumore mentre potenzia le regioni scure.
• Rappresentazione dello Stato di Illuminazione: Il modello costruisce una caratteristica dello stato di illuminazione ($\mathbf{F}_{illu}$) codificando la luminanza a bassa frequenza, la riflettanza e il guadagno logaritmico. Questo funge da prior per il successivo denoising.

B. Attenzione a Cancellazione di Frequenza Guidata dallo Stato di Illuminazione (IS-FGA)

Per affrontare l'entanglement tra rumore e strutture vere nelle caratteristiche di scarsa illuminazione, gli autori introducono un nuovo meccanismo di attenzione all'interno di un'architettura encoder-decoder a forma di U:

• Modulazione del Valore Condizionata alla Frequenza: Il ramo del valore ($V$) del meccanismo di attenzione viene scomposto in bande a bassa, media e alta frequenza. Queste bande sono modulate in base alla caratteristica dello stato di illuminazione, permettendo al modello di potenziare selettivamente le frequenze strutturali mentre sopprime le frequenze dominate dal rumore.
• Cancellazione Condizionata allo Stato di Illuminazione: Un meccanismo di cancellazione elemento per elemento sopprime ulteriormente la propagazione del rumore nelle regioni scure prima che avvenga l'aggregazione standard dell'attenzione.

C. Testa di Riflettanza e Splatting Gaussiano 3D

• Testa di Riflettanza: Un modulo leggero (utilizzando convoluzioni $1\times1$ e GELU) viene applicato alla componente di riflettanza per correggere le deviazioni di colore e materiale tra scene diverse. Crucialmente, questa testa è progettata per l'adattamento con pochi esempi, richiedendo solo pochi campioni da una nuova scena per il fine-tuning.
• Sintesi 3DGS: Le immagini di riflettanza corrette vengono inviate allo Splatting Gaussiano 3D. Poiché l'illuminazione è stata esplicitamente disaccoppiata e normalizzata, l'ottimizzatore 3DGS può concentrarsi su geometria e riflettanza, portando a una convergenza stabile anche con input sparsi.

3. Contributi Chiave

1. Framework MERID-GS: Il primo metodo a combinare il disaccoppiamento esplicito dell'illuminazione basato su Retinex con il 3DGS per la NVS in scarsa illuminazione, consentendo il rendering di alta qualità su scene non viste da osservazioni sparse.
2. Meccanismo IS-FGA: Un modulo di attenzione innovativo che utilizza gli stati di illuminazione per guidare la cancellazione di frequenza, sopprimendo efficacemente la propagazione del rumore mentre preserva i dettagli strutturali nelle regioni scure.
3. Adattabilità con Pochi Esempi: Il sistema raggiunge una sintesi stabile con sole 10 visuali di input a luce normale per l'adattamento, riducendo il tempo di addestramento per scena a circa 5 minuti.
4. Dataset LLD: Gli autori hanno costruito LLD (Low-Light Dataset), un dataset multivista a 360° completo che copre 6 scene con immagini accoppiate a scarsa illuminazione e luce normale, affrontando la mancanza di benchmark per questo compito specifico.

4. Risultati Sperimentali

Il metodo è stato valutato su NeRF360, LOM_full e il nuovo dataset LLD, confrontandosi con baseline state-of-the-art non supervisionate (ad es. Luminance-GS) e supervisionate (ad es. Retinexformer, MambaLLIE).

• Prestazioni Quantitative:
  • MERID-GS ha raggiunto prestazioni SOTA su tutte le metriche (PSNR, SSIM, LPIPS).
  • PSNR Medio: 25,03 dB (vs. ~17–19 dB per i migliori metodi supervisionati successivi).
  • SSIM: 0,796 (vs. ~0,67 per le baseline).
  • LPIPS: 0,166 (più basso è meglio, superando significativamente le baseline).
• Prestazioni Qualitative:
  • I confronti visivi mostrano che MERID-GS elimina la deriva cromatica e l'amplificazione del rumore osservati in altri metodi.
  • Preserva la coerenza geometrica e i dettagli fini nelle regioni scure dove altri metodi falliscono o producono artefatti.
• Efficienza:
  • Il processo di adattamento con pochi esempi richiede solo ~5 minuti per scena.
  • Gli studi di ablazione hanno confermato che la rimozione della Testa di Riflettanza o di IS-FGA degrada significativamente le prestazioni (riducendo il PSNR di ~7 dB e ~0,55 dB, rispettivamente).

5. Significato

Questo lavoro colma il divario tra il miglioramento 2D in condizioni di scarsa illuminazione e la ricostruzione di scene 3D. Disaccoppiando esplicitamente l'illuminazione dalla riflettanza, MERID-GS risolve il problema fondamentale di "illuminare" una scena 3D senza confondere i cambiamenti di illuminazione con cambiamenti geometrici o di materiale.

• Impatto Pratico: Abilita la ricostruzione 3D ad alta fedeltà in ambienti difficili (notturni, interni con scarsa illuminazione) con requisiti minimi di dati, rendendola praticabile per applicazioni come guida autonoma, AR/VR e conservazione del patrimonio digitale.
• Generalizzazione: La modellazione esplicita dell'illuminazione permette al modello di generalizzare a scene completamente non viste senza la necessità di un esteso riaddestramento, un passo critico in avanti per il dispiegamento nel mondo reale.