Riepilogo Tecnico: DelowlightSplat

Enunciato del Problema

La sintesi di nuove viste e la ricostruzione 3D da immagini pose sparse sono fondamentali per la robotica e la realtà aumentata/virtuale (AR/VR). Sebbene i recenti metodi feed-forward di 3D Gaussian Splatting (3DGS) abbiano avuto successo nell'ammortizzare l'ottimizzazione per scena prevedendo direttamente i Gaussiani 3D da viste sparse, essi falliscono significativamente in condizioni di scarsa illuminazione. In regimi di bassa luminosità, il contrasto ridotto, il rumore del sensore e i bias cromatici degradano la corrispondenza delle caratteristiche. Questo cedimento nella corrispondenza interrompe l'aggregazione del volume dei costi, portando a geometrie errate e ad aspetti eccessivamente lisciati.

Le soluzioni esistenti, come una pipeline "restauro-poi-ricostruzione" (miglioramento delle immagini 2D prima della ricostruzione), sono insufficienti. Il miglioramento per immagine introduce spesso spostamenti cromatici dipendenti dalla vista e inconsistenze nell'illuminazione, non ottimizzando esplicitamente per la coerenza multi-vista, il che si traduce in una ricostruzione a valle instabile. Inoltre, vi è una scarsità di dati di supervisione multi-vista realistici in cui le viste target sono pulite mentre le viste di contesto sono degradate, rendendo difficile addestrare modelli specificamente per questo compito.

Metodologia: DelowlightSplat

Gli autori propongono DelowlightSplat, un framework 3DGS feed-forward a due viste consapevole della scarsa illuminazione, progettato per ricostruire scene 3D pulite e normalmente illuminate direttamente da input a bassa luminosità. La pipeline consta di tre fasi principali:

1. Benchmark Controllabile Multi-vista a Bassa Luminosità

Per affrontare la mancanza di dati di addestramento, gli autori hanno costruito un benchmark basato su un dataset su larga scala di viste pose. Invece di degradare intere scene, degradano solo le viste di contesto (immagini di input) mantenendo le viste target (ground truth) pulite. L'operatore di degradazione $\mathcal{L}$ applica quattro trasformazioni probabilistiche in sequenza alle immagini di contesto:

• Oscuramento Gamma: $I \leftarrow I^\gamma$ con $\gamma > 1$.
• Scalatura dell'Esposizione: $I \leftarrow s \cdot I$ con $0 < s < 1$.
• Spostamento dei Canali RGB: Scalatura indipendente dei canali R, G e B.
• Sfocatura: Convoluzione con un kernel Gaussiano.

Questo protocollo isola l'impatto degli input a bassa luminosità sulla ricostruzione, impedendo al modello di imparare semplicemente a imitare le apparenze a bassa luminosità.

2. Adattatore per Bassa Luminosità

Viene introdotto un modulo front-end leggero per mappare gli input a bassa luminosità in un dominio di rappresentazione adatto al ragionamento multi-vista. A differenza dei modelli di miglioramento 2D autonomi, questo adattatore è ottimizzato per migliorare la corrispondenza per la pipeline successiva.

• Meccanismo: Prevede una correzione residua $\Delta(I_i)$ utilizzando una piccola pila di blocchi residui convoluzionali.
• Output: L'immagine adattata è calcolata come $\tilde{I}_i = \text{clip}(I_i + \lambda \cdot \tanh(\Delta(I_i)))$.
• Vantaggio: Questa formulazione residua permette al modello di rimanere vicino all'identità per degradazioni lievi (evitando un eccessivo miglioramento) ed è addestrata end-to-end con lo scheletro di ricostruzione.

3. Rete Feed-forward di Gaussian Splatting

Le viste di contesto adattate $\{\tilde{I}_i\}$ sono elaborate da un encoder multi-vista basato su volume dei costi:

• Codifica delle Caratteristiche: Estrae caratteristiche 2D ed esegue interazioni tra viste per aggregare evidenze geometricamente coerenti.
• Costruzione della Geometria: Prevede quantità relative alla profondità e alla densità per ogni pixel. Queste vengono retro-proiettate in 3D per formare i centri dei Gaussiani ($\mu$). Le covarianze ($\Sigma$) e le opacità ($\alpha$) sono parametrizzate per garantire la definizione positiva e intervalli validi.
• Aspetto: Ogni Gaussiano porta coefficienti di Armoniche Sferiche (SH) ($h$) per rappresentare il colore dipendente dalla vista.
• Obiettivo di Addestramento: La rete è supervisionata utilizzando immagini target pulite ($I^\star_t$) tramite una combinazione di perdita pixel-per-pixel (es. $\ell_2$ o Charbonnier) e perdita percettiva.

Contributi Chiave

1. Un Benchmark Controllabile Multi-vista a Bassa Luminosità: Un framework di addestramento e valutazione che degrada solo le viste di contesto con trasformazioni probabilistiche mantenendo le viste target pulite, consentendo l'ablazione sistematica degli effetti della scarsa illuminazione.
2. Pipeline DelowlightSplat: Una nuova pipeline 3DGS feed-forward a due viste che integra un Adattatore per Bassa Luminosità leggero per il miglioramento residuo. Questo approccio migliora la corrispondenza tra viste e prevede direttamente Gaussiani 3D puliti per il rendering di nuove viste, evitando le inconsistenze delle pipeline a due stadi.

Risultati Sperimentali

Il metodo è stato valutato rispetto a due baseline:

• Lowlight MVSplat: Alimentazione diretta di immagini a bassa luminosità in un ricostruttore feed-forward standard.
• DarkIR $\to$ MVSplat: Una pipeline a due stadi che utilizza un forte modello di restauro 2D (DarkIR) seguito dalla ricostruzione.

Prestazioni Quantitative (Sintesi di Nuove Viste a Bassa Luminosità):
DelowlightSplat ha superato significativamente entrambe le baseline:

• PSNR: Migliorato da 8,49 (Lowlight MVSplat) e 17,11 (DarkIR $\to$ MVSplat) a 23,08.
• SSIM: Migliorato da 0,372 e 0,723 a 0,833.
• LPIPS: Ridotto da 0,355 e 0,225 a 0,162 (valori più bassi sono migliori).

Osservazioni Qualitative:

• La ricostruzione diretta ha prodotto texture eccessivamente lisciata e artefatti geometrici (es. strutture fluttuanti).
• La baseline a due stadi ha migliorato la luminosità ma ha introdotto spostamenti cromatici dipendenti dalla vista e sfocatura residua a causa di un restauro per immagine incoerente.
• DelowlightSplat ha prodotto bordi più nitidi, geometria stabile e colore/ombreggiatura coerenti tra le diverse viste.

Significato e Affermazioni

Il paper afferma che DelowlightSplat colma efficacemente il divario tra la ricostruzione 3D feed-forward standard e le condizioni di scarsa illuminazione. Integrando l'adattamento alla scarsa illuminazione direttamente nella pipeline di ricostruzione invece di trattarlo come un passo di pre-elaborazione separato, il metodo ottimizza esplicitamente per la coerenza multi-vista. I risultati dimostrano che questo approccio produce una maggiore fedeltà di ricostruzione e qualità percettiva sotto diverse degradazioni a bassa luminosità (gamma, esposizione, spostamento cromatico e sfocatura) rispetto ai metodi diretti o a due stadi esistenti.

Gli autori notano che il lavoro futuro potrebbe estendere il modello per gestire più viste, contesti temporali più lunghi e artefatti reali del sensore come sfocatura da movimento severa e rumore spazialmente variabile.