AEGIR: Modeling Area Emitters for Indoor Inverse Rendering using Gaussian Splatting

Riepilogo Tecnico: AEGIR – Modellazione di Emettitori di Area per l'Inverse Rendering Indoor tramite Gaussian Splatting

Problema
L'inverse rendering mira a decomporre le immagini osservate in geometria, materiali e illuminazione. Tuttavia, questo problema è intrinsecamente mal posto a causa del forte accoppiamento tra l'aspetto della superficie e l'illuminazione. I recenti progressi nei Neural Radiance Fields (NeRF) e nel 3D Gaussian Splatting (3DGS) hanno migliorato la sintesi di nuove viste, ma estendere questi metodi all'inverse rendering rimane una sfida. Gli approcci esistenti tipicamente approssimano l'illuminazione della scena utilizzando mappe ambientali globali, sorgenti luminose puntiformi discrete o rappresentazioni neurali implicite. Questi approcci falliscono negli ambienti interni delimitati perché ignorano l'estensione spaziale fisica dei veri emettitori del mondo reale (ad esempio, lampade, pannelli a soffitto). Di conseguenza, producono un'attenuazione della luce errata, confini delle ombre irrealistici e spesso assorbono gli effetti di illuminazione residui direttamente nell'albedo della superficie, portando a una scarsa disgiunzione tra materiali e illuminazione.

Metodologia
Gli autori propongono AEGIR (Area Emitters for Gaussian Inverse Rendering), un framework che modella esplicitamente emettitori di area locali all'interno di una rappresentazione di Gaussian Splatting relightable. La metodologia consiste in tre componenti principali:

1. Emettitori di Area Locali Espliciti:
   Invece di luci puntiformi o mappe globali, AEGIR parametrizza l'illuminazione come primitivi 3D localizzati. Ogni emettitore è definito da:

   • Proprietà spaziali: Una posizione centrale, assi ortonormali locali e scale fisiche (ellissoidi anisotropi).
   • Profilo di emissione: Un colore di emissione RGB e una distribuzione di decadimento angolare Super-Gaussian.
   • Flessibilità: Combinando la scalatura anisotropa con un parametro di potenza Super-Gaussian ($\rho$) apprendibile, una singola primitiva può rappresentare diverse sorgenti, che vanno da luci puntiformi isotrope a apparecchi illuminanti direzionali ed allungati (ad esempio, tubi fluorescenti) con decadimenti netti o morbidi.
   • Inizializzazione: Gli emettitori sono inizializzati tramite la proiezione inversa di pixel ad alta intensità da immagini multi-vista, raggruppandoli tramite DBSCAN e stimando i parametri iniziali tramite l'Analisi delle Componenti Principali (PCA). Un controllore adattivo divide o elimina dinamicamente gli emettitori durante l'ottimizzazione in base a soglie di energia e scala.

2. Rendering Differito e Trasporto della Luce:
   AEGIR utilizza una pipeline di rendering differito accoppiata al 2D Gaussian Splatting (2DGS) per garantire normali superficiali e geometria affidabili.

   • G-Buffer: Le 2D Gaussian vengono rasterizzate per generare un buffer contenente albedo, rugosità (roughness), metallicità (metallic) e normali.
   • Campionamento: L'equazione del rendering viene valutata utilizzando uno stimatore Monte Carlo con Campionamento di Importanza Multipla (MIS). Questo combina il campionamento emisferico pesato rispetto al coseno (per il trasporto diffuso) con il campionamento diretto della luce dalle superfici degli emettitori espliciti.
   • Visibilità: Ombre morbide e occlusioni sono gestite tramite ray tracing differenziabile attraverso la scena 2D Gaussian, calcolando un termine di visibilità che tiene conto dell'opacità accumulata e della distanza di occlusione.
   • Luce Indiretta: Viene utilizzata un'approssimazione a singolo rimbalzo durante l'addestramento (utilizzando impatti secondari sulle Gaussiane) e un tracciamento a singolo rimbalzo più rigoroso durante l'inferenza.

3. Ottimizzazione Congiunta e Curriculum di Addestramento:
   Per risolvere l'ambiguità tra materiali e illuminazione, il framework impiega una strategia di ottimizzazione progressiva con una funzione di perdita combinata ($L_{total} = L_{photo} + L_{prior} + L_{TV} + L_{light}$):

   • Perdita Fotometrica Sensibile al Contrasto: Aumenta il peso dei pixel ad alto contrasto per dare priorità ai segnali di illuminazione ad alta frequenza.
   • Prior di Diffusione: Utilizza un DiffusionRenderer pre-addestrato per fornire una pseudo-verità fondamentale (ground truth) per i materiali, impedendo al modello di "cuocere" l'illuminazione nell'albedo.
   • Variazione Totale (Total Variation) Sensibile ai Bordi: Incoraggia materiali costanti a tratti su superfici piatte pur preservando i confini.
   • Regolarizzazione dell'Emettitore: Impone la plausibilità fisica penalizzando la scalatura eccessiva e imponendo la neutralità del colore.
   • Curriculum: Il processo inizia con una baseline geometrica (DN-Splatter), segue l'ottimizzazione congiunta di geometria, materiali ed emettitori, e conclude con una fase finale in cui vengono ottimizzati solo gli emettitori per raffinare l'illuminazione senza alterare i materiali.

Contributi Chiave

1. Nuova Formulazione dell'Emettitore: Una rappresentazione esplicita di emettitore di area utilizzando ellissoidi 3D anisotropi con decadimento angolare Super-Gaussian, che consente di modellare diverse forme di luce e profili di emissione del mondo reale.
2. Framework di Ottimizzazione Congiunta: Un sistema che recupera simultaneamente sorgenti luminose esplicite, geometria della scena e materiali PBR (albedo, rugosità, metallicità) da immagini multi-vista, ottenendo una migliore disgiunzione attraverso vincoli radiometrici e geometrici.
3. Modello di Rendering Fisicamente Fondato: Una pipeline differenziabile che valuta l'illuminazione direttamente dagli emettitori di area, supportando compiti downstream fisicamente coerenti.

Risultati
Il metodo è stato valutato su dataset sintetici (Hypersim, FIPT-Synthetic) e scansioni indoor reali (Replica, ScanNet++), confrontandolo con metodi allo stato dell'arte come GS-ID, IRGS, IRIS e NeILF++.

• Stima dell'Illuminazione: In esperimenti di re-rendering controllati con geometria e materiali ground-truth, AEGIR ha ottenuto il PSNR più elevato (31.42 dB per l'illuminazione indoor) e il LPIPS più basso, superando significativamente i metodi basati su mappe ambientali o luci puntiformi. Ha recuperato con successo l'ombreggiatura fluida e le ombre morbide accurate.
• Sintesi di Nuove Viste (NVS) e Recupero dei Materiali: AEGIR ha ottenuto prestazioni NVS superiori o competitive (ad esempio, 21.50 PSNR su Hypersim) mantenendo al contempo un'accuratezza dell'albedo più elevata. A differenza dei baseline che spesso scambiano l'accuratezza del materiale con la qualità del rendering "cuocendo" l'illuminazione nell'albedo, AEGIR ha mantenuto un equilibrio migliore.
• Efficienza: Il processo di ottimizzazione richiede circa 55 minuti su una singola NVIDIA RTX 4090, rendendolo circa tre volte più veloce di NeILF++ e comparabile ad altri baseline efficienti.
• Studi di Ablazione: La rimozione di componenti come i prior di diffusione o le mappe di focus ha causato cali significativi nell'accuratezza dell'albedo e nella stima dell'illuminazione, confermando la necessità dell'intero pipeline per una disgiunzione stabile.

Significato e Limitazioni
Il paper afferma che AEGIR colma il divario tra la modellazione neurale della scena e il rendering basato sulla fisica modellando esplicitamente l'estensione spaziale delle sorgenti luminose. Ciò porta a una decomposizione più coerente di geometria, materiali e illuminazione, consentendo applicazioni realistiche come il relighting controllato e l'inserimento di oggetti virtuali.

Gli autori riconoscono modestamente le attuali limitazioni:

• Possono verificarsi artefatti di ombreggiatura dovuti a normali rumorose.
• Il costo computazionale del tracciamento delle ombre aumenta con il numero di emettitori.
• L'attuale modello di materiale non gestisce materiali speculari o trasparenti.
• Esistono più ampie considerazioni etiche riguardanti il potenziale uso improprio di tale tecnologia per la generazione di media ingannevoli.

Nonostante queste limitazioni, AEGIR è presentato come un approccio affidabile per il recupero dell'illuminazione in ambienti indoor complessi, offrendo una base flessibile per l'editing di scene realistiche.