Sintesi Tecnica: InvSplat: Inverse Feed-Forward Scene Splatting

Definizione del Problema

Il rendering inverso mira a recuperare la geometria 3D e la riflettanza superficiale fisicamente significativa dalle immagini, un prerequisito per applicazioni come il relighting, l'editing dei materiali e l'inserimento di contenuti AR/VR realistici. I metodi esistenti affrontano un compromesso tra efficienza, interpretabilità fisica e coerenza multi-vista:

• Gli approcci basati sull'ottimizzazione (ad es., IRIS) raggiungono un'elevata fedeltà ma richiedono un adattamento per singola scena computazionalmente costoso, limitandone l'utilità pratica.
• Gli approcci basati sull'apprendimento (ad es., DiffusionRenderer, MVInverse) offrono un'inferenza più veloce ma operano prevalentemente nello spazio delle immagini. Mancano di rappresentazioni 3D esplicite della scena, portando a inconsistenze multi-vista e all'incapacità di supportare una sintesi di nuove viste robusta o un editing fisicamente fondato.
• I metodi di ricostruzione 3D feed-forward (ad es., pixelSplat, MVSplat) generano rappresentazioni 3D esplicite (come i 3D Gaussian Splatting) in modo efficiente ma si concentrano sulla sintesi dell'aspetto RGB piuttosto che sul disaccoppiamento delle proprietà intrinseche del materiale (albedo, metallicità, rugosità). Spesso non riescono a riprodurre riflessi speculari nitidi o a consentire un relighting esplicito.

Metodologia

InvSplat introduce un framework feed-forward che predice direttamente una rappresentazione di Gaussiane 3D strutturata con attributi materiali intrinseci da immagini multi-vista pose in un singolo passaggio forward.

Rappresentazione della Scena

La scena è rappresentata da $M$ primitive Gaussiane 3D. A differenza del 3DGS standard che utilizza gli armonici sferici per l'aspetto, ogni Gaussiana $j$ in InvSplat è parametrizzata da:

• Geometria: Media ($\mu_j$), Rotazione ($q_j$), Scala ($s_j$), Opacità ($\sigma_j$) e Normale di superficie ($n_j$).
• Materiali Intrinseci: Albedo Diffuso ($a_j$), Metallicità ($m_j$) e Rugosità ($r_j$).

Ciò consente una rappresentazione disaccoppiata e fisicamente fondata, dove l'illuminazione è separata dalle proprietà del materiale.

Architettura

Il modello impiega una rete feed-forward a due rami:

1. Ramo Geometrico: Ispirato a ReSplat, utilizza un backbone ResNet per estrarre feature multi-scala. Un codificatore della geometria multi-vista (transformer) aggrega le informazioni cross-view, seguito da un modulo di Feature Matching multi-vista che costruisce un volume di costo dei candidati di profondità.
2. Ramo Intrinseco: Utilizza un backbone DINOv2 ViT-L/14 per codificare le viste di input. Un Traduttore Intrinseco Multi-vista (un transformer a 36 blocchi) raffina queste feature attraverso l'auto-attenzione intra-view e inter-view per estrarre feature intrinseche cross-view.
3. Teste di Decodifica: Le feature di entrambi i rami sono elaborate da sei teste di decodifica:
   • Profondità: Stimata tramite una testa DPT utilizzando le feature combinate.
   • Parametri Gaussiani: Rotazione, scala e opacità sono raffinate usando un Point Transformer che eleva le feature 2D in un contesto 3D basato sulla profondità predetta.
   • Materiali e Normali: Albedo, metallicità, rugosità e normali sono predetti tramite teste DPT. La predizione dell'albedo include connessioni skip verso indizi d'immagine ad alta risoluzione.
4. Unprojection & Rendering: Le mappe di profondità predette vengono unproiettate in 3D per formare i centri delle Gaussiane. La scena viene renderizzata utilizzando un rasterizzatore Gaussiano differenziabile per produrre mappe di albedo, metallicità, rugosità, normale e profondità.

Addestramento

Il modello è addestrato sul dataset InteriorVerse utilizzando una combinazione di perdite pixel-wise e percettive:

• Supervisione del Materiale: Perdite $L_1$ e LPIPS per albedo, metallicità e rugosità.
• Supervisione della Profondità: Una perdita affine-invariante (ispirata a MoGe) per gestire l'ambiguità di scala.
• Supervisione della Normale: Perdita di similarità del coseno.
  L'addestramento ottimizza congiuntamente l'encoder geometrico, il traduttore intrinseco e le teste di decodifica.

Contributi Chiave

1. Primo Framework di Inverse Rendering Feed-Forward: InvSplat è il primo metodo che predice primitive Gaussiane 3D basate sulla fisica con parametri materiali intrinseci da immagini multi-vista in un singolo passaggio forward, eliminando la necessità di ottimizzazione per singola scena.
2. Rappresentazione 3D Unificata: Integrando i priori dalla stima dei materiali basata su immagini e dai modelli di ricostruzione 3D, produce proprietà materiali 3D di alta qualità con una forte generalizzazione ai dati del mondo reale.
3. Abilitazione di Relighting e NVS Coerente: La rappresentazione delle Gaussiane 3D disaccoppiata supporta la sintesi di nuove viste con materiali decomposti, consentendo un relighting fisicamente basato e una modellazione di effetti dipendenti dalla vista che è coerente tra le diverse visuali.

Risultati

Gli esperimenti sono stati condotti su dataset sintetici (InteriorVerse, Structured3D) e reali (RealEstate10K, DL3DV).

• Prestazioni Quantitative: Sul test set di InteriorVerse, InvSplat raggiunge prestazioni comparabili ai baseline 2D (come MVInverse) in termini di PSNR, SSIM e LPIPS per albedo e normali, fornendo al contempo una rappresentazione 3D esplicita.
• Coerenza Multi-Vista: Sul dataset Structured3D, InvSplat dimostra una coerenza cross-view superiore (minore RMSE di riproiezione) rispetto ai metodi 2D, particolarmente per attributi impegnativi come metallicità e rugosità.
• Risultati Qualitativi: Le visualizzazioni mostrano che InvSplat evita di "cuocere" (bake) i riflessi nell'albedo, producendo dettagli più fini e predizioni più coerenti tra le viste rispetto ai baseline 2D, che spesso mostrano deriva attorno alle superfici riflettenti.
• Efficienza: Il metodo raggiunge la ricostruzione in circa 1,5 secondi, consentendo il rendering in tempo reale.

Significato

Il paper sostiene che InvSplat colmi il divario tra l'inferenza feed-forward efficiente e l'inverse rendering ad alta fedeltà. Passando dalle predizioni nello spazio delle immagini a una rappresentazione esplicita di Gaussiane 3D con parametri intrinseci, il metodo supera i problemi di inconsistenza multi-vista degli approcci precedenti basati sull'apprendimento e i colli di bottiglia computazionali dei metodi basati sull'ottimizzazione. Ciò consente la decomposizione istantanea della scena, facilitando applicazioni a valle come il relighting e l'editing dei materiali che erano precedentemente difficili da raggiungere con i modelli feed-forward.