Lighting-Consistent Object Transfer Across Radiance Fields

Sintesi Tecnica: Trasferimento di Oggetti con Coerenza di Illuminazione tra Campi di Radianza (DOT3D)

Problematica
Lo 3D Gaussian Splatting (3DGS) consente la cattura e il rendering in tempo reale di scene reali in modo efficiente. Tuttavia, l'editing di queste rappresentazioni è complesso perché i materiali e l'illuminazione sono intrecciati al momento della cattura. Sebbene il compositing di oggetti da una scena catturata in un'altra abbia applicazioni nella VFX, nell'architettura e nel marketing, il trasferimento ingenuo (copia delle primitive Gaussiane) produce risultati irrealistici. La principale modalità di fallimento è l'incoerenza dell'illuminazione: l'oggetto trasferito manca di ombre, riflessi e punti di luce appropriati per l'ambiente target, facendolo apparire incollato piuttosto che integrato. Le soluzioni esistenti richiedono o costosa modellazione 3D manuale e stima dell'illuminazione, o sono limitate all'armonizzazione 2D delle immagini, fallendo nel produrre risultati 3D coerenti tra più viste.

Metodologia: DOT3D
Gli autori propongono DOT3D (Diffusion Object Transfer in 3D), una pipeline che estrae un oggetto da una scena 3DGS sorgente, lo posiziona in una scena 3DGS target e armonizza l'illuminazione per farla corrispondere al nuovo ambiente. Il processo consiste in tre fasi principali:

1. Composizione Interattiva di Oggetti:

   • Segmentazione: La scena sorgente viene ricostruita in 3DGS. Per estrarre un oggetto, il metodo assegna una caratteristica di classificazione binaria ($d=1$) a ogni primitiva Gaussiana. Queste caratteristiche vengono ottimizzate tramite una perdita di cross-entropia binaria rispetto a maschere 2D (generate da BiRefNet) per segmentare l'oggetto in 3D.
   • Trasferimento: Gli utenti posizionano interattivamente l'oggetto segmentato in una scena 3DGS target, regolandone posizione, orientamento e scala. Ciò crea un "composito ingenuo" iniziale in cui l'oggetto conserva la sua illuminazione originale, producendo inconsistenze visive.

2. Armonizzazione a Vista Singola (Modello di Diffusione):

   • Il cuore del metodo è un modello di diffusione perfezionato (basato su FLUX.1-schnell) che trasforma le immagini composite incoerenti in viste armonizzate.
   • Input: Il modello riceve un render del composito ingenuo, la maschera binaria dell'oggetto e l'immagine stessa del composito.
   • Dati di Addestramento: Per addestrare il modello, gli autori hanno costruito un dataset eterogeneo proveniente da tre fonti:
     • Dati Sintetici: Scene interne renderizzate con Blender con illuminazione globale ground-truth, dove gli oggetti sono renderizzati sotto illuminazione errata e incollati su sfondi.
     • Dati Generati: Immagini create con FLUX, elaborate con una rete di rimozione oggetti personalizzata (addestrata su dati sintetici) per generare sfondi, e ri-illuminate tramite DiffusionRenderer per creare compositi incoerenti.
     • Dati Reali: Immagini sottocampionate dal dataset ORIDa, aumentate tramite ri-illuminazione con DiffusionRenderer.
   • Processo: Il modello opera nello spazio latente di un autoencoder variazionale, regredendo la velocità per trasformare un latente rumoroso in un'immagine armonizzata che includa ombre, riflessi e integrazione dell'illuminazione corretti.

3. Consolidamento Multi-Vista (Post-Ottimizzazione 3DGS):

   • Poiché il modello di diffusione elabora le viste in modo indipendente, le immagini armonizzate risultanti potrebbero mancare di coerenza 3D.
   • Gli autori propongono una fase di post-ottimizzazione per consolidare queste viste in una singola rappresentazione 3DGS.
   • Ottimizzazione: Partendo dal 3DGS del composito ingenuo, il metodo ottimizza solo i colori (tutte le bande degli armoniche sferiche) delle primitive Gaussiane utilizzando una perdita percettiva (LPIPS).
   • Vincoli: Gli effetti dipendenti dalla vista della scena sorgente vengono azzerati (le bande SH più alte impostate a zero) per prevenire artefatti da punti di vista non visti. La geometria e l'opacità rimangono fisse. Questo passaggio assicura che la scena finale sia coerente tra più viste pur preservando l'alta fedeltà dell'armonizzazione generata dal modello di diffusione.

Contributi Chiave

• Un Modello di Diffusione Specializzato: Un modello perfezionato per l'armonizzazione dell'illuminazione 2D dell'inserimento di oggetti, addestrato su un dataset eterogeneo che combina dati sintetici, generati e reali.
• Post-Ottimizzazione 3DGS: Una strategia di consolidamento che trasforma le viste 2D armonizzate indipendentemente in una scena 3DGS coerente ottimizzando i colori delle Gaussiane con una perdita percettiva, evitando la necessità di aggiornamenti iterativi del dataset.
• Pipeline Interattiva: Un flusso di lavoro completo che consente agli utenti di estrarre, posizionare e armonizzare oggetti tra scene 3DGS con illuminazione, ombre e riflessi coerenti.

Risultati e Valutazione
Il metodo è stato valutato su una varietà di dataset reali (Mip-NeRF-360, DL3DV, Ref-NeRF, ecc.) e scene sintetiche di alta qualità con ground truth.

• Prestazioni Qualitative: Rispetto ai metodi 2D (LBM, MV-CoLight, Nano Banana) e agli approcci di inverse rendering 3D (Gaussian Shader, GS-IR, 3DGS-DR), DOT3D produce risultati significativamente più realistici. I metodi precedenti spesso falliscono nel generare ombre di contatto, soffrono di color bleeding o producono superfici eccessivamente sature. DOT3D integra con successo gli oggetti con ombre e riflessi plausibili.
• Prestazioni Quantitative: Su scene sintetiche con ground truth, DOT3D supera i baseline di inverse rendering in tutte le metriche (PSNR, SSIM, LPIPS, FID, KID). Ad esempio, raggiunge un PSRE di 22.53 rispetto ai 18.66 del secondo miglior metodo (Gaussian Shader).
• Coerenza: Gli studi di ablazione sulla coerenza dell'illuminazione attraverso diverse pose dell'oggetto dimostrano che il metodo mantiene un'illuminazione costante nelle nuove viste.
• Ablazioni: Lo studio conferma che il dataset sintetico di Blender è la componente più critica per l'addestramento del modello di diffusione. Inoltre, si dimostra che l'approccio di post-ottimizzazione a singolo step è più efficace ed efficiente rispetto alle strategie di aggiornamento iterativo del dataset.

Significato e Rivendicazioni
Il paper sostiene che DOT3D fornisce una soluzione "visivamente convincente" che rende facile l'uso del trasferimento di oggetti tra scene 3DGS e migliora significativamente la qualità rispetto ai metodi precedenti. Sfruttando i prior dei modelli di diffusione per l'armonizzazione 2D e una post-ottimizzazione leggera per la coerenza 3D, il metodo affronta il difficile problema inverso dell'armonizzazione dell'illuminazione senza richiedere la ricostruzione esplicita della geometria o una complessa stima dell'illuminazione. Gli autori osservano che, sebbene il metodo produca risultati "plausibili" piuttosto che un'accuratezza fisica assoluta, esso consente un riutilizzo realistico degli asset in diversi ambienti catturati. Il lavoro è presentato come un passo avanti nel rendere le rappresentazioni 3DGS modificabili per applicazioni del mondo reale come la VFX e il design d'interni.