Riepilogo Tecnico: Decomposizione Intrinseca e Editing di 3D Gaussian Splats

1. Definizione del Problema

La decomposizione intrinseca delle immagini, che separa i colori dell'immagine in albedo diffusa (trama) e shading (illuminazione/ombre), è un compito fondamentale per l'editing delle immagini. Essa permette agli utenti di modificare i colori e le trame degli oggetti senza alterare le condizioni di illuminazione sottostanti. Sebbene questo sia stato ampiamente studiato per immagini 2D, video e Neural Radiance Fields (NeRF), estendere tale processo ai 3D Gaussian Splatting (3DGS) presenta sfide uniche.

Gli approcci esistenti alla decomposizione intrinseca nel 3DGS tipicamente aumentano un singolo set di primitivi Gaussiani con quantità intrinseche (albedo, shading, residui). Tuttavia, questo approccio monolitico fatica perché i diversi componenti intrinseci richiedono diverse risoluzioni spaziali ed esibiscono caratteristiche distinte:

• L'Albedo spesso contiene dettagli ad alta frequenza (texture) ma manca di indizi geometrici in regioni uniformi.
• Lo Shading contiene bordi netti (ombre dure) ma è spesso liscio altrove.
• I Residui catturano effetti dipendenti dalla vista.

Un singolo set di Gaussiane non può adattarsi simultaneamente alle diverse esigenze spaziali di questi strati, portando a una ricostruzione e a capacità di editing subottimali. Inoltre, l'editing diretto del 3DGS spesso intreccia illuminazione e texture, rendendo difficile cambiare il colore di una superficie senza distorcere ombre o riflessi.

2. Metodologia

Gli autori propongono una pipeline che scinde il campo di radianza in tre set indipendenti di primitivi Gaussiani: uno per l'Albedo ($G_A$), uno per lo Shading ($G_S$) e uno per i Residui dipendenti dalla vista ($G_R$). Il modello di formazione dell'immagine è definito come:
$$I = A \times S + R$$
dove $I$ è l'immagine osservata, $A$ è l'albedo, $S$ è lo shading e $R$ è il residuo.

2.1 Modellazione

A differenza del 3DGS standard che utilizza gli Armonici Sferici (SH) per il colore dipendente dalla vista in tutti i primitivi, questo metodo personalizza la rappresentazione:

• Gaussiane di Albedo e Shading ($G_A, G_S$): Utilizzano semplici triplette RGB ($c \in \mathbb{R}^3$) poiché rappresentano quantità indipendenti dalla vista.
• Gaussiane dei Residui ($G_R$): Utilizzano gli Armonici Sferici per modellare gli effetti dipendenti dalla vista.
• Ottimizzazione Separata: Ogni set è ottimizzato indipendentemente, permettendo al numero e alla distribuzione dei primitivi di adattarsi alle specifiche esigenze di frequenza e geometriche di ciascuno strato.

2.1 Pipeline di Ricostruzione

Il processo di ricostruzione avviene in tre fasi principali:

1. Stima dell'Albedo basata sui Dati:

   • Il video in input viene elaborato da DiffusionRenderer (un modello di diffusione video) per predire mappe di albedo temporalmente coerenti per tutti i fotogrammi.
   • Per gestire video lunghi, gli autori impiegano la Brick Diffusion, alternando il processo di denoising su segmenti sovrapposti per garantire transizioni fluide ed evitare artefatti di confine.
   • Il video viene sottocampionato per creare un dataset multi-view per la ricostruzione 3D.

2. Ricostruzione del Campo di Albedo ($G_A$):

   • Le Gaussiane di albedo vengono ottimizzate utilizzando le immagini di albedo predette.
   • Sfida: Le immagini di albedo spesso mancano di indizi geometrici (colori a tratti costanti), rendendo difficile il posizionamento 3D.
   • Soluzione: L'ottimizzazione è regolarizzata tramite stime di profondità monoculari (da Depth Anything V2) e un termine di regolarizzazione della scala per incoraggiare i primitivi ad appiattirsi e formare bordi netti. Ciò assicura che il campo di albedo aderisca alla geometria della scena nonostante la mancanza di texture nelle mappe di albedo in input.

3. Ricostruzione di Shading e Residui ($G_S, G_R$):

   • Con $G_A$ congelato, il campo di shading viene ottimizzato per primo utilizzando il modello $I = A \times S$.
   • Il campo dei residui viene poi ottimizzato per catturare gli effetti non diffusi.
   • Regolarizzazione: Per evitare che lo shading diventi arbitrariamente grande nelle regioni scure dell'albedo, viene applicata una regolarizzazione di "neutralità del grigio" per incoraggiare le Gaussiane di shading a rimanmente neutre nel colore.
   • Inizializzazione: Le Gaussiane residue vengono generate in posizioni con alte differenze tra l'immagine di input e il composito del render diffuso.

2.3 Flusso di Lavoro di Editing

Il sistema consente l'editing interattivo dello strato di albedo preservando l'illuminazione:

1. Input Utente: L'utente seleziona una superficie e dipinge una nuova texture o colore su una vista specifica.
2. Superficie Proxy: Poiché la profondità del 3DGS è inaffidabile per la riproiezione, il sistema adatta un piano proxy alla superficie selezionata utilizzando RANSAC sulle Gaussiane contribuenti.
3. Sintesi Multi-vista: La texture editata viene renderizzata sul piano proxy da più viste vicine per generare un set di immagini di albedo "modificate".
4. Re-ottimizzazione: Le Gaussiane di albedo ($G_A$) vengono ri-ottimizzate utilizzando queste viste sintetizzate. Nuove Gaussiane vengono generate sul piano proxy per catturare i dettagli ad alta frequenza introdotti dall'editing.
5. Risultato: La scena finale può essere navigata da qualsiasi punto di vista con la nuova texture, mentre lo shading e le ombre originali (memorizzati in $G_S$ e $G_R$) rimangono intatti.

3. Contributi Chiave

1. Rappresentazioni Gaussiane Separate: Una nuova rappresentazione dei campi di radianza che utilizza tre distinti set di Gaussiane per albedo, shading e residui, permettendo a ogni strato di adattare la distribuzione dei propri primitivi alle caratteristiche del segnale.
2. Ricostruzione basata su Video Diffusion: Un metodo per ricostruire i campi intrinseci da fotografie multi-view utilizzando un prior di diffusione video (DiffusionRenderer) per garantire la coerenza temporale, regolarizzato da vincoli di profondità e scala per gestire l'ambiguità della ricostruzione dell'albedo.
3. Workflow di Editing Intrinseco: Un sistema che permette agli utenti di modificare le texture superficiali e i colori in una scena 3D preservando l'illuminazione e le ombre realistiche, grazie al disaccoppiamento dei componenti intrinseci e all'uso della riproiezione basata su proxy per la coerenza multi-vista.

4. Risultati e Valutazione

Il metodo è stato valutato su tre scene reali e una scena sintetica (con ground truth).

• Qualità della Decomposizione: Sulla scena sintetica, il metodo ha raggiunto una qualità di ricostruzione dell'albedo superiore (PSNR 29.4 vs 13.7 per GI-GS) rispetto ai metodi di rendering inverso allo stato dell'arte (GI-GS, R3GS), sebbene abbia richiesto più primitivi. Ha separato con successo la texture dallo shading, laddove i metodi concorrenti spesso mantenevano artefatti di shading nello strato di albedo.
• Capacità di Editing: In compiti di editing comparativi contro ReCoGS e SplatShop, il metodo proposto ha dimostrato una capacità superiore di modificare le texture senza alterare le ombre.
  • ReCoGS preservava le informazioni della texture durante la ricolorazione, fallendo nel rimuovere il pattern originale.
  • SplatShop sovrascriveva sia la texture che le ombre.
  • Il metodo proposto ha rimosso con successo la texture originale e applicato una nuova mantenendo intatti gli effetti di ombreggiatura e shading originali.
• Prestazioni: Il metodo è più lento del 3DGS vanilla a causa della necessità di renderizzare tre campi separati durante l'ottimizzazione e l'inferenza. Tuttavia, raggiunge velocità di rendering in tempo reale (circa 96–128 FPS) sul risultato composito finale.

5. Significato e Rivendicazioni

Il paper sostiene che, disaccoppiando albedo e shading in set Gaussiani indipendenti, sia possibile eseguire un editing fisicamente plausibile di scene 3D. Il significato risiede in:

• Coerenza Multi-vista: A differenza dei metodi di editing a singola vista, il workflow proposto garantisce che le modifiche rimangano coerenti attraverso diverse angolazioni di camera sfruttando la riproiezione basata sulla profondità e l'ottimizzazione multi-vista.
• Preservazione dell'Illuminazione: La separazione permette la modifica della texture senza il "lavaggio" o la distorsione delle ombre che tipicamente si verifica quando si modificano campi di radianza intrecciati.
• Praticità: L'approccio evita il costo computazionale proibitivo del pieno rendering inverso per scene complesse facendo affidamento su modelli di diffusione pre-addestrati per la decomposizione iniziale, rendendo fattibile l'editing di un'intera scena piuttosto che di singoli oggetti isolati.

Gli autori riconoscono i limiti, tra cui la natura "sfocata" del 3DGS che rende complesso l'editing non planare, la dipendenza dalla qualità dei prior di diffusione (che possono essere sfocati) e l'attuale incapacità di eseguire un relighting completo (cambiare le sorgenti luminose), concentrandosi invece sulla modifica dell'albedo.