DiffTrans: Differentiable Geometry-Materials Decomposition for Reconstructing Transparent Objects

Il paper presenta DiffTrans, un framework di rendering differenziabile che scompone e ricostruisce con precisione la geometria e i materiali di oggetti trasparenti in scene complesse, superando le limitazioni dei metodi esistenti grazie a una rappresentazione basata su FlexiCubes e a un tracciatore di raggi ricorsivo ottimizzato.

L'essenziale

Immagina di dover ricostruire un oggetto di vetro o una gemma preziosa solo guardando delle fotografie. È un compito da incubo per un computer, perché il vetro è un "bug" della realtà: non vedi solo la sua superficie, ma vedi anche ciò che c'è dietro, distorto, e vedi riflessi che sembrano provenire da nessun luogo. È come cercare di capire la forma di un cubo di ghiaccio guardando attraverso un prisma che cambia colore e forma tutto ciò che tocca.

Fino a poco tempo fa, i computer erano bravi a ricostruire oggetti solidi (come una mela), ma fallivano miseramente con quelli trasparenti. O ricostruivano la forma sbagliata, o non capivano che il vetro assorbe un po' di luce (come il vetro colorato di una finestra), o non sapevano come rifrange la luce (come fa un prisma).

DiffTrans è il nuovo "super-eroe" che risolve questo problema. Ecco come funziona, passo dopo passo, con delle analogie:

1. Il Problema: Il Gioco del "Cosa c'è dietro?"

Immagina di avere un oggetto di vetro complesso, come un ciondolo di cristallo con incisioni interne. Se fai una foto, la luce attraversa l'oggetto, si piega (rifrazione), viene assorbita un po' (colore) e rimbalza (riflessione). Per un computer, è impossibile capire se quella macchia di colore è sulla superficie dell'oggetto o se è un'immagine del mondo dietro di esso distorta dal vetro. È come cercare di capire la forma di un'ombra proiettata da un oggetto che non esiste più.

2. La Soluzione: DiffTrans (Il "Doppiogiochista" della Luce)

Gli autori hanno creato un sistema chiamato DiffTrans che funziona in tre fasi magiche:

Fase 1: Il Contorno (La Sagoma)

Prima di capire il vetro, devi sapere dove si trova.

• L'analogia: Immagina di avere un foglio di carta con il contorno nero di un oggetto. Il computer usa questo contorno per creare una "scultura di argilla" grezza.
• Cosa fa DiffTrans: Usa una tecnica intelligente (chiamata FlexiCubes) per prendere le sagome degli oggetti dalle foto e creare una forma 3D di base. È come se il computer scolpisse velocemente la forma generale dell'oggetto, anche se all'inizio è un po' ruvida e piena di buchi.

Fase 2: La Mappa del Mondo (L'Ambiente)

Il vetro è specchiato e trasparente: per capire com'è fatto, devi sapere cosa c'è dietro di esso.

• L'analogia: Se guardi attraverso una finestra sporca, devi sapere cosa c'è fuori per capire cosa vedi dentro.
• Cosa fa DiffTrans: Guarda le parti delle foto fuori dall'oggetto (lo sfondo) e ricostruisce una mappa 3D dell'ambiente circostante. Ora il computer sa esattamente cosa c'è dietro l'oggetto, così può capire come la luce viaggia attraverso il vetro.

Fase 3: Il Trucco Finale (Il Ray Tracer Ricorsivo)

Questa è la parte geniale. Una volta che ha la forma grezza e la mappa dello sfondo, il sistema inizia a "giocare" con la luce.

• L'analogia: Immagina di avere un laser magico. Il computer lancia milioni di raggi di luce attraverso il suo modello 3D.
  • Quando un raggio colpisce il vetro, il computer calcola: "Quanta luce rimbalza? Quanta passa attraverso? Di quanto si piega?".
  • Se il raggio attraversa il vetro, il computer controlla se il vetro ha dei colori interni (come un vetro rosso che assorbe la luce verde).
  • Poi, confronta il risultato di questo "gioco di luce" con la foto reale. Se non corrisponde, il computer modifica leggermente la forma dell'oggetto, il suo indice di rifrazione (quanto piega la luce) e il suo colore interno.
• La magia: Fa questo milioni di volte, in un ciclo continuo, finché il modello 3D non diventa una copia perfetta dell'oggetto reale, con tutta la sua complessità interna.

Perché è così speciale?

1. Non è solo una superficie: Molti metodi precedenti pensavano che il vetro fosse solo una pelle esterna. DiffTrans capisce che il vetro può avere "intestini" colorati o assorbire la luce (come una bottiglia di vino scuro).
2. È veloce: Hanno scritto il codice in un linguaggio super veloce (CUDA) che parla direttamente alla scheda video, rendendo il processo molto più rapido dei metodi precedenti.
3. Puoi cambiarne la luce: Una volta ricostruito l'oggetto, puoi spostare la luce virtuale. Puoi dire: "Ehi, metti una luce rossa da sinistra" e il computer renderà l'oggetto di vetro che reagisce alla luce rossa in modo realistico, perché ha capito esattamente come è fatto.

In sintesi

DiffTrans è come un detective che, guardando solo delle foto di un oggetto di vetro, riesce a:

1. Capire la sua forma esatta.
2. Capire di che materiale è fatto (quanto è denso, quanto assorbe luce).
3. Capire come piega la luce.

Il risultato? Una ricostruzione 3D così perfetta che puoi prendere quell'oggetto digitale, metterlo in una stanza virtuale diversa e illuminarlo come vuoi, e sembrerà vero. È un passo gigante verso il rendere gli oggetti trasparenti (come gioielli, vetri, resine) facili da digitalizzare per il cinema, i videogiochi e la realtà virtuale.

Sommario tecnico

1. Il Problema

La ricostruzione di oggetti trasparenti a partire da un set di immagini multi-vista è un compito estremamente complesso e mal posto (ill-posed). La difficoltà principale risiede nella natura intrinseca della propagazione della luce, che subisce rifrazione, riflessione e assorbimento all'interno dell'oggetto e con l'ambiente circostante.
Le metodologie esistenti presentano limitazioni significative:

• Semplicità eccessiva: Molti metodi sono progettati per scenari specifici, assumendo topologie uniformi, trasparenza ideale o solo riflessioni speculari superficiali.
• Mancanza di decomposizione: Approcci come NeRRF o Nu-NeRF spesso ignorano i materiali interni o modellano solo le superfici, fallendo nel ricostruire oggetti con texture assorbenti complesse (es. gioielli, decorazioni in vetro, resina).
• Qualità della geometria: I metodi basati su campi neurali impliciti (NeRF) o eikonal faticano a estrarre mesh affidabili a causa della mancanza di vincoli geometrici diretti, rendendoli inadatti a oggetti con topologie intricate.

2. Metodologia: DiffTrans

Gli autori propongono DiffTrans, un framework di rendering differenziabile che scompone e ricostruisce simultaneamente la geometria e i materiali degli oggetti trasparenti. L'approccio è strutturato in tre fasi progressive:

A. Inizializzazione della Geometria e dell'Ambiente

• Geometria: Viene utilizzata la rappresentazione FlexiCubes come superficie iso. Per recuperare una geometria iniziale efficiente partendo solo dalle silhouette (maschere) multi-vista, vengono applicate regolarizzazioni di dilatazione (per evitare buchi e fratture interne) e liscezza (per ridurre il rumore).
• Ambiente: Viene ricostruito un campo di radianza ambientale (Environment Radiance Field) utilizzando i pixel al di fuori della maschera dell'oggetto nelle immagini di input, impiegando una struttura ibrida di griglia densa e tri-piani (simile a MERF).

B. Interazione Luce-Oggetto

Il framework adotta un approccio basato su leggi fisiche per modellare l'interazione della luce:

• Riflessione e Rifrazione: Calcolati deterministici tramite le equazioni di Fresnel, senza necessità di campionamento casuale (grazie all'assunzione di superfici lisce e indice di rifrazione coerente).
• Trasporto Ottico: Viene semplificata l'equazione del trasporto radiativo per modellare l'assorbimento all'interno del mezzo. La radianza decade esponenzialmente lungo il raggio in base al tasso di assorbimento ($\mu_t$), modellato come una texture 3D differenziabile.

C. Tracciatore di Raggi Ricorsivo Differenziabile (Core Innovation)

Il cuore del sistema è un ray tracer ricorsivo differenziabile implementato in CUDA e OptiX. Questo componente:

• Simula il percorso della luce in modo ricorsivo, tracciando raggi di riflessione e rifrazione fino a una profondità massima.
• Permette l'ottimizzazione unificata ed end-to-end di tre parametri chiave: la geometria (mesh), l'indice di rifrazione (IoR) e il tasso di assorbimento.
• È altamente efficiente computazionalmente grazie all'implementazione GPU nativa, riducendo drasticamente i costi rispetto ai metodi basati su MLP puri.

D. Funzione di Perdita (Loss Function)

L'ottimizzazione è guidata da una combinazione di:

• Perdita di colore ($L_{color}$): Confronto L2 tra l'immagine renderizzata e quella reale.
• Regolarizzazione del tono ($L_{tone}$): Vincola il rapporto tra i canali di colore per evitare gradienti errati causati da sfondi scuri o rifrazioni.
• Regolarizzazione del materiale ($L_{mat-smooth}$): Assicura la coerenza spaziale del tasso di assorbimento.
• Vincoli geometrici: Per mantenere la consistenza della maschera e la liscietà della superficie.

3. Contributi Chiave

1. Framework DiffTrans: Un nuovo framework di rendering differenziabile capace di decomporre e ricostruire geometria e materiali (incluso l'assorbimento interno) per oggetti con topologie diverse e texture complesse.
2. Inizializzazione Robusta: L'uso di FlexiCubes con regolarizzazione di dilatazione e liscietà permette di ottenere una geometria iniziale di alta qualità partendo esclusivamente dalle silhouette, risolvendo il problema delle mesh frammentate.
3. Tracciatore di Raggi Ricorsivo: Un tracciatore implementato in OptiX/CUDA che ottimizza congiuntamente geometria, IoR e assorbimento in modo end-to-end, superando i limiti dei metodi precedenti che trattavano questi parametri separatamente o in modo approssimativo.
4. Capacità di Editing: La ricostruzione accurata dei materiali permette operazioni di editing della scena, come il re-lighting (cambiamento dell'illuminazione), con risultati realistici.

4. Risultati Sperimentali

Il metodo è stato valutato su dataset sintetici (inclusi NEMTO e dati da Lyu et al.) e reali (scatti con iPhone).

• Qualità Geometrica: DiffTrans supera gli stati dell'arte (NeRO, NU-NeRF, NeRRF) in termini di distanza Chamfer (CD) e F1-score. Mentre i metodi concorrenti mostrano rugosità superficiale o errori strutturali (es. riempimento errato di spazi vuoti), DiffTrans ricostruisce mesh precise anche per oggetti complessi come "monkey" e "horse".
• Stima dei Materiali: Il sistema riesce a predire con alta precisione l'Indice di Rifrazione (IoR) e il tasso di assorbimento, avvicinandosi ai valori di ground truth.
• Re-lighting: Nelle prove di re-illuminazione, DiffTrans ottiene metriche superiori (PSNR, SSIM, LPIPS) rispetto ai baselines, dimostrando di aver correttamente separato geometria e materiali. I metodi concorrenti falliscono nel simulare la rifrazione o non modellano l'assorbimento, producendo risultati poco realistici.
• Efficienza: L'implementazione in CUDA garantisce tempi di addestramento contenuti (1-2 ore per scena) e un utilizzo della memoria gestibile.

5. Significato e Impatto

DiffTrans rappresenta un passo avanti significativo nella computer vision per la ricostruzione 3D di oggetti trasparenti.

• Superamento delle limitazioni attuali: Risolve il problema della ricostruzione di oggetti con texture interne assorbenti, un caso d'uso comune nel mondo reale (gioielleria, arte, design) che i metodi precedenti non riuscivano a gestire.
• Applicabilità Pratica: La capacità di decomporre geometria e materiali apre la porta a nuove applicazioni nel re-lighting, nella realtà aumentata e nella digitalizzazione di beni culturali o industriali.
• Efficienza Computazionale: Dimostrare che un tracciatore di raggi ricorsivo differenziabile può essere implementato efficientemente su GPU rende queste tecniche accessibili per scenari reali, non solo per esperimenti di ricerca puramente teorici.

In sintesi, DiffTrans offre una soluzione robusta ed efficiente per uno dei problemi più difficili nella ricostruzione 3D, combinando rappresentazioni geometriche esplicite (mesh) con modelli fisici di trasporto della luce in un framework di ottimizzazione differenziabile.