Meshtryoshka: Differentiable Rendering of Real-World Scenes via Mesh Rasterization

Problematica
Il rendering differenziabile è diventato una pietra angolare per la ricostruzione 3D e la sintesi di nuove viste, eppure i metodi allo stato dell'arte si affidano prevalentemente a rappresentazioni non basate su mesh (ad esempio, campi di radianza neurale, Gaussian splatting 3D) o a renderer differenziabili specializzati. Sebbene le mesh di superficie 3D siano lo standard del settore per portabilità, accelerazione hardware e flussi di lavoro grafici a valle, le tecniche esistenti di rendering di mesh differenziabile sono ampiamente limitate a scene centrate su oggetti. Spesso richiedono maschere foreground-background, faticano con ambienti reali non limitati e tipicamente dipendono da implementazioni CUDA personalizzate o dalla stima del gradiente stocastico per gestire la non-differenziabilità dei rasterizzatori standard. Di conseguenza, non esiste un metodo che riesca simultaneamente a ottenere risultati fotorealistici su scene del mondo reale e ad ottimizzare direttamente una rappresentazione mesh utilizzando strumenti grafici convenzionali.

Metodologia: Meshtryoshka
Gli autori introducono Meshtryoshka, un framework di rendering differenziabile che ottimizza una rappresentazione mesh 3D di scene reali e non limitate utilizzando un rasterizzatore di triangoli standard, non differenziabile. L'innovazione principale risiede nel disaccoppiamento dell'ottimizzazione delle posizioni dei vertici dal processo di rasterizzazione.

1. Parametrizzazione della Scena ed Estrazione della Mesh:
   La scena è rappresentata da una griglia sparsa di valori di funzione di distanza con segno (SDF) e coefficienti di armoniche sferiche per il colore dipendente dalla vista. Durante ogni fase di ottimizzazione, il metodo estrae molteplici livelli di iso-superfici dall'SDF utilizzando un'implementazione differenziabile dell'algoritmo di Marching Cubes. Questo produce una "Matrioska" di gusci di mesh triangolari annidati e non intersecanti. Ogni vertice in questi gusci riceve un valore di distanza con segno e coefficienti di armoniche sferiche tramite pesi di interpolazione derivati dal processo di Marching Cubes.

2. Rasterizzazione Non Differenziabile e Rendering Differito:
   Invece di implementare un ray-tracer differenziabile personalizzato, il metodo rasterizza ogni guscio di mesh indipendentemente utilizzando un rasterizzatore standard, non differenziabile. Il rasterizzatore produce ID di triangoli per pixel e coordinate baricentriche. Questi vengono utilizzati per eseguire un'interpolazione differenziabile dei valori SDF e dei coefficienti delle armoniche sferiche per vertice nello spazio immagine, mimando efficacementamente uno shader di frammento.
   Per approssimare il volume rendering, il metodo assegna valori di trasmittanza specifici ($T_i$) a ciascun guscio. Il guscio più interno è impostato con una trasmittanza vicina allo zero (opaco), garantendo che occluda tutti i gusci successivi. L'immagine finale è costruita tramite alpha-compositing dei gusci renderizzati. I gradienti fluiscono dall'errore di rendering attraverso il processo di alpha-compositing e il passaggio di interpolazione per aggiornare l'SDF sottostante e i parametri di colore, ottimizzando indirettamente la geometria della mesh.

3. Scalabilità a Scene Non Limitate:
   Per gestire scene reali e non limitate, gli autori impiegano diverse strategie:

• Sparsità: Viene utilizzata un'implementazione sparsa di Marching Cubes, che memorizza i parametri solo per i voxel attivi e i voxel ausiliari, riducendo drasticamente l'uso della memoria rispetto alle griglie dense.
• Ottimizzazione Coarse-to-Fine: La griglia viene inizializzata a bassa risoluzione e successivamente suddivisa progressivamente, potando lo spazio vuoto e raffinando la geometria solo dove necessario.
• Griglie Non Cubiche: La scena è divisa in un foreground (un cubo allineato agli assi) e un background. Il background è modellato utilizzando sei frustum troncati con vertici scalati esponenzialmente. Ciò consente un'allocazione efficiente della risoluzione, posizionando meno parametri nelle regioni distanti pur mantenendo i rapporti d'aspetto dei voxel adatti al Marching Cubes.

4. Regolarizzazione:
   Per garantire un'ottimizzazione stabile, il metodo impiega una perdita di fluidità Laplaciana sui valori SDF (anziché una perdita Eikonal, che può causare artefatti a scacchiera nelle griglie esplicite) e una penalità L1 per incoraggiare la sparsità nelle regioni non osservate. Inoltre, il tasso di apprendimento per le componenti delle armoniche sferiche non-DC è ridotto per evitare che il modello "imbrogli" la geometria per adattarsi a viste specifiche.

Contributi Chiave

• Un Nuovo Framework: Meshtryoshka è il primo metodo di rendering di mesh differenziabile capace di ricostruire scene 3D reali e non limitate senza richiedere maschere di foreground.
• Compatibilità con Strumenti Standard: Il metodo dimostra che un rendering differenziabile di alta qualità è possibile utilizzando rasterizzatori standard non differenziabili, eliminando la necessità di renderer differenziabili personalizzati o stimatori di gradiente stocastici.
• Implementazioni ad Alte Prestazioni: Gli autori contribuiscono con implementazioni ottimizzate di classici algoritmi grafici, inclusa un'implementazione sparsa di Marching Cubes e un rasterizzatore di triangoli software capace di renderizzare oltre 100 milioni di triangoli simultaneamente.
• Ottimizzazione Diretta della Mesh: A differenza dei metodi che estraggono le mesh post-hoc da rappresentazioni volumetriche, Meshtryoshka ottimizza direttamente la rappresentazione mesh, garantendo che la qualità della fase di ottimizzazione corrisponda al rendering della mesh finale.

Risultati
Il metodo è stato valutato sui dataset NeRF-Synthetic (centrato su oggetti) e Mip-NeRF 360 (reale).

• Scene Centrate su Oggetti: Su NeRF-Synthetic, Meshtryoshka si comporta in modo competitivo con i metodi di rendering di superficie differenziabile allo stato dell'arte come NeuS2 e supera i precedenti metodi basati su mesh (nvdiffrec con DMTet/FlexiCubes) senza richiedere maschere di visibilità.
• Scene Reali: Su Mip-NeRF 360, il metodo ricostruisce con successo scene sfidanti e non limitate con un'alta qualità visiva, catturando dettagli fini come le razze di una bicicletta e le foglie degli alberi. Sebbene sia leggermente indietro rispetto ai metodi top-tier non basati su mesh come Zip-NeRF e 3-D Gaussian Splatting in termini di metriche quantitative (PSNR), supera significativamente i precedenti approcci basati su mesh, che non erano riusciti a produrre ricostruzioni coerenti in questi contesti.
• Studi di Ablazione: Gli esperimenti confermano la necessità del posizionamento esponenziale dei vertici, della sparsità, dei regolarizzatori e dell'uso di più gusci per ottenere risultati di alta qualità.

Significatività e Rivendicazioni
Il paper sostiene che Meshtryoshka suggerisce un nuovo percorso per il rendering differenziabile: è possibile ottenere una ricostruzione 3D e una sintesi di nuove viste competitive affidandosi interamente allo stack di rendering della computer grafica convenzionale (rasterizzatori standard e rappresentazioni mesh), piuttosto che a renderer differenziabili specializzati o primitive non-mesh. Gli autori affermano che il loro lavoro colma il divario tra la portabilità delle mesh e le prestazioni del moderno rendering differenziabile, consentendo l'ottimizzazione diretta delle mesh per scene reali. Tuttavia, gli autori rimangono modesti riguardo ai limiti, riconoscendo che il loro metodo attualmente produce più triangoli rispetto agli approcci basati su primitive, ha tempi di addestramento più lenti rispetto ai metodi veloci NeRF/Gaussian e può occasionalmente generare artefatti di tipo "floater" in regioni con scarsa osservazione.