FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

Sintesi Tecnica: FLAT (Feedforward Latent Triangle Splatting)

Definizione del Problema
Generare scene 3D esplorabili da una singola immagine richiede un equilibrio tra forti prior generativi e rappresentazioni geometricamente accurate, adatte ad applicazioni downstream come la simulazione e le pipeline grafiche standard. Sebbene gli attuali modelli di diffusione video offrano una generazione di alta qualità e una struttura geometrica multi-view implicita, gli esistenti decoder feedforward tipicamente producono gaussiane volumetriche 3D. Queste primitive gaussiane mancano di superfici ben definite, rendendole inadatte alla maggior parte dei motori grafici che si affidano a rappresentazioni di superficie opache (ad esempio, triangoli o mesh). Inoltre, l'ottimizzazione diretta di rappresentazioni basate su triangoli o mesh opachi tramite predizione feedforward è problematica a causa della non differenziabilità del rendering standard e della sensibilità delle primitive piatte agli errori di orientamento, il che spesso porta a un flusso di gradienti scarso e a instabilità nell'addestramento.

Metodologia
FLAT introduce una pipeline feedforward che decodifica splat triangolari espliciti e non volumetrici direttamente dallo spazio latente di un modello di diffusione video congelato in un unico passaggio in avanti (single forward pass). Il sistema opera come segue:

1. Architettura della Pipeline: Il metodo aumenta un modello di diffusione video latente congelato e condizionato alla camera (specificamente Uni3C basato su Wan-2.1) con un decoder di scena leggero. Data una singola immagine RGB e una traiettoria della camera target, il modello video genera un latente denoisato. Il decoder mappa quindi questo latente direttamente in parametri di scena espliciti (splat triangolari) senza ottimizzazione per singola scena.
2. Parametrizzazione del Triangolo Centrata sul Raggio: Per affrontare l'instabilità della regressione di primitive piatte, FLAT impiega una nuova parametrizzazione. Invece di predire vertici 3D non vincolati o rotazioni complete nello spazio del mondo, ogni token del decoder predice un triangolo rispetto a un frame locale centrato sul raggio:
   • Posizione: Definita da un valore di profondità lungo un raggio ancora.
   • Forma: Derivata da un triangolo equilatero 2D canonico trasformato da una matrice triangolare inferiore vincolata (stile Cholesky), garantendo un'area strettamente positiva ed evitando soluzioni degenerate.
   • Orientamento: Parametrizzato da angoli di tilt (inclinazione) e spin (rotazione) residui attorno al frame allineato al raggio, piuttosto che una rotazione 3D completa (ad esempio, un quaternione), il che migliora la stabilità numerica.
3. Rendering Differenziabile e Funzione Finestra: Per abilitare il flusso di gradienti durante l'addestramento, FLAT utilizza una funzione finestra modificata per il rendering di triangoli differenziabile. A differenza di formulazioni precedenti che utilizzano una riduzione max o confini netti, FLAT introduce una "funzione finestra prodotto". Questa funzione estende l'influenza del triangolo oltre il suo confine esatto e instrada i gradienti a tutti e tre i vertici simultaneamente, migliorando significativamente il flusso di gradienti e la stabilità dell'addestramento.
4. Condizionamento della Camera: Le informazioni della camera sono codificate come embedding di raggi densi per pixel (utilizzando una parametrizzazione Ray-Point-Perpendicular-Component o RPPC) e iniettate nel decoder tramite blocchi convoluzionali inizializzati a zero, garantendo l'allineamento con i latenti visivi.
5. Post-Processing: Per la compatibilità con i motori di gioco, un leggero passaggio di raffinamento al tempo di test converte la predetta "zuppa di triangoli" semi-opaca in una mesh completamente opaca. Ciò comporta il raffinamento della profondità e della geometria, spingendo l'opacità verso valori binari e cucendo i bordi.

Contributi Chiave

• Prima Decodifica Diretta di Primitive di Superficie: Il paper dimostra, per la prima volta, che primitive di superficie esplicite e non volumetriche (triangoli) possono essere decodificate direttamente da latenti di diffusione video compressi in un singolo passaggio in avanti.
• Parametrizzazione e Rendering Stabili: Gli autori introducono gli ingredienti tecnici specifici necessari per rendere questo possibile: una parametrizzazione del triangolo locale centrata sul raggio con forma vincolata e orientamento residuo, e una nuova funzione finestra prodotto che stabilizza l'addestramento migliorando il flusso di gradienti.
• Analisi Sistematica della Rappresentazione: Gli autori forniscono il primo confronto sistematico tra 3D Gaussian Splatting (3DGS), 2D Gaussian Splatting (2DGS) e triangle splatting sotto identiche condizioni di addestramento. Questa analisi caratterizza i compromessi tra qualità di rendering, accuratezza geometrica e compatibilità con mesh downstream.

Risultati
Valutato sui dataset RealEstate10K e DL3DV, FLAT ottiene quanto segue:

• Accuratezza Geometrica: Il modello basato su triangoli produce una geometria significativamente più accurata rispetto alle varianti Gaussiane. Ottiene una similarità del coseno di 0,853 con le normali della ground-truth (Metric3D), superando 2DGS (0,587) e 3DGS (che produce normali quasi casuali a causa della natura volumetrica).
• Qualità Visiva: Sebbene 3DGS rimanga la baseline più forte per la pura fedeltà visiva (PSNR), le varianti di FLAT e 2DGS mantengono una qualità visiva competitiva, con punteggi PSNR comparabili a metodi allo stato dell'arte come Lyra e Wonderland.
• Conversione in Mesh: Il post-processing proposto converte la predizione feedforward in una mesh opaca che ottiene un miglioramento del PSNR superiore a 7 dB rispetto alle mesh estratte dalle rappresentazioni 3DGS/2DGS, dimostrando una compatibilità superiore con le pipeline grafiche standard.

Significatività
Il paper sostiene che FLAT stabilisce un nuovo paradigma per la generazione di scene feedforward, dimostrando che i modelli di generazione video latente possono servire come potenti prior non solo per la sintesi di immagini, ma anche per la predizione diretta di scene 3D con struttura geometrica esplicita. Decodificando con successo primitive non volumetriche, il metodo colma il divario tra l'IA generativa e le pipeline grafiche standard, consentendo la creazione di asset pronti per i motori di gioco senza l'overhead computazionale dell'ottimizzazione per singola scena. Il lavoro evidenzia come, con una parametrizzazione e una formulazione del rendering accurata, sia possibile superare i problemi di stabilità precedentemente associati alla decodifica feedforward di primitive piatte.