Sintesi Tecnica: Floating Radiance Networks (FlaRe)

Definizione del Problema

I recenti progressi nelle rappresentazioni neurali di scene hanno raggiunto la sintesi di nuove viste fotorealistiche, eppure persiste un compromesso tra l'espressività dei campi neurali continui e l'efficienza, l'indirizzabilità e la compatibilità grafica della geometria esplicita.

• Neural Radiance Fields (NeRFs) modellano le scene come funzioni volumetriche continue, raggiungendo un'alta fedeltà visiva ma soffrendo di un costoso ray marching denso e di una difficile integrazione con le pipeline grafiche convenzionali.
• 3D Gaussian Splatting (3DGS) consente il rendering in tempo reale tramite primitivi anisotropi espliciti e rasterizzazione. Tuttavia, i suoi coefficienti di aspetto per ogni primitiva non definiscono una funzione di radianza spaziale continua sopra l'impronta di ciascuna primitiva, limitando la capacità di modellare effetti dipendenti dalla vista complessi come riflessioni e rifrazioni senza estensioni specializzate.
• I Metodi Ibridi Esistenti spesso combinano caratteristiche neurali con strutture esplicite, ma rimangono vincolati a procedure di rendering specifiche, aggregano caratteristiche attraverso gli elementi della scena o richiedono estensioni specifiche per l'editing, il ray-tracing o l'estrazione della geometria.

La sfida centrale è combinare la radianza localmente continua con una geometria indipendentemente indirizzabile e tracciabile tramite raggi per creare un modello di scena unificato che colmi il divario tra il rendering neurale e la grafica convenzionale.

Metodologia: Floating Radiance Networks (FlaRe)

FlaRe introduce una rappresentazione di scena neurale costruita su primitive gaussiane generalizzate planari fluttuanti, dove ogni primitiva porta con sé una compatta funzione di radianza neurale locale.

1. Rappresentazione della Scena

La scena è rappresentata da un insieme di $N$ primitive gaussiane generalizzate planari anisotrope. Ogni primitiva $i$ è parametrizzata da:

• Attributi Geometrici: Un centro addestinabile $\mu_i$, una matrice di covarianza singolare $\Sigma_i$ (derivata dal quaternione di rotazione $q_i$ e dalla scala $s_i$), e un parametro di forma $\kappa_i$.
• Attributi di Aspetto: Un colore costante indipendente dalla vista $c_{const,i}$, un'opacità costante $\alpha_{const,i}$ e un descrittore latente addestinabile $z_i \in \mathbb{R}^{96}$.
• Kernel: L'opacità è modulata da un Kernel Gaussiano Generalizzato Planare Isotropo, definito come:
  $$N(\mu, \Sigma, \kappa)(u, v) = \exp\left(-\frac{(u^2 + v^2)^\kappa}{2^\kappa}\right)$$
  Questa formulazione permette confini più netti e superfici ad alta curvatura rispetto ai classici kernel gaussiani. Fondamentalmente, la natura isotropa del kernel in coordinate normalizzate consente l'uso di un unico poligono canonico per tutte le primitive, indipendentemente dal parametro di forma $\kappa$, semplificando i test di intersezione accelerati dall'hardware.

2. Auto-Decoder Globale Condiviso

A differenza dei metodi che memorizzano colori statici per ogni primitiva, FlaRe predice colore e opacità spazialmente variabili e dipendenti dalla vista utilizzando un auto-decoder MLP leggero e condiviso.

• Input: Il decoder riceve il descrittore latente per primitiva $z_i$, le coordinate locali della superficie $(u, v)$ e la direzione di vista $\vec{d}$.
• Encoding:
  • LUT-Encoding: Le coordinate locali $(u, v)$ sono mappate tramite un Lookup Table (LUT) multirisoluzione privo di collisioni. Questo sostituisce le ricerche in hash-grid ad alta dimensione con una mappatura diretta uno-a-uno, riducendo l'overhead pur mantenendo l'equivalenza funzionale alle codifiche basate su hash.
  • Positional Encoding: La direzione di vista è codificata tramite un posizionamento standard.
• Output: La rete predice $c_{MLP,i}$ (colore) e $\alpha_{MLP,i}$ (opacità).
• Architettura: Una rete leggera con due strati nascosti (attivazione Hardswish) e uno strato di output che si dirama in quattro canali (tre ReLU, una Sigmoid).

3. Rendering e Ray-Tracing

FlaRe è progettato per il ray-tracing accelerato dall'hardware:

• Intersezione: I raggi intersecano i proxy poligonali canonici delle primitive utilizzando l'intersezione standard raggio-triangolo su GPU.
• Composizione: Per ogni raggio, vengono raccolte le intersezioni ordinate. Il colore finale del pixel è calcolato tramite composizione alfa:
  $$c = \sum_{i=1}^{|G(r)|} c_{const,i} c_{MLP,i} \alpha_i \prod_{j<i} (1 - \alpha_j)$$
  dove l'opacità effettiva $\alpha_i$ è modulata dal valore del kernel gaussiano generalizzato.
• Capacità Ricorsive: Poiché la rappresentazione è esplicitamente tracciabile tramite raggi, supporta nativamente raggi secondari per riflessioni, rifrazioni, trasparenze e ombre senza necessità di riaddestramento o conversione in un formato diverso.

4. Editing e Manipolazione

• Editing Geometrico: Le primitive sono indirizzabili singolarmente. Deformare il mesh proxy consente la manipolazione geometrica diretta. Il sistema recupera i parametri Gaussian aggiornati (centro, rotazione, scala) dalla geometria deformata.
• Estrazione Mesh: La struttura planare esplicita supporta l'estrazione di mesh tramite fusione TSDF (Truncated Signed Distance Field), aiutata da regolarizzatori di distorsione della profondità e coerenza delle normali.
• Stilizzazione: L'editing dell'aspetto viene eseguito direttamente nello spazio dei descrittori appresi ($z_i$), consentendo il trasferimento di stile guidato dall'immagine che preserva la struttura della scena.

Contributi Chiave

1. Rappresentazione Unificata: Introduzione di Floating Radiance Networks, che combina primitive planari esplicite tracciabili tramite raggi con funzioni di radianza neurali locali continue.
2. Formulazione Compatta: Un design che integra descrittori latenti per primitiva, un auto-decoder condiviso, LUT-Encoding multirisoluzione privo di collisioni e proxy mesh compatibili con l'hardware.
3. Capacità Versatili: Dimostrazione di ray-tracing ricorsivo, deformazione delle primitive, estrazione di mesh e stilizzazione dell'aspetto, tutto all'interno di una singola rappresentazione.

Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark standard (Mip-NeRF 360, Tanks and Temples, Deep Blending) e confrontati con Radiance Fields (RF), metodi basati su Gaussiane (GS) ed ENF (Explicit Neural Fields).

• Sintesi di Nuove Viste: FlaRe raggiunge una qualità competitiva, spesso superando in PSNR 3DGS, 3DGRT e altri baseline ENF. Su Mip-NeRF 360, ottiene il secondo PSNR più alto in assoluto. Su Deep Blending, guida il gruppo ENF.
• Efficienza: FlaRe offre un forte compromesso qualità-efficienza. Supera IRIS in qualità utilizzando sensibilmente meno memoria e consentendo il rendering interattivo. Migliora rispetto a Radiance Meshes su entrambi i benchmark con un uso di memoria circa 12 volte inferiore.
• Fedeltà Visiva: I risultati qualitativi mostrano che FlaRe ricostruisce più fedelmente riflessioni e riflessi speculari rispetto a 3DGS e Radiance Meshes, grazie alla predizione continua della radianza ad ogni intersezione raggio-primitiva.
• Riduzione delle Primitive: Sotto budget aggressivi di riduzione delle primitive, FlaRe eguaglia o supera i baseline come PUP-3DGS e LP-3DGS, indicando che i suoi descrittori neurali locali mantengono una forte capacità di aspetto anche con meno primitive.
• Capacità Grafiche: Il metodo dimostra con successo il ray-tracing ricorsivo (riflessioni e rifrazioni annidate), l'integrazione fluida con mesh convenzionali e l'estrazione diretta della mesh.

Significato e Dichiarazioni

Il paper posiziona FlaRe come un passo verso le rappresentazioni di scena unificate che non devono essere specializzate per un singolo paradigma di rendering. Portando il rendering neurale ad alta fedeltà, il ray-tracing ricorsivo, la manipolazione geometrica e l'editing dell'aspetto in un unico modello, FlaRe affronta la frammentazione nella ricerca attuale sulle rappresentazioni di scene neurali.

Gli autori affermano che questo approccio colma il divario tra il rendering neurale e la grafica convenzionale, permettendo:

• Query Dirette tramite Raggi: La rappresentazione stessa è direttamente interrogabile, eliminando la necessità di modelli di scena separati e specifici per effetti come riflessioni o ombre.
• Editabilità: La struttura esplicita consente la deformazione diretta e l'estrazione della mesh senza riaddestramento.
• Compattezza: L'uso di decoder condivisi e descrittori compatti consente una ricostruzione di alta qualità con un set di primitive minore rispetto agli approcci puramente rasterizzati o volumetrici.

Il documento riconosce alcuni limiti, notando che l'insieme finito di primitive planari può limitare l'accuratezza geometrica in campo lontano in scene esterne vaste e non delimitate, e che l'addestramento e il rendering interattivo richiedono GPU moderne con capacità di ray-tracing accelerato dall'hardware.