GaINeR: Geometry-Aware Implicit Network Representation

1. Il Problema

Le Rappresentazioni Neurali Implicite (INR) sono diventate uno standard per la modellazione di segnali continui (come immagini 2D), offrendo ricostruzioni ad alta fedeltà, super-risoluzione e compressione. Architetture come SIREN, WIRE e FINER hanno dimostrato capacità eccezionali nel catturare dettagli fini. Tuttavia, le INR convenzionali presentano due limitazioni fondamentali:

1. Mancanza di struttura geometrica esplicita: Essendo funzioni continue parametriche senza una struttura geometrica intrinseca, è difficile eseguire modifiche locali o integrarle con motori di simulazione fisica.
2. Limiti delle rappresentazioni discrete: Metodi recenti basati su Gaussian Splatting (come MiRaGe) introducono una geometria esplicita e modificabile, ma essendo discreti, soffrono di artefatti quando le trasformazioni fisiche alterano significativamente la geometria degli oggetti, e non offrono una rappresentazione truly continua.

L'obiettivo è quindi creare un modello che unisca la continuità e l'alta fedeltà delle INR con la modificabilità geometrica e l'integrazione fisica delle rappresentazioni esplicite.

2. Metodologia: GaINeR

Il framework proposto, GaINeR (Geometry-Aware Implicit Network Representation), risolve il problema combinando una distribuzione Gaussiana addestrabile con una rete neurale basata su INR.

Architettura e Funzionamento

• Componenti Gaussiani: L'immagine non è rappresentata da una griglia fissa, ma da un insieme di $N$ componenti Gaussiani apprendibili. Ogni componente $i$ è parametrizzata da:
  • Posizione media ($\mu_i$).
  • Matrice di covarianza ($\Sigma_i$).
  • Un vettore di embedding apprendibile ($\mathbf{e}_i$).
  • Per migliorare la capacità rappresentativa, gli embedding sono derivati da una hashgrid a multi-risoluzione durante l'addestramento.
• Meccanismo di Aggregazione (KNN): Per una data coordinata di input $(x, y)$, il modello identifica i $K$ vicini più prossimi (K-Nearest Neighbors) tra i centri delle Gaussiane utilizzando una ricerca limitata da un raggio.
• Codifica Geometrica: Gli embedding dei vicini vengono aggregati tramite una media pesata dalle distanze gaussiane. Questo produce un embedding locale $\mathbf{e}_{KNN}(x, G)$ che cattura sia la prossimità spaziale che la struttura densità appresa.
• Decodifica Neurale: Un MLP (Multi-Layer Perceptron) funge da decodificatore. Prende l'embedding aggregato $\mathbf{e}_{KNN}$ e predice il valore RGB finale.
  $$f_\theta(x) = \text{MLP}_\theta(\mathbf{e}_{KNN}(x, G))$$

Vantaggi Chiave del Design

• Modifica Locale: Poiché l'output dipende dalla struttura locale delle Gaussiane, spostare i centri $\mu_i$ o modificare le loro forme induce deformazioni coerenti e fluide nell'immagine ricostruita, senza artefatti.
• Integrazione Fisica: Le Gaussiane possono agire come entità fisiche discrete (punti materiali) che interagiscono con motori di fisica (es. Taichi Elements), mentre il decoder neurale garantisce che la superficie risultante rimanga continua e priva di discontinuità visive.
• Estensione 2D-3D: Il framework è agnostico rispetto alla dimensionalità. Estendendo il decoder per predire anche la densità ($\sigma$), GaINeR può "sollevare" un'immagine 2D in una rappresentazione 3D volumetrica, permettendo la sintesi di nuove viste e la modifica della geometria 3D.

3. Contributi Chiave

1. Nuovo Framework Ibrido: Introduzione di GaINeR, la prima INR per immagini 2D che integra embedding Gaussiani apprendibili con decoder MLP, superando le INR tradizionali in qualità di ricostruzione.
2. Modifica Geometrica e Fisica: Estensione del framework INR con un componente geometrico che permette modifiche dirette e flessibili delle immagini 2D e l'integrazione con simulatori fisici per effetti interattivi, mantenendo una formulazione completamente continua.
3. Trasformazioni 2D-3D Consistenti: Dimostrazione che la formulazione geometry-aware permette trasformazioni 3D consapevoli partendo da una singola immagine, guidate dallo spostamento delle Gaussiane e mappe di profondità.
4. Super-Risoluzione Senza Ri-addestramento: Grazie alla natura continua, il modello supporta la sintesi di immagini a risoluzione arbitraria (upscaling) senza necessità di ri-addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset Kodak e DIV2K, confrontando GaINeR con SIREN, WIRE, I-NGP, 3DGS, GaussianImage e MiRaGe.

• Qualità di Ricostruzione: GaINeR ha raggiunto lo stato dell'arte (SOTA) in termini di PSNR e MS-SSIM.
  • Su Kodak: PSNR di 77.09 (vs 59.52 di MiRaGe, il metodo precedente più forte).
  • Su DIV2K: PSNR di 62.20 (vs 54.54 di MiRaGe).
  • Le mappe di errore mostrano che GaINeR produce errori quasi impercettibili rispetto agli altri metodi.
• Confronto sulle Modifiche (Editing):
  • In test di deformazione geometrica (piegatura, taglio, stiramento) e simulazione fisica (fluidi, granuli), GaINeR mantiene coerenza strutturale e fotometrica.
  • Al contrario, MiRaGe e altri metodi basati su Gaussiane pure mostrano gravi artefatti, distorsioni e bordi "spigolosi" sotto stress fisico.
• Upscaling: A fattori di scala elevati (x8, x10, x12), GaINeR preserva texture fini e bordi nitidi, mentre i metodi concorrenti mostrano pattern gaussiani visibili e sfocature eccessive.
• Lifting 2D-3D: Il metodo riesce a ricostruire geometrie 3D realistiche e mappe di profondità coerenti partendo da immagini 2D singole, permettendo la sintesi di nuove viste.

5. Significato e Impatto

Il lavoro di GaINeR è significativo perché colma il divario tra le rappresentazioni implicite (continue, compatte, ad alta fedeltà) e le rappresentazioni esplicite (modificabili, fisicamente consapevoli).

• Interpretabilità: Fornisce una struttura geometrica interpretabile (le Gaussiane) che può essere manipolata direttamente, a differenza delle INR classiche che sono "scatole nere".
• Versatilità: Offre un'unica soluzione unificata per ricostruzione, editing interattivo, simulazione fisica e generazione 3D, eliminando la necessità di passare tra diversi formati di rappresentazione.
• Futuro della Computer Vision: Apre la strada a rappresentazioni di scene continue e geometry-aware che possono essere utilizzate per l'editing interattivo in tempo reale, la realtà aumentata e la simulazione fisica di oggetti 2D e 3D con alta fedeltà visiva.

In sintesi, GaINeR rappresenta un avanzamento fondamentale nel campo delle rappresentazioni neurali, rendendo possibile un editing di immagini che è sia fisicamente plausibile che visivamente perfetto.