Affine-Equivariant Kernel Space Encoding for NeRF Editing

Sintesi Tecnica: Codifica dello Spazio Kernel Affine-Equivariante per l'Editing di NeRF

Problematica

I Neural Radiance Fields (NeRF) ottengono una resa ad alta fedeltà rappresentando le scene 3D come funzioni continue. Tuttavia, i loro spazi latenti sono tipicamente impliciti e globalmente intrecciati, il che rende difficile l'editing localizzato e la manipolazione con basi fisiche. Le soluzioni esistenti tentano di mitigare questo problema introducendo strutture di controllo esplicite (ad esempio, condizionamento basato su punti, controllo basato su mesh o rappresentazioni basate su primitivi). Sebbene tali approcci consentano un certo editing manuale, spesso soffrono di una limitata località, sensibilità alle deformazioni e artefatti visivi. Nello specifico, le rappresentazioni latenti basate su punti memorizzano le caratteristiche in posizioni spaziali discrete; quando questi punti si deformano, il vicinato locale cambia in modo incoerente, portando a un'interpolazione delle caratteristiche instabile e alla comparsa di buchi visivi o distorsioni. Inoltre, le codifiche posizionali standard (come le griglie hash multi-risoluzione) intrecciano le caratteristiche globalmente, causando una propagazione indesiderata delle modifiche localizzate.

Metodologia: Codifica dello Spazio Kernel Affine-Equivariante (EKS)

Gli autori propongono EKS, un meccanismo di codifica spaziale che rappresenta le caratteristiche della scena in uno spazio kernel continuo utilizzando kernel gaussiani anisotropi.

1. Codifica dello Spazio Kernel
Invece di interrogare le caratteristiche latenti in punti discreti o vertici di griglia, EKS aggrega le caratteristiche attraverso un campo di kernel gaussiani anisotropi apprendibili. Ogni kernel definisce una regione di influenza localizzata.

• Rappresentazione: La scena è rappresentata da un insieme di kernel gaussiani $\{N(\mu_i, \Sigma_i)\}$, dove $\mu_i$ è la media e $\Sigma_i$ è la covarianza anisotropica completa. Ogni kernel è associato a un vettore di caratteristiche latenti addestrabile $v_i$.
• Interpolazione: Per un punto di query $x$, le caratteristiche vengono interpolate dai $k$ vicini più prossimi utilizzando uno schema di pesatura basato sulla distanza di Mahalanobis. Il peso $w_i$ è calcolato come:
  $$w_i(x, G) = \exp\left(-\frac{1}{2}(x - \mu_i)^\top \Sigma_i^{-1} (x - \mu_i)\right)$$
  Questa formulazione assicura che l'interpolazione rispetti la geometria locale e rimanga stabile sotto trasformazioni spaziali (equivarianza affine), a differenza del KNN basato sulla distanza euclidea che fallisce sotto deformazione.

2. Ricerca di Prossimità tramite Ray-Tracing Gaussiano (RT-GPS)
Per trovare efficientemente i vicini più prossimi sotto la metrica di Mahalanobis, gli autori introducono RT-GPS.

• La ricerca è limitata ai Gaussiani i cui ellissoidi di confidenza (definiti da un parametro di quantile) contengono il punto di query.
• Questo viene approssimato tracciando raggi dal punto di query e controllando le intersezioni con icosaedri allungati circumscritti che rappresentano gli ellissoidi.
• Un buffer di hit ordinato mantiene i primi $k$ candidati in base alla distanza di Mahalanobis al quadrato.

3. Distillazione delle Caratteristiche della Griglia Hash
Per mantenere l'elevata frequenza dei dettagli delle griglie hash multi-risoluzione pur ottenendo una rappresentazione priva di griglia durante l'inferenza, EKS impiega un meccanismo di distillazione delle caratteristiche durante l'addestramento.

• Durante l'addestramento, sia i parametri della griglia hash che le posizioni dei Gaussiani vengono ottimizzati congiuntamente.
• Le caratteristiche dei Gaussiani vengono campionate dalla codifica della griglia hash nei centri dei kernel.
• All'inferenza, la griglia hash viene scartata. I Gaussiani mantengono i loro vettori di caratteristiche appresi, che sono fissi. Ciò consente la manipolazione diretta di posizioni, rotazioni e scale dei Gaussiani senza dover riaddestrare la rete.

4. Ripristino della Direzione di Visione
Per gestire gli effetti dipendenti dalla vista dopo la deformazione, il metodo sfrutta gli assi principali dei kernel gaussiani come sistemi di coordinate locali. Utilizzando l'algoritmo di Kabsch, il sistema traccia le trasformazioni spaziali di questi assi per ripristinare le caratteristiche dipendenti dalla vista come se la deformazione non fosse mai avvenuta, senza aumentare significativamente la dimensione della rappresentazione.

5. Editing e Pruning

• Editing: I Gaussiani possono essere esportati come tetraedri (dove le braccia ortogonali corrispondono agli assi principali) per la manipolazione tramite strumenti standard di deformazione di mesh o motori fisici. I Gaussiani modificati vengono riconvertiti in parametri per la codifica dello spazio kernel.
• Pruning/Densificazione: Il metodo adotta strategie per regolare il numero di Gaussiani. Nuovi Gaussiani vengono inizializzati campionando dalla codifica della griglia hash (anziché dalle informazioni di shading) per garantire l'allineamento con il campo latente. I Gaussiani non utilizzati vengono rimossi (pruning) in base alla loro frequenza di selezione in RT-GPS.

Contributi Chiave

1. Codifica Affine-Equivariante: Una nuova codifica posizionale che utilizza kernel gaussiani anisotropi e interpolazione della distanza di Mahalanobis per mantenere strutture di caratteristiche stabili sotto trasformazioni spaziali, affrontando l'instabilità dei metodi basati su punti.
2. Inferenza Senza Griglia: Un meccanismo di distillazione delle caratteristiche che trasferisce i dettagli multi-risoluzione dalle griglie hash in una rappresentazione kernel compatta e completamente priva di griglia, consentendo una resa ad alta fedeltà senza l'overhead computazionale delle lookup nelle griglie durante l'inferenza.
3. Editabilità Diretta: Un framework che consente un editing della scena intuitivo, localizzato e manipolazioni basate sulla fisica (corpo rigido, corpo morbido, tessuto) direttamente tramite i parametri del kernel gaussiano senza riaddestrare la rete neurale.
4. RT-GPS: Un algoritmo efficiente per la ricerca dei vicini più prossimi nello spazio kernel anisotropo utilizzando il ray tracing e i test di intersezione degli ellissoidi.

Risultati

Gli autori valutano EKS sul dataset NeRF-Synthetic, Mip-NeRF 360 e asset deformabili personalizzati.

• Ricostruzione Statica: EKS raggiunge una qualità di ricostruzione (PSNR) paragonabile ai metodi non editabili allo stato dell'arte (es. Instant-NGP) e competitiva con altri metodi editabili.
• Prestazioni di Editing: Su un benchmark di scene editate, EKS supera i precedenti stati dell'arte (inclusi Point-NeRF, NeuralEditor e GaMeS) in termini di metriche PSNR, SSIM e LPIPS.
• Analisi Qualitativa: EKS produce superfici più lisce e preserva meglio i dettagli fini rispetto ai metodi basati su punti, che spesso presentano granulosità e buchi. Evita gli artefatti di "bleeding" visti nei metodi basati su Gaussian Splatting, dove le primitive diventano eccessivamente scalate.
• Simulazioni Fisiche: Il metodo si integra con successo con i motori fisici per simulare foglie che cadono, deformazioni di corpi morbidi (schiacciare un bulldozer Lego) e simulazioni di tessuti, mantenendo un'alta fedeltà di resa durante le interazioni dinamiche.
• Studio di Ablazione: La rimozione del ripristino della direzione di visione causa il calo di prestazioni più significativo nelle scene editate. L'uso del KNN euclideo invece di RT-GPS reintroduce artefatti simili ai baseline basati su punti. La rimozione della distillazione delle caratteristiche porta a buchi visibili e strutture fluttuanti, sebbene l'impatto quantitativo sul PSNR sia limitato a causa della scarsità di tali artefatti.

Significato

Il paper sostiene che EKS fornisca una base promettente per rappresentazioni di scene neurali fisicamente interattive ed editabili. Decoupling (disaccoppiando) lo spazio latente dalle strutture di griglia rigide e dalla discretizzazione basata su punti, EKS affronta il limite fondamentale della codifica consapevole delle trasformazioni nei NeRF. Il metodo consente un editing localizzato, stabile e consapevole delle deformazioni, mantenendo l'alta qualità di ricostruzione dei moderni NeRF, facilitando applicazioni in robotica, ambienti virtuali e creazione di contenuti che richiedono sia alta fedeltà che manipolazione intuitiva.