Geometry-Aware Scene Configurations for Novel View Synthesis

Sintesi Tecnica: Configurazioni di Scena Consapevoli della Geometria per la Sintesi di Nuove Viste

Enunciato del Problema
I recenti progressi nei Campi Radianti Neurali (NeRF) abilitano esperienze 3D immersive a partire da osservazioni tramite immagini, tuttavia incontrano sfide significative quando applicati a scene interne su larga scala catturate tramite traiettorie casuali e a mano libera. Questi scenari presentano spesso pattern di osservazione irregolari, dati sparsi e layout complessi contenenti disordine, occlusione e superfici piatte e omogenee. Le rappresentazioni scalabili standard delle scene allocano tipicamente la loro capacità rappresentativa limitata (basi, come blocchi NeRF o griglie di caratteristiche) utilizzando strategie uniformi, sia dividendo lo spazio in modo uniforme sia distribuendo le basi lungo la traiettoria della telecamera. Questi approcci non tengono conto della natura non uniforme della geometria interna o delle statistiche specifiche delle misurazioni in ingresso, portando a un utilizzo inefficiente delle risorse e a una qualità di rendering degradata, in particolare negli scenari di estrazione o nelle regioni senza texture. Inoltre, i metodi esistenti spesso faticano con artefatti fluttuanti nelle regioni sottoposte a vincoli insufficienti a causa della mancanza di coerenza geometrica.

Metodologia
Gli autori propongono un framework sistematico e adattivo alla scena che sfrutta priori geometrici readily disponibili per ottimizzare sia il posizionamento delle basi di rappresentazione sia la configurazione delle viste di addestramento. Il metodo consta di tre fasi principali:

1. Estrazione dell'Impalcatura Geometrica: La pipeline inizia estraendo un'impalcatura geometrica approssimata dalle immagini multi-vista in ingresso. Ciò può essere ottenuto tramite metodi di ricostruzione di superficie implicita (ad esempio, MonoSDF) o predittori di profondità feed-forward (ad esempio, MapAnything). Questa impalcatura funge da stima coerente della superficie della scena sottostante.
2. Ottimizzazione del Posizionamento delle Basi Consapevole della Geometria: Invece di una distribuzione uniforme, il metodo ottimizza le posizioni di un insieme limitato di basi (blocchi NeRF o sonde di campo luminoso neurale). Registra innanzitutto le statistiche di osservazione sull'impalcatura geometrica calcolando "pesi di copertura" per i punti della superficie. Questi pesi accumulano informazioni di visibilità da tutte le telecamere di addestramento, ponderate per distanza e allineamento della normale alla superficie. Viene quindi minimizzata una funzione di energia per spostare le posizioni delle basi verso regioni ad alta densità di osservazione e geometria complessa, garantendo che la capacità fissa delle basi sia allocata dove è più necessaria.
3. Regolarizzazione Geometrica Adattiva alla Scena: Per affrontare le regioni con misurazioni insufficienti (ad esempio, pareti piatte o aree occluse), il metodo introduce punti di vista virtuali consapevoli della scena. Utilizzando una strategia di pianificazione della prossima migliore vista che considera la diversità spaziale e la co-visibilità delle caratteristiche, il sistema seleziona punti di vista virtuali per coprire la scena. Le profondità renderizzate da queste viste virtuali, guidate dall'impalcatura geometrica, sono utilizzate per imporre una regolarizzazione robusta della profondità durante l'addestramento. Questo sopprime gli artefatti fluttuanti e stabilizza l'ottimizzazione nelle regioni scarsamente osservate.

Contributi Chiave

• Distribuzione delle Basi Adattiva alla Scena: Gli autori introducono una strategia di ottimizzazione che posiziona le basi basandosi sulla correlazione tra la geometria della scena e le statistiche di misurazione, superando i metodi di allocazione uniformi o basati sulla traiettoria.
• Ottimizzazione del Posizionamento Basata sull'Energia: Viene definita una nuova funzione di energia sull'impalcatura geometrica per accumulare statistiche di osservazione, consentendo il posizionamento ottimale di un insieme limitato di basi per coprire efficientemente la traiettoria in ingresso.
• Regolarizzazione tramite Punti di Vista Virtuali: Il documento suggerisce un metodo per generare e utilizzare punti di vista virtuali adattivi alla scena per fornire una supervisione plausibile nelle regioni non osservate, regolarizzando efficacemente la ricostruzione senza richiedere acquisizioni reali aggiuntive.
• Valutazione Completa: Il framework è validato su scene interne reali provenienti dai dataset ScanNet++ e Zip-NeRF, dimostrando miglioramenti significativi rispetto a baseline come NeLF-Pro, LocalRF e varie varianti di 3D Gaussian Splatting (3DGS).

Risultati
I risultati sperimentali sui dataset ScanNet++ e Zip-NeRF dimostrano che il metodo proposto migliora significativamente la qualità della ricostruzione in termini di PSNR, SSIM e LPIPS, in particolare negli scenari di estrazione impegnativi dove le baseline spesso falliscono.

• Prestazioni: Quando applicato a NeLF-Pro e LocalRF, il metodo raggiunge prestazioni all'avanguardia tra gli approcci basati su NeRF, superando spesso le varianti 3DGS nei compiti di estrazione dove il 3DGS soffre di gravi artefatti.
• Efficienza: L'approccio ottiene questi guadagni senza aumentare l'uso di memoria rispetto alle architetture di baseline sottostanti, poiché riutilizza lo stesso numero di parametri ma ne ottimizza la disposizione spaziale.
• Robustezza: Gli studi di ablazione confermano che sia l'ottimizzazione del posizionamento delle basi sia la regolarizzazione geometrica (utilizzando viste virtuali) contribuiscono indipendentemente alle prestazioni. Il metodo mostra anche robustezza rispetto alle imprecisioni nell'impalcatura geometrica, mantenendo i miglioramenti anche quando la geometria a priori è rumorosa.

Significato e Affermazioni
Il documento afferma che, modellando esplicitamente l'interazione tra la geometria sottostante e i punti di vista delle telecamere pre-catturati, è possibile massimizzare l'utilizzo delle risorse limitate per la ricostruzione di scene interne su larga scala. Gli autori sottolineano che, mentre lo 3D Gaussian Splatting offre velocità, le rappresentazioni basate su NeRF mantengono vantaggi in termini di efficienza della memoria e coerenza geometrica per scene su larga scala e illimitate, in particolare nelle regioni senza texture. Le strategie adattive alla scena proposte sono presentate come un miglioramento generalizzabile applicabile a varie rappresentazioni per la sintesi di nuove viste, offrendo una soluzione principiale alla sfida non banale di allocare la capacità rappresentativa in ambienti interni complessi. Il lavoro non afferma di risolvere fallimenti catastrofici nella SfM a monte o nella calibrazione, ma si concentra sul migliorare la fedeltà della ricostruzione dato un impalcatura geometrica di successo.