Low-Cost Neural Radiance Fields

Riepilogo Tecnico: Campi Neurali di Radianza a Basso Costo

Enunciato del Problema
I Campi Neurali di Radianza (NeRF) hanno stabilito uno standard elevato per la sintesi di nuove viste, ma soffrono di tempi di addestramento proibitivi e di una forte dipendenza da viste di input dense. Questi vincoli limitano l'accessibilità dei NeRF per gli utenti con risorse computazionali o disponibilità di dati limitate. La sfida principale affrontata in questo lavoro è come accelerare l'addestramento dei NeRF e ridurre i requisiti di dati senza sacrificare significativamente la qualità della ricostruzione.

Metodologia
Gli autori hanno condotto uno studio comparativo di tre varianti accelerate di NeRF—DS-NeRF, TensoRF e HashNeRF—in regimi di calcolo e dati vincolati. Lo studio ha comportato l'implementazione di questi baseline e la proposta di modifiche specifiche all'architettura e all'addestramento:

1. TensoRF con Supervisione della Profondità (TensoRF-DS):

   • Approccio: Gli autori hanno integrato un termine di perdita supervisionato dalla profondità nel framework TensoRF. I valori di profondità ground truth sono stati derivati dai punti chiave COLMAP (posizioni 3D e coordinate 2D dei pixel).
   • Funzione di Perdita: È stata calcolata una perdita di profondità con Errore Quadratico Medio (MSE) ($L_{\hat{D}}$) tra la profondità stimata dal modello e il ground truth derivato da COLMAP. Questa è stata combinata con la perdita di colore standard NeRF ($L_{\hat{C}}$) utilizzando un iperparametro di ponderazione $\lambda_i$.
   • Dataset: Gli esperimenti sono stati condotti sul dataset LLFF, utilizzando un regime "a basso dato" con sole 9 immagini (4 per l'addestramento, 4 per il test, 1 per la validazione) rispetto all'intero dataset.

2. Ablazione e Sottocampionamento di TensoRF:

   • Sottocampionamento: Per rientrare nei budget di memoria e ridurre il tempo di esecuzione, gli autori hanno sottocampionato le immagini di input di un fattore 4.
   • Ablazione dell'Architettura: Il Multi-Layer Perceptron (MLP) di decodifica delle caratteristiche di TensoRF è stato modificato aggiungendo o rimuovendo livelli lineari per determinare l'impatto sul Peak Signal-to-Noise Ratio (PSNR) e sul tempo di esecuzione.

3. Varianti Architetturali di HashNeRF:

   • Approccio: Gli autori hanno proposto quattro modifiche architetturali alle reti di colore e densità following la codifica hash multi-risoluzione.
   • Variazioni:
     • Sostituzione dei livelli lineari con livelli convoluzionali 1D per ridurre i parametri.
     • Aggiunta di connessioni residue dall'input iniziale ai livelli successivi nelle MLP sigma e colore.
     • Aggiunta di connessioni residue da livelli alterni (due livelli prima) per preservare le informazioni spaziali.
     • Approfondimento della rete per affinare le variazioni di colore.
   • Valutazione: I modelli sono stati valutati sulla scena sintetica Lego e confrontati con il baseline utilizzando PSNR e tempo di addestramento a budget di iterazioni fissi (500 e 1000 iterazioni).

Risultati Chiave

• TensoRF-DS: L'aggiunta della supervisione della profondità a TensoRF in condizioni di basso dato ha prodotto un miglioramento trascurabile. Mentre il baseline a basso dato ha subito un calo significativo delle prestazioni (PSNR di test di 15,23 contro 26,32 per i dati completi), la variante supervisionata dalla profondità ha migliorato il PSNR di test solo di 0,01 (15,24). Le visualizzazioni hanno indicato che, sebbene gli output di colore fossero simili, la struttura di profondità sottostante rimaneva incompleta, e i gradienti della perdita di profondità hanno interessato solo una piccola porzione dello spazio dei voxel a causa della scarsità di punti chiave COLMAP rispetto ai confronti pixel.
• Sottocampionamento TensoRF: Il sottocampionamento degli input di un fattore 4 ha permesso al modello di raggiungere un PSNR di test di 31,297 in sole 2.500 iterazioni (addestrato in meno di 10 minuti), paragonabile alle prestazioni del NeRF originale ma con un costo computazionale significativamente ridotto. Gli studi di ablazione sull'MLP di decodifica delle caratteristiche non hanno mostrato guadagni significativi nelle prestazioni alterando il numero di livelli, suggerendo che l'architettura predefinita è già efficiente.
• Varianti HashNeRF: Tra le quattro varianti architetturali proposte, la rete più profonda (Variazione 4) ha raggiunto il PSNR più alto di 27,119 a 1.000 iterazioni. Tuttavia, questo è rimasto al di sotto dei 28,2 PSNR riportati dagli autori originali di HashNeRF nella loro configurazione predefinita. Quando è stato permesso di addestrare fino alla convergenza, la rete proposta ha superato il baseline, ma sotto una valutazione iso-tempo (iterazioni fisse) non ha superato in modo conclusivo il baseline pubblicato.

Significato e Affermazioni
Il documento conclude che, sotto una valutazione iso-tempo, nessuna delle estensioni proposte ha superato in modo conclusivo i baseline pubblicati. Tuttavia, il lavoro serve a caratterizzare quali estensioni sono praticabili in ambienti vincolati e a portare alla luce questioni di progettazione per la ricerca futura.

• Praticità del Sottocampionamento: Lo studio convalida il sottocampionamento come tecnica efficace per migliorare l'efficienza computazionale senza compromettere significativamente la qualità, rendendo TensoRF più accessibile ai ricercatori con hardware limitato.
• Limiti della Supervisione della Profondità: I risultati evidenziano che aggiungere semplicemente la supervisione della profondità a TensoRF con dati sparsi è insufficiente; la scarsità di punti di profondità ground truth limita la propagazione del gradiente necessaria per migliorare la ricostruzione volumetrica.
• Direzioni Future: Gli autori suggeriscono che il lavoro futuro potrebbe coinvolgere il calcolo di mesh ground truth 3D in più punti per utilizzare meglio la supervisione della profondità, estendere il budget di iterazioni per verificare se i gap di prestazioni si chiudono con più addestramento e condurre studi di ablazione più approfonditi sui componenti di TensoRF.

In definitiva, il documento si posiziona come uno studio comparativo che identifica i limiti delle attuali adattazioni NeRF a basso costo, notando che, sebbene miglioramenti specifici non siano stati raggiunti sotto vincoli di tempo rigorosi, gli esperimenti forniscono una base per comprendere come questi modelli si comportano in ambienti con risorse limitate.