Factorized Multi-Resolution HashGrid for Efficient Neural Radiance Fields: Execution on Edge-Devices

1. Il Problema

Le Neural Radiance Fields (NeRF) hanno rivoluzionato la rappresentazione 3D e la sintesi di nuove viste, ma la loro adozione su dispositivi edge (come droni, veicoli autonomi o smartphone) è limitata da severi vincoli di risorse:

• Consumo di Memoria: I metodi NeRF tradizionali e le loro varianti parametriche recenti richiedono grandi quantità di memoria GPU e storage, spesso incompatibili con i dispositivi mobili.
• Compromessi nelle Tecniche Esistenti:
  • Le tecniche di Hash-encoding (es. Instant-NGP) sono efficienti in memoria ma soffrono di collisioni di hash nello spazio 3D, portando a instabilità e calo delle prestazioni in scenari con pochi dati (few-shot).
  • Le tecniche di Fattorizzazione Tensoriale (es. TensoRF, K-planes) offrono una buona rappresentazione strutturale ma richiedono una memoria quadratica rispetto alla risoluzione, rendendole pesanti per l'edge.
• Adattabilità: Esiste la necessità di addestrare NeRF direttamente sul dispositivo (on-device training) per adattarsi a scene in rapida evoluzione e garantire la privacy, ma le attuali soluzioni non sono abbastanza efficienti in termini di potenza e memoria.

2. Metodologia: Fact-Hash

Gli autori propongono Fact-Hash, un nuovo metodo di codifica parametrica che fonde armoniosamente i punti di forza della Fattorizzazione Tensoriale e dell'Hash-encoding in un'unica pipeline "Map-Reduce".

Concetti Chiave:

• Integrazione Map-Reduce:
  • Map (Mappatura): Invece di proiettare direttamente le coordinate 3D in una griglia hash 3D, Fact-Hash proietta le coordinate 3D $(x, y, z)$ su tre piani 2D ortogonali (tri-plane: $xy, yz, zx$). Questo riduce la dimensionalità del problema prima dell'applicazione della funzione hash.
  • Hash-encoding: Su ciascun piano 2D, vengono applicate funzioni hash indipendenti per recuperare feature da tabelle hash di multi-risoluzione. Questo limita le collisioni di hash a uno spazio bidimensionale invece che tridimensionale, riducendo drasticamente il rumore e le artefatti.
  • Reduce (Riduzione): Le feature estratte dai tre piani vengono aggregate in un singolo vettore di feature finale utilizzando il prodotto di Hadamard (moltiplicazione elemento per elemento).
• Feature Multi-Risoluzione: Il metodo utilizza griglie multi-risoluzione su ciascun piano, permettendo di catturare sia dettagli a bassa frequenza (struttura globale) che ad alta frequenza (dettagli fini) senza un aumento esponenziale della memoria.
• Pipeline di Rendering:
  • Utilizza un MLP (Multi-Layer Perceptron) leggero per decodificare le feature aggregate in densità e colore.
  • Implementa tecniche di campionamento per rifiuto (rejection sampling) basate su bitfield o reti di proposta, a seconda della scena, per filtrare le regioni vuote e accelerare il rendering.
  • Include termini di perdita (loss) specifici per regolarizzare l'opacità e ridurre gli artefatti "fluttuanti" (floating artifacts), come la perdita di distorsione.

3. Contributi Chiave

1. Nuovo Schema di Codifica: Introduzione di Fact-Hash, che unisce la compressione della fattorizzazione tensoriale con l'efficienza dell'hashing, risolvendo il problema delle collisioni 3D limitandole a 2D.
2. Efficienza Estrema su Edge: Il metodo è progettato specificamente per l'esecuzione su dispositivi con risorse limitate (es. NVIDIA Jetson Xavier NX), permettendo l'addestramento e l'inferenza on-device.
3. Robustezza in Scenari Few-Shot: A differenza di altri metodi basati su hash che collassano con pochi dati di input, Fact-Hash mantiene alta la qualità grazie alla struttura intrinseca dei piani che favorisce una generalizzazione migliore.
4. Riduzione dei Parametri: Il modello raggiunge prestazioni competitive con un numero di parametri drasticamente inferiore rispetto agli stati dell'arte (SOTA).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset sintetici (NeRF Synthetic), dataset reali ad alta risoluzione (Tank and Temples) e scene urbane su larga scala (San Francisco Mission Bay).

• Efficienza di Memoria: Fact-Hash riduce l'uso della memoria di oltre un terzo rispetto ai metodi precedenti, mantenendo dimensioni del modello estremamente compatte (es. ~13.5 MB contro ~45-68 MB per i baselines).
• Qualità (PSNR/SSIM):
  • Su dataset sintetici, ottiene un PSNR medio di 32.00 (con tutte le viste) e 23.68 (con 8 viste), superando o eguagliando TensoRF e K-planes, pur utilizzando meno della metà dei parametri.
  • Dimostra una robustezza superiore negli scenari few-shot (pochi input), evitando il sovradattamento (overfitting) e gli artefatti fluttuanti tipici di Instant-NGP.
• Velocità di Rendering:
  • Su dispositivi edge (Jetson Xavier NX), Fact-Hash è ~1.45 volte più veloce di TensoRF e K-planes.
  • Rispetto a Instant-NGP, è più veloce in scene complesse e dense (es. "ficus", "ship") dove NGP richiede più campioni per mantenere la qualità.
• Consumo Energetico: Gli esperimenti su edge-device confermano un migliore consumo energetico e una maggiore efficienza computazionale rispetto alle alternative.

5. Significato e Impatto

Il lavoro di Fact-Hash è significativo perché:

• Abilita il Training On-Device: Risolve il collo di bottiglia della memoria, rendendo fattibile l'addestramento di NeRF direttamente su dispositivi mobili o robotici, fondamentale per la privacy e l'adattamento in tempo reale.
• Ponte tra Teoria e Pratica: Colma il divario tra l'efficienza teorica dell'hashing e la stabilità strutturale della fattorizzazione tensoriale, offrendo una soluzione pratica per applicazioni reali come la guida autonoma e la realtà aumentata.
• Scalabilità: La capacità di gestire scene su larga scala con modelli compatti apre la strada a nuove applicazioni in contesti dove la larghezza di banda e lo storage sono limitati.

In sintesi, Fact-Hash rappresenta un avanzamento cruciale verso l'uso pratico e diffuso delle Neural Radiance Fields su dispositivi con risorse limitate, bilanciando perfettamente qualità, velocità e footprint di memoria.