Fast and Generalizable NeRF Architecture Selection for Satellite Scene Reconstruction

1. Il Problema

I Neural Radiance Fields (NeRF) hanno rivoluzionato la ricostruzione 3D fotorealistica da immagini multi-vista. Tuttavia, il loro utilizzo su immagini satellitari incontra barriere significative per il deployment su larga scala:

• Costo Computazionale: Ogni scena richiede un addestramento individuale e un'ottimizzazione dell'architettura. L'uso della Ricerca di Architettura Neurale (NAS) per trovare la configurazione ottimale richiede da ore a giorni di tempo GPU per singola scena, rendendolo proibitivo per pipeline che devono processare migliaia di scene.
• Ipotesi Errata: Le approcci esistenti si concentrano sull'ottimizzazione dell'architettura del modello, assumendo che sia il fattore determinante per la qualità.
• Sfide Specifiche dei Satelliti: Le immagini satellitari presentano caratteristiche uniche come variazioni geometriche, spostamenti dell'illuminazione, oggetti transienti (nuvole, veicoli) e modelli di telecamera RPC non a foro stenopeico, che introducono incoerenze tra le viste.

2. Metodologia: PreSCAN

Gli autori propongono PreSCAN, un framework predittivo che stima la qualità della ricostruzione NeRF prima dell'addestramento, eliminando la necessità di costose ricerche NAS per ogni scena.

A. Scoperta Fondamentale (Analisi SHAP)

Attraverso un'analisi estesa SHAP (SHapley Additive exPlanations) su dataset satellitari diversi (urbani e suburbani), gli autori hanno scoperto un insight cruciale:

• La coerenza multi-vista (consistenza geometrica e fotometrica tra le immagini di input) è il fattore dominante che determina la qualità della ricostruzione.
• I parametri dell'architettura del modello (profondità, larghezza, densità di campionamento) hanno un'influenza minima rispetto alla qualità dei dati di input.
• Di conseguenza, è possibile prevedere la performance basandosi esclusivamente sulle caratteristiche della scena, senza dover addestrare modelli complessi.

B. Design del Framework

PreSCAN utilizza un modello di regressione parametrico leggero che combina due tipi di descrittori:

1. Descrittori Architettonici: Parametri del modello NeRF (numero di layer MLP, dimensioni dei neuroni, numero di campioni per raggio, deviazione standard del rumore).
2. Descrittori Specifici della Scena: Caratteristiche geometriche e fotometriche calcolate sulle immagini di input, tra cui:
   • PSNR inverso pesato ($w'$): Misura la dissimilarità tra le immagini.
   • Varianza fotometrica ($Var(I_i)$): Cattura la diversità di illuminazione e ombre.
   • Similitudine del coseno ($cos\ sim$): Misura l'allineamento angolare tra le direzioni di vista.
   • Densità delle coppie e Punteggio di copertura: Quantificano quanti punti di vista sono validi e coprono la scena.

Il modello stima il PSNR atteso ($PSNR_{pred}$) concatenando questi vettori di feature in una funzione lineare semplice, evitando l'overfitting e garantendo interpretabilità.

3. Contributi Chiave

1. Scoperta Scientifica: Dimostrazione quantitativa (tramite SHAP) che la coerenza multi-vista, e non la complessità dell'architettura, guida la qualità NeRF nelle immagini satellitari.
2. Framework PreSCAN: Un sistema predittivo che seleziona architetture adatte in < 30 secondi con un errore di previsione < 1 dB, offrendo un speedup di 1000x rispetto alle tradizionali NAS.
3. Studio di Caso sul Deployment: Validazione pratica su piattaforme edge (Jetson Orin), dimostrando come combinare le previsioni di qualità con profili di costo offline per ridurre potenza e latenza.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset DFC2019 (scene di Jacksonville e Omaha), utilizzando come base modelli come S-NeRF e SatNeRF.

• Velocità e Accuratezza:
  • Tempo: PreSCAN richiede 28.3 secondi per scena (su GPU Tesla T4), contro le 9.7 ore richieste dalla NAS (su GPU A6000).
  • Errore: L'errore medio assoluto (MAE) nella previsione del PSNR è compreso tra 0.06 e 0.89 dB. La maggior parte delle previsioni è entro 0.5 dB dal valore reale.
• Generalizzazione:
  • Il modello mantiene alta accuratezza su scene non viste durante l'addestramento (es. scene industriali vs suburbane) senza bisogno di ri-addestramento.
  • Funziona bene anche con dati di addestramento scarsi (sparse training su 45 scene invece di 73).
  • È invariante rispetto al modello NeRF sottostante (funziona sia per S-NeRF che per SatNeRF).
• Analisi delle Architetture:
  • L'analisi della distribuzione dell'errore mostra che reti con 6-8 layer e 128 feature offrono la distribuzione di errore più stabile.
  • Aumentare il numero di campioni oltre 32 offre rendimenti decrescenti.

5. Significato e Impatto sul Deployment

Il paper dimostra l'utilità pratica di PreSCAN in scenari reali con vincoli hardware (es. satelliti o droni):

• Selezione Consapevole dell'Hardware: Combinando le previsioni di qualità di PreSCAN con un profilo di costo offline (potenza e latenza misurati su Jetson Orin), è possibile selezionare l'architettura che massimizza l'efficienza rispettando una soglia minima di qualità.
• Risultati di Efficienza:
  • Riduzione del 26% nel consumo energetico durante il rendering.
  • Riduzione del 43% nella latenza di rendering.
  • Perdita di qualità trascurabile (0.79 dB di differenza PSNR).

Conclusione

PreSCAN rappresenta un cambio di paradigma per la ricostruzione 3D satellitare: invece di cercare l'architettura perfetta per ogni scena tramite costosi cicli di addestramento, si analizzano le caratteristiche intrinseche dei dati di input. Questo approccio rende fattibile l'integrazione di NeRF in pipeline operative su larga scala per il telerilevamento, permettendo di processare migliaia di scene in tempi brevi e con risorse computazionali limitate.