Reliability-Aware Monocular Depth Supervision for Sparse-View Neural Reconstruction

Sintesi Tecnica: Supervisione della Profondità Monoculare Consapevole dell'Affidabilità per la Ricostruzione Neurale da Vista Sparsa

Problematica
La ricostruzione neurale da viste sparse è particolarmente impegnativa nelle scene di guida all'aperto. A differenza dei dataset incentrati su oggetti dove le telecamere orbitano attorno a un bersaglio, le sequenze di guida autonoma coinvolgono telecamere che si muovono lungo traiettorie strette e frontali. Ciò comporta una sovrapposizione multi-vista limitata, una parallasse debole per le regioni distanti e difficoltà con oggetti dinamici, riflessi e regioni del cielo. Sebbene i Neural Radiance Fields (NeRF) e il 3D Gaussian Splatting (3DGS) ottengano una resa di alta qualità con un numero sufficiente di viste, diventano sotto-vincolati con input scarsi, portando spesso a geometrie errate e alla comparsa di "floaters" (elementi sospesi).

Sebbene gli stimatori di profondità monoculare come Depth Anything V2 (DA-V2) offrano priori geometrici densi, le loro previsioni sono relative, rumorose e non uniformemente affidabili in tutte le regioni dell'immagine. Applicare questi priori in modo uniforme può introdurre errori nelle aree inaffidabili (ad esempio, bordi di occlusione o superfici riflettenti). La domanda centrale affrontata è come sfruttare efficacemente la supervisione della profondità monoculare in contesti di vista sparsa senza compromettere la qualità della ricostruzione a causa di priori rumorosi.

Metodologia
Gli autori propongono una pipeline di supervisione della profondità monoculare consapevole dell'affidabilità che applica selettivamente la supervisione della profondità in base all'affidabilità della ricostruzione RGB. L'approccio si compone di tre fasi principali:

1. Prior di Profondità Monoculare con Allineamento di Scala:

   • DA-V2 viene utilizzato per generare mappe di profondità relativa dense.
   • Queste mappe vengono allineate alla profondità metrica tramite un processo di fitting scala-shift per immagine rispetto ad ancoraggi di riferimento validi (punti LiDAR per KITTI, punti COLMAP per la scena Bicycle).
   • La profondità allineata viene ritagliata a un intervallo valido (ad esempio, 80 m per KITTI) per servire come prior metrico.

2. Mascheramento della Affidabilità Fotometrica:

   • Viene addestrato prima un modello baseline basato solo su RGB per stabilire un riferimento per la qualità della ricostruzione.
   • L'errore di ricostruzione fotometrica per pixel ($e(u)$) viene calcolato confrontando l'immagine renderizzata dal baseline con la verità a terra (ground truth).
   • Viene generata una maschera binaria basata su una soglia $\tau$. I pixel con basso errore fotometrico ($e(u) < \tau$) sono considerati "affidabili" e mantenuti per la supervisione della profondità, mentre le regioni ad alto errore (che probabilmente contengono oggetti dinamici, riflessi o cielo) vengono mascherate.

3. Obiettivo di Supervisione della Profondità Mascherata:

   • Il modello di ricostruzione (sia Mip-NeRF-360 che Splatfacto) viene riaddestrato con una funzione di perdita congiunta: $L = L_{rgb} + \lambda_{depth} L_{depth}$.
   • La perdita RGB è applicata all'intera immagine.
   • La perdita di profondità ($L_{depth}$) è calcolata solo sui pixel in cui la maschera di affidabilità effettiva ($M_{eff}$) è attiva, definita come l'intersezione tra la maschera di affidabilità fotometrica e la maschera di validità della profondità.
   • Ciò assicura che il prior monoculare rumoroso regolarizzi solo le regioni in cui la ricostruzione RGB è già coerente.

Contributi Chiave

• Strategia di Supervisione Selettiva: Il documento introduce un metodo per applicare i priori di profondità monoculare selettivamente in base all'errore di ricostruzione fotometrica, piuttosto che uniformemente su tutta l'immagine.
• Valutazione Comparativa: La strategia è valutata su due diverse rappresentazioni della scena: un campo di densità implicito (Mip-NeRF-360) e una rappresentazione esplicita di Gaussiane (Splatfacto).
• Ablazione e Generalizzazione: Attraverso ablazioni di maschera a rapporto corrispondente ed esperimenti su più sequenze KITTI (02 e 05) e sulla scena Bicycle, gli autori dimostrano che i guadagni derivano dalla selezione di regioni affidabili piuttosto che dal semplice riduzione del numero di pixel supervisionati.
• Analisi della Sensibilità del Backbone: Il lavoro evidenzia che l'efficacia della supervisione della profondità dipende fortemente dalla rappresentazione sottostante (implicita vs esplicita) e dalla configurazione della scena (frontale sparsa vs incentrata su oggetti).

Risultati Sperimentali
La valutazione è stata condotta su KITTISeq02 (impostazione sparsa ogni 2 frame), KITTISeq05 e la scena Mip-NeRF-360 Bicycle.

• Mip-NeRF-360 (Implicito):

  • Su KITTISeq02, la supervisione della profondità monoculare mascherata ha fornito solo marginali guadagni di rendering (ad esempio, il PSNR è aumentato da 20.378 a 20.607 nel caso migliore) e non ha migliorato la geometria metrica (AbsRel e RMSE sono peggiorati rispetto al baseline solo RGB).
  • Su KITKISeq05, sia la supervisione della profondità globale che quella mascherata hanno degradato sia la qualità del rendering che la geometria rispetto all'addestramento solo RGB.
  • Conclusione: Il campo di densità implicito è sensibile al rumore della profondità monoculare allineata su scala, e il prior agisce come un regolarizzatore debole o destabilizzante.

• Splatfacto (Esplicito):

  • Su KITTISeq02, Splatfacto ha beneficiato significativamente. Il PSNR è migliorato da 14.903 (solo RGB) a 15.932, e l'RMSE è sceso drasticamente da 0.542 a 0.100.
  • Le ablazioni del rapporto corrispondente hanno confermato che le maschere a basso errore hanno superato quelle ad alto errore e quelle casuali, provando che il beneficio deriva dalla selezione della regione.
  • Su KITTISeq05, sono stati osservati miglioramenti simili sia nel rendering che nella geometria.
  • Conclusione: La rappresentazione esplicita delle Gaussiane permette alla supervisione della profondità di guidare direttamente il posizionamento delle Gaussiane, riducendo efficacementmente i floaters e migliorando la geometria nelle regioni sparse.

• Scena Bicycle (Incentrata su Oggetti):

  • In questa scena con forte copertura multi-vista, la supervisione della profondità ha migliorato la geometria (l'RMSE è sceso da 1.479 a 0.722) ma ha generalmente degradato la qualità del rendering RGB (PSNR, SSIM, LPIPS sono diminuiti).
  • Ciò suggerisce un compromesso in cui i priori di profondità possono sovra-regolarizzare la ricostruzione quando i vincoli RGB sono già forti.

Significatività e Rivendicazioni
Il documento conclude che i priori di profondità monoculare sono un'arma a doppio taglio nella ricostruzione a vista sparsa. La loro utilità non è universale ma dipende fortemente dal backbone di ricostruzione e dai vincoli della scena:

1. Dipendenza dal Backbone: Sono altamente efficaci per le rappresentazioni esplicite delle Gaussiane (Splatfacto) in scene frontali sparse, ma offrono poco o nessun beneficio — e possono essere dannosi — per le rappresentazioni di tipo NeRF implicito (Mip-NeRF-360).
2. L'Affidabilità è la Chiave: I guadagni non derivano semplicemente dall'aggiunta di più dati di supervisione, ma dal filtraggio delle regioni inaffidabili dove il prior monoculare entra in conflitto con le osservazioni RGB.
3. Compromessi: Nelle scene con forte copertura multi-vista, la supervisione della profondità può migliorare le metriche geometriche a scapito della fedeltà fotometrica.

Gli autori raccomandano l'applicazione selettiva dei priori di profondità monoculare con un peso moderato, in particolare per le rappresentazioni di scena esplicite in scenari a vista sparsa sotto-vincolati. Suggeriscono che il lavoro futuro potrebbe concentrarsi su un migliore allineamento della scala, mascheramento consapevole dell'incertezza e pesatura adattiva della perdita.