Sintesi Tecnica: DrivingDepth

Definizione del Problema: Il Conflitto Geometria–Scala

La guida autonoma richiede una stima della profondità che sia simultaneamente densa, allineata ai pixel e metricamente coerente. Tuttavia, i modelli e le modalità di rilevamento esistenti affrontano una tensione fondamentale definita come il conflitto geometria–scala:

• I Modelli Fondativi Visivi (es. DepthAnything3, Depth Pro) producono una geometria visiva densa e allineata ai pixel con una forte coerenza dei bordi, ma mancano di una scala metrica affidabile. Ragionano indipendentemente per ogni immagine o si affidano a corrispondenze visive senza ancoraggi di distanza assoluti.
• Il LiDAR Proiettato fornisce ancoraggi metrici, ma è intrinsecamente sparso, rumoroso, distribuito in modo non uniforme e spesso disallineato con le strutture dell'immagine a causa del drift di calibrazione e delle riflessioni superficiali.

Il Limite dei Metodi Esistenti: Gli approcci attuali basati su prompt sparsi (es. MapAnything, PriorDA) tentano di incorporare il LiDAR rigenerando la profondità da zero o fondendo le caratteristiche per predire la profondità assoluta. Questo approccio spesso sovrascrive i coerenti priori geometrici dei modelli fondativi, portando ad artefatti strutturali (buchi, superfici interrotte) su oggetti visivamente continui dove l'evidenza LiDAR è scarsa. Al contrario, l'allineamento post-hoc globale può regolare la scala media, ma non riesce a correggere gli errori metrici spazialmente variabili su diverse superfici.

Metodologia: DrivingDepth

DrivingDepth propone un framework a intervento minimo che risolve questo conflitto trattando il LiDAR sparso non come target di supervisione densi, ma come prompt geometrici per la correzione della scala residua per pixel. L'intuizione centrale è che i modelli fondativi catturano già una geometria relativa geometricamente coerente; il modello deve solo apprendere il fattore di scala per pixel per mappare questa geometria relativa in coordinate metriche.

Architettura

Il framework si basa su un backbone DepthAnything3 (DA3) congelato e opera a due livelli complementari:

1. Adattatore di Caratteristiche Preservante la Geometria (GPFA):

   • Funzione: Inietta indizi di profondità sparsi nella rappresentazione congelata di DA3 senza sovrascrivere la geometria del backbone.
   • Meccanismo: Una CNN leggera codifica i prompt LiDAR multi-risoluzione in token di profondità sparsi. Questi token condizionano i token dell'immagine tramite cross-attention.
   • Propagazione Vincolata: Per rispettare la configurazione fisica delle telecamere surround-view, l'auto-attenzione è limitata a pattern co-visibili: telecamere adiacenti nello stesso istante temporale e la stessa telecamera attraverso fotogrammi consecutivi. Ciò evita che il rumore geometrico provenga da viste non correlate.
   • Output: Le caratteristiche consapevoli della profondità vengono concatenate con le caratteristiche originali del backbone, garantendo che la testa di scala mantenga l'accesso diretto al prior geometrico non modificato.

2. Testa di Scala per Pixel a Consapevolezza Sparsa:

   • Funzione: Predice una mappa di scala densa per pixel ($S_{pix}$) e una mappa di confidenza ($C$).
   • Input: Combina le caratteristiche consapevole della profondità provenienti dall'adattatore con un prompt LiDAR multi-risoluzione (costruito sottocampionando la profondità sparsa per aumentare la densità effettiva per gli stadi del decoder a risoluzione inferiore).
   • Inizializzazione: La testa è inizializzata in modo neutro (convoluzioni inizializzate a zero, scala inizializzata a 1) in modo che il modello riproduca la predizione originale di DA3 all'inizio dell'addestramento.
   • Output: La profondità metrica finale $\hat{D}_c$ è calcolata come $D_{prior} \odot S_{pix} \cdot s_g$, dove $s_g$ è uno scalare globale a livello di clip derivato tramite l'allineamento ROE (Robust Outlier Exclusion) per garantire la coerenza tra le viste.

Obiettivo di Addestramento

La funzione di perdita bilancia l'ancoraggio metrico rispetto alla preservazione della geometria:

• Allineamento della Profondità Sparsa ($L_{depth}$): Combina la supervisione multi-risoluzione con una regressione pesata sulla confidenza. La mappa di confidenza appresa riduce automaticamente il peso dei punti LiDAR inaffidabili (es. punti disallineati).
• Regolarizzazione della Normale di Superficie ($L_{norm}$): Penalizza le deviazioni angolari tra le normali di superficie della profondità corretta e il prior di DA3. Ciò impedisce al modello di adattarsi a punti rumorosi in un modo che rompa la continuità superficiale.
• Regolarizzazione della Scala ($L_{scale}$): Incoraggia la mappa di scala a essere fluida e vicina all'unità, evitando l'overfitting sul rumore sparso.

Contributi Chiave

1. Formulazione del Problema: Identificazione del conflitto geometria–scala nella profondità di guida e proposta di risolverlo tramite la correzione della scala residua per pixel di un prior fondativo congelato, piuttosto che rigenerando la profondità.
2. Architettura a Intervento Minimo: Un design a due livelli che presenta un Adattatore di Caratteristiche Preservante la Geometria (che inietta indizi tramite attenzione vincolata) e una Testa di Scala per Pixel a Consapevolezza Sparsa (che predice le correzioni con confidenza appresa).
3. Strategia di Addestramento: Un obiettivo bilanciato che utilizza l'allineamento pesato sulla confidenza, la regolarizzazione della normale di superficie e la fluidità della scala per mediare tra l'ancoraggio metrico sparso e la preservazione della geometria densa.
4. Validazione Empirica: Dimostrazione di un'accuratezza metrica competitiva con una coerenza geometrica significativamente superiore rispetto ai metodi allo stato dell'arte.

Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset nuScenes e DDAD utilizzando input surround-view a 4 fotogrammi.

• Accuratezza Metrica vs. Coerenza: DrivingDepth raggiunge un AbsRel di 11.19 e un EdgeCR di 5.741 su nuScenes.
  • Supera MapAnything (AbsRel 11.99, EdgeCR 1.914), che sacrifica l'allineamento dei bordi per l'accuratezza metrica.
  • Migliora significativamente DepthAnything3 (AbsRel 15.88), che manca della scala metrica.
  • Evita gli artefatti strutturali visti in PriorDA (EdgeCR 2.524), che allucina discontinuità di profondità adattandosi eccessivamente ai punti LiDAR sparsi.
• Robustezza ai Dati Sparsi: Sotto una densità LiDAR del 10%, DrivingDepth mantiene alte prestazioni (EdgeCR > 5.7), mentre MapAnything degrada bruscamente (EdgeCR scende a ~1.9). Ciò valida l'efficacia del trattare il LiDAR come prompt geometrici piuttosto che come supervisione densa.
• Analisi Qualitativa: Le visualizzazioni mostrano che DrivingDepth preserva i bordi netti degli oggetti e le strutture 3D coerenti (es. camion in movimento, facciate di edifici) pur correggendo gli errori di scala, mentre altri metodi mancano di scala o introducono distorsioni geometriche.

Significato e Claim

Il paper sostiene che DrivingDepth riesce a colmare il divario tra la geometria visiva densa e la scala metrica affidabile decomponendo il problema: riconoscendo che i modelli fondativi forniscono già la struttura superficiale necessaria, e solo la mappatura della scala richiede l'apprendimento.

• Efficienza: Congelando il backbone e apprendendo solo una testa di scala e un adattatore leggeri, il modello si adatta a un singolo nodo da 8 GPU, evitando il costo di un riaddestramento end-to-end.
• Principio di Design: Il principio di "intervento minimo" assicura che la geometria visiva densa sia preservata per costruzione, prevenendo gli artefatti strutturali comuni nei metodi che rigenerano la profondità da zero.
• Limitazione: Gli autori notano con modestia che l'approccio dipende dal fatto che la geometria del modello fondativo congelato sia fondamentalmente corretta. Se il modello fondativo fallisce nel catturare la struttura (es. su superfici altamente riflettenti o trasparenti), la correzione della scala non può recuperare la geometria mancante.