Riepilogo Tecnico: Apprendimento di Campi di Scala Adattivi all'Immagine per il Recupero della Profondità Metrica

Enunciato del Problema

La Stima della Profondità Monoculare (MDE) ha fatto progressi significativi grazie alle architetture basate su transformer e al preaddestramento su larga scala. Tuttavia, la maggior parte dei metodi ampiamente utilizzati produce mappe di profondità definite solo a meno di una scala e di uno spostamento sconosciuti. Sebbene alcuni approcci stimino direttamente la profondità metrica, molte applicazioni pratiche (robotica, guida autonoma, ricostruzione 3D) richiedono un allineamento metrico esplicito. Tale allineamento si basa tipicamente su ancoraggi metrici sparsi (ad esempio, punti LiDAR o vincoli di struttura dal movimento).

I metodi esistenti per il recupero della profondità metrica da ancoraggi sparsi rientrano generalmente in due categorie:

1. Allineamento Affine Globale: Assume una scala e uno spostamento uniformi su tutta l'immagine. Sebbene stabile, questo approccio fallisce in scene con oggetti diversi o layout complessi dove i bias non sono uniformi.
2. Approcci Locali/Regionali: Metodi come l'allineamento affine a tratti, la regressione pesata localmente (LWLR), l'ottimizzazione basata su griglia e l'adattamento consapevole della regione tentano di modellare bias variabili spazialmente. Tuttavia, questi spesso si affidano a assunzioni strutturali che potrebbero non valere nelle scene reali o frammentano l'insieme degli ancoraggi sparsi, portando a stime instabili quando gli ancoraggi sono insufficienti.

La sfida fondamentale è che il recupero di campi di scala e spostamento densi per pixel da ancoraggi sparsi è un problema intrinsecamente mal posto. Le soluzioni esistenti impongono prior strutturali predefinite che potrebbero essere inaffidabili in condizioni di estrema sparsità.

Metodologia

Gli autori propongono di formulare il recupero della profondità metrica come modellazione di un campo di scala adattivo all'immagine. Invece di correggere direttamente la mappa di profondità, il metodo riformula la correzione come una combinazione lineare a bassa dimensionalità di mappe di base apprese.

1. Parametrizzazione nello Spazio Logaritmico

La profondità metrica $D_{gt}(x)$ è correlata alla profondità stimata $D_{MDE}(x)$ tramite una trasformazione affine:
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
Per evitare problemi di scalatura del gradiente dipendenti dalla profondità, dove i pixel a grande profondità dominano l'ottimizzazione, gli autori operano nello spazio logaritmico. Definendo il campo di scala logaritmica $\ell(x) = \log s(x)$, il termine di spostamento $t(x)$ viene assorbito come correzione dipendente dalla profondità all'interno del campo di scala.

2. Generatore di Mappe di Base

Il campo di scala logaritmica è modellato come una combinazione lineare di $K$ mappe di base adattive all'immagine:
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
dove $w \in \mathbb{R}^K$ sono pesi specifici dell'immagine e $E_m(x)$ sono le mappe di base.

Il Generatore di Mappe di Base è una rete neurale che produce queste mappe basandosi su tre input:

• Rappresentazioni Intermedie ($F(x)$): Caratteristiche estratte dal backbone MDE prima della testa di profondità, che catturano il contesto semantico e strutturale.
• Profondità Logaritmica Stimata: $\log D_{MDE}(x)$ e il suo gradiente spaziale, che codificano la geometria dipendente dalla profondità.
• Coordinate dell'Immagine ($x$): Per modellare le tendenze spaziali.

L'architettura del generatore consiste in:

• Un tronco convoluzionale condiviso che produce le caratteristiche $H(x)$.
• Una Testa di Base che predice le mappe di base primitive $B(x)$.
• Una Testa di Gate che predice pesi normalizzati $G(x)$ (tramite softmax).
• Le mappe di base finali sono calcolate come $E(x) = G(x) \odot B(x)$. Questa fattorizzazione permette di riutilizzare i pattern spaziali attraverso diverse regioni dell'immagine con magnitudini variabili controllate dalle mappe di gate.

3. Stima dei Pesi tramite Minimi Quadrati

I pesi $w$ sono determinati adattando il modello agli ancoraggi metrici sparsi $A = \{a_i\}$. Per ogni ancoraggio $a_i$, l'obiettivo è $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$. I pesi sono trovati risolvendo un problema di minimi quadrati regolarizzato:
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
dove $M$ è la matrice dei valori delle mappe di base nelle posizioni degli ancoraggi. Questo fornisce una soluzione in forma chiusa, garantendo stabilità anche in condizioni di estrema sparsità degli ancoraggi.

4. Obiettivo di Addestramento

Il generatore di mappe di base è addestrato utilizzando:

• Perdita Densa: Perdita SmoothL1 tra la profondità metrica recuperata e quella di verità fondamentale.
• Perdita da Ancoraggio: MSE tra la scala logaritmica predetta e quella obiettivo nelle posizioni degli ancoraggi.
• Perdita di Decorrelazione: Incoraggia l'ortogonalità tra le mappe di base per prevenire la ridondanza.
• Regolarizzazione del Gate: Perdita di entropia negativa per prevenire assegnazioni di gate eccessivamente nette.

Contributi Chiave

1. Riformulazione a Bassa Dimensionalità: Il documento introduce una formulazione in cui il recupero della profondità metrica è ridotto alla stima di un piccolo insieme di pesi per mappe di base adattive all'immagine, piuttosto che all'apprendimento diretto di un complesso campo spaziale.
2. Robustezza alla Sparsità: Utilizzando un risolutore di minimi quadrati aggregato globalmente, il metodo raggiunge soluzioni stabili anche con pochi ancoraggi (ad esempio, 1–9 ancoraggi per immagine), superando i metodi che frammentano gli ancoraggi o si affidano alla regressione locale.
3. Interpretabilità: L'approccio fornisce una decomposizione interpretabile delle variazioni di scala spaziali. Le mappe di base apprese e i loro pesi rivelano come sono strutturati i bias globali e locali.
4. Applicabilità Generale: Il metodo è agnostico rispetto all'architettura, richiedendo solo rappresentazioni intermedie e stime di profondità da un modello MDE preaddestrato. Non richiede modelli di segmentazione esterni o architetture di backbone specifiche.

Risultati Sperimentali

Il metodo è stato valutato sui dataset KITTI, UrbanSyn e SUN RGB-D utilizzando Depth Anything 3 (DA3) e MiDaS come modelli MDE rappresentativi.

• Prestazioni: Il metodo proposto ("Basis") ha costantemente superato le baseline globali, a tratti, LWLR, basate su griglia e consapevoli della regione su tutti i dataset e le densità di ancoraggi.
  • Su KITTI con 10–15 ancoraggi (regime basso), il metodo ha raggiunto un AbsRel di 0.15 (DA3) e 0.13 (MiDaS), significativamente meglio della baseline globale (0.31/0.17).
  • Su UrbanSyn/SUN RGB-D, ha raggiunto un AbsRel di 0.08 (DA3) e 0.14 (MiDaS) nel regime a basso numero di ancoraggi.
• Sparsità Estrema: In un test "drop-anchor" che riduceva gli ancoraggi a soli 1, il metodo è rimasto stabile. L'analisi spettrale ha rivelato che la modalità eigen dominante della matrice di embedding degli ancoraggi corrisponde quasi interamente al canale di scala globale, spiegando la robustezza.
• Ablazione: Lo studio ha confermato che le rappresentazioni intermedie ($F(x)$) sono cruciali; disabilitarle ha impedito al modello di beneficiare di una capacità di base aumentata (maggiore $K$).

Significato e Affermazioni

Gli autori affermano che il loro approccio offre un framework pratico per incorporare informazioni metriche sparse nei moderni sistemi MDE. I punti chiave includono:

• Migliorata Accuratezza: Il metodo raggiunge un'accuratezza di allineamento della profondità metrica all'avanguardia su scene diverse e densità di ancoraggi variabili.
• Robustezza: La formulazione a bassa dimensionalità e la stima dei minimi quadrati globali forniscono una forte robustezza laddove i metodi locali falliscono a causa di ancoraggi insufficienti.
• Interpretabilità: La decomposizione in mappe di base offre un nuovo modo per analizzare e comprendere i bias di scala-spostamento nei modelli MDE.

Il documento nota modestamente che le prestazioni dipendono ancora dall'informatività degli ancoraggi (copertura spaziale e diversità) e che la validazione su modelli MDE basati su CNN rimane un lavoro futuro. Tuttavia, la formulazione proposta è presentata come una soluzione generalizzabile che include diverse strategie di allineamento esistenti come casi particolari.