Last-Layer-Centric Feature Recombination: Unleashing 3D Geometric Knowledge in DINOv3 for Monocular Depth Estimation

1. Enunciato del Problema

La Stima della Profondità Monoculare (MDE) è il compito di prevedere la profondità della scena a livello di pixel partendo da una singola immagine RGB. Si tratta di un problema intrinsecamente mal posto perché una singola immagine 2D può corrispondere a infinite scene 3D.

• Limitazioni Attuali: Sebbene i Modelli Fondamentali Visivi (VFMs), in particolare i Transformer basati su DINO, abbiano migliorato significativamente l'accuratezza della MDE, gli approcci esistenti seguono un paradigma unificato: campionano uniformemente un insieme fisso di livelli intermedi del transformer per costruire caratteristiche multi-scala.
• Il Divario: Questo campionamento uniforme assume implicitamente che le informazioni geometriche siano distribuite uniformemente tra tutti i livelli. Gli autori sostengono che ciò sottoutilizzi i specifici segnali strutturali 3D codificati nei VFMs, in particolare la ricca conoscenza geometrica presente nei livelli più profondi.

2. Metodologia: Ricombinazione delle Caratteristiche Centrata sull'Ultimo Livello (LFR)

La soluzione proposta è un modulo plug-and-play inserito tra il backbone ViT e la testata di previsione (decodificatore DPT). È composto da tre fasi principali:

A. Analisi Sistematica Livello per Livello

Prima di progettare il metodo, gli autori hanno condotto un'analisi statistica delle caratteristiche di DINOv3-L:

• Risultati: I livelli più profondi mostrano una maggiore prevedibilità della profondità e catturano meglio le variazioni geometriche inter-campioni. L'ultimo livello funge da "ancora geometrica", mentre i livelli intermedi contengono informazioni complementari.
• Conclusione: Le caratteristiche più profonde dovrebbero svolgere un ruolo centrale, e le caratteristiche intermedie dovrebbero essere selezionate in base alla loro complementarità con l'ultimo livello, non solo in base al loro indice di profondità.

B. Selezione delle Caratteristiche Basata sulla Similarità Minima

Invece di un campionamento uniforme fisso, LFR seleziona adattivamente i livelli intermedi:

1. Ancora: Le caratteristiche dell'ultimo livello ($F_L$) fungono da rappresentazione geometrica dominante.
2. Criterio di Selezione: L'algoritmo calcola la similarità coseno media tra il token di classe dell'ultimo livello e i token immagine di tutti i livelli precedenti.
3. Strategia: Seleziona i $K$ livelli con i punteggi di similarità più bassi (Similarità Minima).
   • Razionale: I livelli con bassa similarità rispetto all'ultimo livello sono semanticamente più complementari, massimizzando il guadagno informativo e minimizzando la ridondanza.

C. Ricombinazione delle Caratteristiche tramite Adattatori Leggeri

Le caratteristiche ausiliarie selezionate vengono fuse con le caratteristiche dell'ultimo livello:

• Concatenazione: Le caratteristiche ausiliarie ($F_{ak}$) e le caratteristiche dominanti ($F_L$) vengono concatenate lungo la dimensione del canale.
• Adattatore: Un adattatore lineare compatto (Proiezione in basso $\to$ Attivazione non lineare $\to$ Proiezione in alto) elabora le caratteristiche concatenate.
• Gating: Una porta scalare apprendibile ($g^k$), modulata da una funzione tanh, controlla il contributo delle caratteristiche fuse.
• Connessione Residua: La caratteristica finale ricomposta è calcolata come:
  $$F_{rk} = \tanh(g^k) \cdot A^k([F_{ak}; F_L]) + F_L$$

D. Testata di Previsione e Funzione di Perdita

• Aggregazione Multi-livello: A differenza del DPT standard che utilizza solo l'ultimo livello per la previsione, LFR esegue la regressione della profondità indipendentemente per ogni livello di caratteristica ricomposto. La mappa di profondità finale è una somma pesata di queste previsioni, dove i pesi sono derivati dai token di classe ricomposti.
• Funzioni di Perdita: Il modello è addestrato utilizzando una combinazione di Perdita Logaritmica Invariante alla Scala e una Perdita di Normalizzazione Gerarchica (HN) per bilanciare la coerenza globale e il dettaglio locale.

3. Contributi Chiave

1. Analisi Sistematica: La prima analisi livello per livello di DINOv3 per la geometria 3D, che dimostra come i livelli più profondi codifichino informazioni geometriche più dense ed esplicite e come i livelli intermedi offrano segnali complementari.
2. Modulo LFR: Un modulo di ricombinazione semplice, efficace e plug-and-play che seleziona adattivamente livelli intermedi complementari basandosi su un criterio di similarità minima e li fonde con l'ancora dell'ultimo livello.
3. Prestazioni State-of-the-Art: Il metodo ottiene nuovi risultati SOTA su benchmark standard con un minimo sovraccarico computazionale e senza modifiche all'architettura del backbone.

4. Risultati Sperimentali

Il metodo è stato valutato su NYU Depth v2 (interno) e KITTI (esterno), con la generalizzazione zero-shot testata su SUN RGB-D e Argoverse.

• NYU Depth v2:
  • DINOv3-L + LFR ha raggiunto un AbsRel di 0.057 e un RMSE di 0.206, superando il baseline DINOv3-L (0.060 AbsRel) e i precedenti metodi SOTA come Depth Anything v2 (0.056 AbsRel) e i modelli generativi come DAR-L (0.056 AbsRel).
  • Ha raggiunto prestazioni superiori con un numero significativamente inferiore di parametri e senza inferenza iterativa (a differenza dei modelli basati su diffusione).
• KITTI:
  • DINOv3-L + LFR ha raggiunto un AbsRel di 0.043 e un RMSE di 1.711, superando tutti i metodi precedenti, inclusi quelli che richiedono pre-addestramento massiccio o framework generativi.
• Generalizzazione Zero-Shot:
  • I modelli addestrati su NYU trasferiti su SUN RGB-D hanno ottenuto un AbsRel di 0.099 (vs 0.101 per il baseline).
  • I modelli addestrati su KITTI trasferiti su Argoverse hanno ottenuto un AbsRel di 0.204 (vs 0.219 per il baseline), dimostrando una robusta adattamento ad ambienti non visti.
• Studi di Ablazione: Hanno confermato che la strategia di selezione Similarità Minima supera la similarità massima o la selezione casuale. Il modulo di ricombinazione e la perdita HN hanno fornito guadagni incrementali costanti.

5. Significato

• Sblocco del Potenziale VFM: Il paper fornisce una strategia principiale per sbloccare la conoscenza geometrica 3D latente nei modelli fondazionali senza riaddestrare il backbone.
• Efficienza: Offre un'alternativa altamente efficiente ai modelli generativi computazionalmente costosi (diffusione/autoregressivi) per compiti 3D densi, raggiungendo accuratezza comparabile o migliore con un singolo passaggio in avanti.
• Insight Teorico: Mette in discussione il paradigma standard di "campionamento uniforme" nel transfer learning, suggerendo che l'eterogeneità livello per livello nei VFMs dovrebbe essere sfruttata attraverso una fusione di caratteristiche adattiva e basata sulla complementarità.
• Generalizzabilità: L'approccio "Centrato sull'Ultimo Livello" è agnostico rispetto all'architettura e può probabilmente essere esteso ad altri compiti di previsione densa oltre alla stima della profondità.