Adaptive Depth-converted-Scale Convolution for Self-supervised Monocular Depth Estimation

1. Il Problema

L'estimazione della profondità monoculare (MDE) auto-supervisionata è un compito fondamentale per la visione 3D, utilizzato in ambiti come la guida autonoma e la realtà aumentata. Tuttavia, i metodi esistenti presentano limitazioni significative:

• Ambiguità di Scala e Profondità: In un video monoculare, le dimensioni degli oggetti cambiano continuamente a causa del movimento della telecamera e della variazione della loro profondità. Gli oggetti più lontani appaiono più piccoli, mentre quelli vicini appaiono più grandi.
• Limiti delle Convoluzioni Fisse: Le reti convoluzionali (CNN) tradizionali utilizzano filtri di dimensione fissa (es. 3x3) e processi di pooling/predefiniti. Questi non riescono ad adattarsi dinamicamente alle variazioni di scala degli oggetti tra frame consecutivi, portando a una cattura inefficace delle caratteristiche 3D della scena.
• Focus sulla Deformazione Locale: La maggior parte delle ricerche recenti si è concentrata sulla deformazione locale della forma del filtro (es. Deformable Convolution), trascurando l'importanza critica dell'adattamento della scala del filtro in base alla profondità dell'oggetto.

2. Metodologia Proposta

Gli autori propongono un framework che incorpora la relazione a priori tra la profondità di un oggetto e la sua scala nell'immagine per guidare l'operazione di convoluzione. Il metodo si basa su tre componenti principali:

A. Conversione Profondità-Scala (Depth-scale Conversion)

Si basa sul principio ottico della camera a foro stenopeico: la dimensione di un oggetto nell'immagine ($l_v$) è inversamente proporzionale alla sua profondità ($D$).
La relazione è definita come:
$$l_v = l_r \cdot \frac{f}{D}$$
Dove $l_r$ è la dimensione reale, $f$ la focale e $D$ la profondità.
Di conseguenza, per un oggetto a una certa profondità $D$, la dimensione del filtro di convoluzione ($k_d$) dovrebbe essere adattata rispetto a una dimensione di riferimento ($k_r$) e una profondità di riferimento ($D_r$):
$$k_d = k_r \cdot \frac{D_r}{D}$$

B. Blocchi di Convoluzione Adattiva

Sono stati sviluppati due approcci per ottenere caratteristiche consapevoli della scala:

1. DMSF (Depth-converted Multiple Scale convolution Fusion): Estrae caratteristiche multi-scala (es. filtri 1x1, 3x3, 5x5) in parallelo e le fonde adattivamente. I pesi di fusione sono calcolati in base alla distanza tra la scala convertita dalla profondità e la dimensione del filtro di ciascun ramo, utilizzando una funzione gaussiana e softmax.
2. DcSConv (Depth-converted-Scale Convolution): Questo è il contributo principale. Invece di fondere filtri fissi, il DcSConv esegue direttamente una convoluzione con una scala flessibile ($k_d$) determinata dalla mappa di profondità. Poiché $k_d$ può essere un valore non intero, viene utilizzata l'interpolazione bilineare per campionare i valori delle caratteristiche.
   • Generalizzazione (GLSConv): Il concetto può essere esteso a una convoluzione a scala appresa (GLSConv), dove la trasformazione da caratteristiche a scala viene appresa direttamente dalla rete senza una mappa di profondità esplicita, sebbene il metodo basato sulla profondità fisica mostri prestazioni superiori.

C. Fusione Consapevole della Scala (DcS-F)

Per combinare le informazioni delle caratteristiche adattate alla scala (DcSConv) con quelle delle convoluzioni convenzionali (che catturano relazioni tra oggetti diversi nello stesso frame), è stato progettato il modulo DcS-F.

• Utilizza un blocco di attenzione canalizzata e uno spaziale.
• Inietta la mappa di differenza di scala (normalizzata) nelle caratteristiche per guidare l'attenzione.
• Questo permette alla rete di enfatizzare dinamicamente le informazioni più rilevanti: filtri più piccoli per oggetti lontani (dettagli) e filtri più grandi per oggetti vicini (informazione globale), fondendoli intelligentemente con le caratteristiche standard.

3. Contributi Chiave

1. Primo studio sulla scala adattiva: È il primo lavoro che investiga l'adattamento della scala del filtro di convoluzione basato sulla profondità, invece della sola deformazione locale del filtro.
2. DcSConv e DMSF: Proposta di due metodi per l'estrazione di caratteristiche multi-scala adattive, con DcSConv che permette una convoluzione direttamente scalabile.
3. Modulo DcS-F: Un meccanismo di fusione innovativo che integra le informazioni di scala per fondere caratteristiche adattive e convenzionali.
4. Modularità Plug-and-Play: Il metodo non richiede modifiche all'architettura di base (encoder-decoder) e può essere inserito in qualsiasi rete CNN esistente per migliorare le prestazioni.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark KITTI (split di Eigen) e su dataset aggiuntivi come Make3D e NYU V2.

• Performance su KITTI: Il metodo proposto ha ottenuto i migliori risultati rispetto a diversi baselines (Monodepth2, CADepth, MonoViT) e allo stato dell'arte (SOTA).
  • Rispetto a Monodepth2, si è osservato un miglioramento fino all'11.6% nella riduzione dell'errore SqRel.
  • Rispetto a CADepth e MonoViT, i miglioramenti sono stati rispettivamente del 17.9% e 23.4% su SqRel.
• Ablation Study:
  • Il DcSConv supera sia le convoluzioni fisse che le Deformable Convolutions, dimostrando che l'adattamento della scala è più critico della deformazione locale per questo compito.
  • Il modulo DcS-F supera strategie di fusione semplici (somma, concatenazione) e meccanismi di attenzione standard (CBAM).
• Generalizzazione: Il metodo mostra una forte capacità di generalizzazione su dataset indoor (NYU V2) e outdoor (Make3D) senza bisogno di riaddestramento specifico, mantenendo bordi nitidi e dettagli fini.

5. Significato e Impatto

Questo lavoro cambia il paradigma di progettazione delle reti per l'estimazione della profondità monoculare. Dimostra che:

• La scala del filtro di convoluzione è un parametro fondamentale che deve essere adattato dinamicamente in base alla geometria della scena (profondità), non solo la forma del filtro.
• Sfruttare la relazione fisica tra profondità e scala visiva permette di risolvere l'ambiguità di scala tipica dei video monoculare, migliorando la consistenza temporale e la precisione spaziale.
• L'approccio è altamente efficiente e versatile, potendo essere applicato come modulo aggiuntivo a qualsiasi architettura esistente per ottenere guadagni significativi nelle prestazioni senza la necessità di dati di verità terreno (ground truth) aggiuntivi durante l'addestramento auto-supervisionato.