SMFormer: Empowering Self-supervised Stereo Matching via Foundation Models and Data Augmentation

1. Il Problema

Lo stereo matching (corrispondenza stereoscopica) è fondamentale per applicazioni come la guida autonoma, la robotica e la realtà aumentata. Sebbene i metodi basati su apprendimento supervisionato abbiano ottenuto risultati eccellenti, dipendono da costose etichette di verità fondamentale (ground truth) per la disparità, che sono difficili da ottenere nel mondo reale.

I metodi self-supervised (auto-supervisionati) cercano di aggirare questo problema utilizzando l'assunzione di coerenza fotometrica: presuppongono che un punto nello spazio 3D appaia con lo stesso aspetto (colore/intensità) in entrambe le viste. Tuttavia, questa assunzione è spesso violata in scenari reali a causa di:

• Riflessioni e superfici non Lambertiane.
• Regioni prive di texture.
• Occlusioni.
• Variazioni di illuminazione.

Queste violazioni generano segnali di supervisione invalidi, portando a un divario significativo di accuratezza rispetto ai metodi supervisionati e a errori in regioni critiche.

2. Metodologia: SMFormer

Gli autori propongono SMFormer, un nuovo framework di stereo matching self-supervised che integra due prior principali per mitigare i limiti della coerenza fotometrica: l'uso di Modelli Fondamentali Visivi (VFM) e una strategia avanzata di Data Augmentation.

A. Architettura e Estrazione delle Feature

• Integrazione VFM + FPN: Invece di affidarsi esclusivamente alle reti CNN tradizionali (come le Feature Pyramid Networks - FPN), SMFormer integra un modello fondazionale pre-addestrato (in particolare SAM - Segment Anything Model) con la FPN.
• Multi-layer Attention (MLA): Poiché i VFM sono spesso addestrati per compiti su singola immagine e mancano di interazione geometrica cross-view, gli autori introducono un modulo MLA. Questo meccanismo applica attenzione self e cross-view tra diversi livelli e viste, permettendo al modello di apprendere rappresentazioni globali robuste e di combinare le informazioni contestuali del VFM con i dettagli specifici del dominio target della FPN.
• Branching: Il framework utilizza due rami durante l'addestramento: un ramo standard e un ramo di data augmentation. Solo il ramo standard viene utilizzato per l'inferenza.

B. Strategie di Loss (Funzioni di Perdita)

Per rendere il modello robusto alle perturbazioni, SMFormer introduce due nuove funzioni di perdita auto-supervisionate:

1. Feature-level Stereo Contrastive Loss ($L_{flc}$):

   • Obiettivo: Garantire che le feature apprese rimangano consistenti nonostante le variazioni di illuminazione.
   • Meccanismo: Utilizza un approccio di apprendimento contrastivo. Confronta le feature del ramo standard con quelle del ramo augmentato (che subisce trasformazioni come variazioni di luminosità, sfocatura, ecc.). Le coppie corrispondenti sono trattate come "positive", mentre le non corrispondenti come "negative", utilizzando un encoder chiave aggiornato tramite moving average (Momentum Encoder).

2. Image-level Disparity Difference Loss ($L_{ild}$):

   • Obiettivo: Migliorare la robustezza in regioni mal poste (ill-posed) come occlusioni e texture assenti.
   • Meccanismo: Tratta i fallimenti della coerenza fotometrica come "campioni positivi difficili". Applicando maschere casuali (occlusioni simulate) alle immagini augmentate, il modello è costretto a prevedere mappe di disparità coerenti tra il ramo standard e quello augmentato, anche in assenza di informazioni fotometriche dirette. Questo forza il modello a essere consapevole del contesto.

C. Funzione di Loss Totale

L'obiettivo finale di addestramento combina:

• $L_{photo}$: Perdita di coerenza fotometrica classica.
• $L_{s}$: Perdita di regolarizzazione liscia (edge-aware).
• $L_{flc}$: Perdita contrastiva a livello di feature.
• $L_{ild}$: Perdita di differenza di disparità a livello di immagine.

3. Contributi Chiave

1. Framework SMFormer: Un approccio generale che utilizza prior da VFM e coerenza di data augmentation per guidare l'apprendimento self-supervised in regioni critiche.
2. Integrazione VFM-MLA-FPN: Un nuovo modulo di estrazione delle feature che combina la comprensione globale dei VFM (tramite MLA) con la capacità di dettaglio delle FPN, superando i limiti dei metodi precedenti basati solo su adattatori leggeri.
3. Nuove Loss Self-Supervised: Sviluppo di due strategie di perdita specifiche per rafforzare la robustezza contro variazioni di illuminazione e occlusioni, trattando i fallimenti fotometrici come opportunità di apprendimento.
4. Prestazioni SOTA: Dimostrazione che un metodo self-supervised può competere, e in alcuni casi superare, i metodi supervisionati più avanzati.

4. Risultati Sperimentali

Il modello è stato valutato su diversi benchmark principali (KITTI 2012/2015, Middlebury, ETH3D, Booster, DrivingStereo).

• Generalizzazione Zero-Shot: Pre-addestrato su SceneFlow (dati sintetici), SMFormer supera la maggior parte dei metodi di generalizzazione di dominio su dataset reali senza strategie specifiche.
• Performance su KITTI: Su KITTI 2012 e 2015, SMFormer ottiene risultati superiori rispetto ad altri metodi self-supervised e compete alla pari con metodi supervisionati (es. supera CFNet su alcuni metriche, sebbene ChiT con un dataset di addestramento molto più grande sia leggermente superiore).
• Benchmark Booster (Il risultato più significativo): Su Booster, un dataset noto per le sue superfici riflettenti e prive di texture che violano pesantemente la coerenza fotometrica, SMFormer supera diversi metodi supervisionati SOTA (incluso CFNet), ottenendo un errore "Bad 2.0" del 14.88% contro il 29.65% di CFNet.
• Middlebury & ETH3D: Il modello supera diversi metodi supervisionati su questi benchmark complessi, dimostrando una capacità eccezionale di gestire regioni difficili senza etichette.
• Efficienza: Nonostante l'uso di un ramo doppio e di un VFM pesante, l'overhead di addestramento è contenuto (circa 1.4x rispetto alla baseline) grazie all'implementazione parallela su GPU.

5. Significato e Impatto

SMFormer rappresenta un passo avanti significativo nello stereo matching self-supervised. Dimostra che l'assunzione di coerenza fotometrica, tradizionalmente fragile, può essere resa robusta integrando priors semantici e geometrici forti provenienti da modelli fondazionali (VFM) e utilizzando strategie di contrastive learning intelligenti.

Il lavoro suggerisce che non è necessario un addestramento supervisionato massiccio per ottenere prestazioni di alto livello in scenari reali complessi, aprendo la strada a sistemi di visione stereoscopica più affidabili, economici (non richiedono etichette) e adattabili a condizioni ambientali variabili. La capacità di superare i metodi supervisionati su dataset come Booster è particolarmente rilevante per applicazioni critiche come la guida autonoma in condizioni di luce difficile o su superfici riflettenti.