SMFormer: Empowering Self-supervised Stereo Matching via Foundation Models and Data Augmentation

Probleemstelling

Bestaande methoden voor self-supervised stereo matching (stereovisie zonder grondwaarheid-labels) vertrouwen voornamelijk op de aanname van fotometrische consistentie. Deze aanname stelt dat corresponderende punten in verschillende weergaven dezelfde uiterlijke kenmerken hebben. In de praktijk wordt deze aanname echter vaak geschonden door realistische verstoringen zoals:

• Reflecties.
• Gebieden zonder textuur (textureless regions).
• Occlusies (verduistering).
• Variaties in verlichting.

Deze schendingen leiden tot ongeldige supervisie-signalen en een aanzienlijke prestatiekloof tussen self-supervised en supervised methoden. Bestaande CNN-gebaseerde feature extractors hebben moeite met het leren van discriminerende kenmerken in deze "moeilijke" gebieden vanwege beperkte receptieve velden en zwakke supervisie.

Methodologie: SMFormer

De auteurs stellen SMFormer voor, een nieuw framework dat twee belangrijke priors integreert om de beperkingen van fotometrische consistentie te overwinnen: Vision Foundation Models (VFM) en Data Augmentation Consistency.

Het framework bestaat uit een standaardtak en een tak voor data-augmentatie, die samenwerken via een gedeelde cost aggregation module (gebaseerd op CFNet).

1. Integratie van Vision Foundation Models (VFM) en FPN

• Huidige situatie: Bestaande self-supervised methoden gebruiken vaak CNN-gebaseerde Feature Pyramid Networks (FPN), maar deze falen in gebieden met weinig textuur of reflecties.
• Oplossing: SMFormer integreert een vooraf getraind Vision Foundation Model (specifiek SAM - Segment Anything Model) met een FPN.
• Multi-layer Attention (MLA): Omdat VFMs vaak zijn getraind voor single-image taken en gebrek hebben aan cross-view geometrische interactie, introduceren de auteurs een MLA-module. Deze module voert cross-view attention uit tussen verschillende lagen en weergaven (links/rechts).
• Resultaat: De combinatie van de robuuste, globale features van de VFM en de gedetailleerde, domeinspecifieke features van de FPN creëert een meer discriminerende en robuuste feature-representatie.

2. Data Augmentation Consistency Losses

Om robuustheid te vergroten tegenover verstoringen, wordt een data-augmentatie tak gebruikt die diverse transformaties toepast (helderheid, contrast, glasblur voor reflecties, occlusie-maskers). Twee nieuwe self-supervised loss-functies worden ontwikkeld:

• Feature-level Stereo Contrastive Loss ($L_{flc}$):

  • Deze loss vergelijkt features van de standaardtak met die van de augmented tak.
  • Het gebruikt een contrastief leermechanisme (InfoNCE loss) met een momentum-updated key encoder en een queue van negatieve samples.
  • Doel: Het dwingt het model om features consistent te houden ondanks veranderingen in verlichting, waardoor het model minder gevoelig wordt voor asynchrone veranderingen.

• Image-level Disparity Difference Loss ($L_{ild}$):

  • Deze loss vergelijkt de uiteindelijke disparity-kaarten van de standaardtak en de augmented tak.
  • Het behandelt mislukte reconstructies door fotometrische inconsistentie (zoals occlusies) als "harde positieve samples".
  • Doel: Het regulariseert de output om ervoor te zorgen dat het model contextbewust is en robuust blijft bij occlusies en andere verstoringen, zelfs als de pixel-level consistentie ontbreekt.

Kernbijdragen

1. SMFormer Framework: Een algemeen self-supervised framework dat priors van VFMs en data-augmentatie consistentie combineert om de beperkingen van fotometrische consistentie in uitdagende scenario's op te lossen.
2. Hybride Feature Extractor: Een innovatieve integratie van een VFM (SAM) met een FPN, versterkt door een Multi-layer Attention (MLA) mechanisme, wat de representatiekracht van bestaande feature extractors aanzienlijk verbetert.
3. Nieuwe Loss Functies: De ontwikkeling van twee specifieke self-supervised losses ($L_{flc}$ en $L_{ild}$) die het model robuuster maken tegen real-world verstoringen zoals reflecties, occlusies en verlichtingsveranderingen.
4. State-of-the-Art Prestaties: Het bereiken van prestaties die concurreren met, en in sommige gevallen overtreffen, supervised state-of-the-art methoden, zonder gebruik te maken van grondwaarheid-labels.

Resultaten

De methode is getest op meerdere benchmarks (KITTI 2012/2015, Middlebury, ETH3D, DrivingStereo en Booster).

• Algemene Prestaties: SMFormer presteert superieur ten opzichte van bestaande self-supervised methoden en komt in de buurt van of overtreft bepaalde supervised methoden.
• Booster Benchmark: In dit zeer uitdagende dataset (met veel reflecties en textuurloze oppervlakken) overtreft SMFormer zelfs recente supervised state-of-the-art methoden zoals CFNet.
• Zero-shot Generalisatie: Het model toont sterke generalisatie op real-world datasets zonder aanpassing (fine-tuning) op die specifieke datasets, wat wijst op de robuustheid van de gebruikte priors.
• Ablatie Studies: Experimenten bevestigen dat de combinatie van FPN + VFM de grootste verbetering levert, en dat de toevoeging van de nieuwe loss-functies de stabiliteit en nauwkeurigheid verder verhoogt, vooral in gebieden waar de fotometrische consistentie faalt.

Betekenis en Impact

SMFormer markeert een belangrijke stap in de evolutie van stereovisie. Het demonstreert dat:

1. Foundation Models effectief kunnen worden gebruikt om de afhankelijkheid van dure grondwaarheid-labels te verminderen, zelfs in complexe 3D-taken.
2. Self-supervised learning niet langer beperkt hoeft te zijn tot "makkelijke" scenario's, maar ook robuust kan zijn in real-world omstandigheden met reflecties en occlusies.
3. De kloof tussen self-supervised en supervised methoden kan worden overbrugd door slimme architecturale keuzes en het gebruik van consistente data-augmentatie-strategieën.

Dit werk opent de deur voor bredere toepassing van stereovisie in autonome systemen (zoals zelfrijdende auto's en robots) waar het verzamelen van grondwaarheid-labels vaak onhaalbaar of te kostbaar is.