MLG-Stereo: ViT Based Stereo Matching with Multi-Stage Local-Global Enhancement

Probleemstelling

Stereo-matching, de taak om diepte-informatie (dispariteit) te schatten uit stereobeelden, heeft aanzienlijke vooruitgang geboekt dankzij deep learning. Echter, bestaande methoden kampen met fundamentele beperkingen:

1. CNN-gebaseerde methoden: Hoewel deze uitstekend zijn in het behouden van lokale details en het verwerken van willekeurige resoluties, missen ze een groot receptief veld. Dit leidt tot zwakke prestaties in gebieden met complexe structuren, herhalende texturen of zwakke texturen, en ze hebben vaak een beperkte "zero-shot" generalisatiecapaciteit (vermogen om op onbekende data te presteren).
2. ViT-gebaseerde methoden (Vision Transformers): Deze modellen profiteren van sterke globale contextuele modellering en uitstekende zero-shot eigenschappen. Ze lijden echter onder resolutie-gevoeligheid (prestaties dalen bij hoge resoluties) en het verlies van fijne lokale details. Bovendien beperken bestaande ViT-architecturen de globale modellering vaak tot de encoder-fase, waardoor de decoder en iteratieve optimalisatie niet optimaal gebruikmaken van globale informatie, wat leidt tot lokale optima en langzamere convergentie.

Het paper stelt dat er een behoefte is aan een systeem dat de sterke punten van beide werelden combineert: de detailbehoud van CNNs en de robuuste globale context van ViTs, zonder de nadelen van resolutie-afhankelijkheid.

Methodologie: MLG-Stereo

De auteurs introduceren MLG-Stereo, een geünificeerde pijplijn die lokale en globale versterking door de hele stereo-matching-stroom uitbreidt, niet alleen in de encoder. De architectuur bestaat uit drie kerncomponenten:

1. Multi-Granularity Feature Network (MGFN):

   • Doel: Het overwinnen van de vaste resolutie-beperkingen van Vision Foundation Models (VFMs) zoals DINOv2 en het balanceren van globale semantiek met lokale geometrische details.
   • Werking: In plaats van alleen het volledige beeld te verwerken, splitst de MGFN de inputbeelden in twee paden:
     • Een Full Image Encoder die het volledige beeld verwerkt om globale context te vangen.
     • Een Patch Image Encoder die het beeld in overlappende patches (op volledige en halve resolutie) verdeelt om fijne details te extraheren.
   • Deze paden delen gewichten en worden gefuseerd via een Feature Fusion Network om een feature-pyramid te genereren die zowel lokale details als globale semantiek bevat.

2. Local-Global Cost Volume (LGCV):

   • Doel: Het construeren van een kostenvolume dat zowel lokale correlaties als globale matching-informatie bevat, zonder de rekenkosten van een volledig globaal volume onhoudbaar te maken.
   • Werking:
     • Er wordt een Local Cost Volume (LCV) gegenereerd via groepsgewijze correlatie (GWC) en 3D-hourglass netwerken voor lokale precisie.
     • Voor globale informatie wordt een Global Cost Volume (GCV) gegenereerd. Hiervoor wordt de "Grouped All-Pairs Correlation" (GAPC) gecomprimeerd naar een vaste lengte van "latent tokens".
     • Deze tokens ondergaan bidirectionele attention-mechanismen (zowel in de dispariteits- als ruimtelijke dimensie) om globale geometrische en contextuele relaties te extraheren.

3. Local-Global Guided Recurrent Unit (LGRU):

   • Doel: Het iteratief optimaliseren van de dispariteit waarbij lokale updates expliciet worden geleid door globale informatie.
   • Werking: Tijdens elke iteratie wordt de huidige dispariteit gebruikt om het LCV op te zoeken. Vervolgens wordt een Cross-Attention mechanisme toegepast tussen dit lokale volume en het globale volume (GCV). Hierdoor wordt een "globaal versterkt" matching-signaal gegenereerd dat de iteratieve update (via ConvGRU) stuurt. Dit helpt het model sneller te convergeren en voorkomt dat het vastloopt in lokale optima, vooral in moeilijke gebieden.

Belangrijkste Bijdragen

• Eenheid van Local-Global: De eerste ViT-gebaseerde pipeline die lokale en globale versterking systematisch door alle stadia (encoder, cost volume, decoder) integreert.
• Resolutie-onafhankelijkheid: Door de MGFN-architectuur ondersteunt het model willekeurige inputresoluties, wat een groot probleem is voor standaard ViT-modellen.
• Efficiënte Globale Aggregatie: De introductie van latent tokens in de LGCV maakt het mogelijk om globale matching-informatie te comprimeren en efficiënt te gebruiken binnen hardware-beperkingen.
• Geleide Iteratie: De LGRU injecteert daadwerkelijk globale priors in het iteratieve optimalisatieproces, wat de convergentiesnelheid en robuustheid in "ill-posed" gebieden verbetert.

Resultaten

Het model is uitgebreid getest op drie belangrijke benchmarks: Middlebury, KITTI-2012 en KITTI-2015.

• Middlebury: MLG-Stereo behaalde leidende prestaties. Het versloeg de state-of-the-art methoden (zoals AIO-Stereo en FoundationStereo) met een significante marge op de Bad 2.0 metric (bijv. 25% verbetering ten opzichte van AIO-Stereo). Het model toonde ook superieure prestaties bij het verwerken van ultra-hoge resoluties en behield scherpe randen.
• KITTI-2015: Het model behaalde de laagste D1-all fout op het moment van indiening, presterend beter dan concurrenten zoals Monster en AIO-Stereo.
• KITTI-2012: Het behaalde zeer concurrerende resultaten, met name in moeilijke gebieden met zwakke texturen.
• Zero-Shot Generalisatie: Bij training uitsluitend op synthetische data (SceneFlow) en testen op echte data (Middlebury), toonde MLG-Stereo uitstekende zero-shot eigenschappen, wat wijst op sterke generalisatie.
• Efficiëntie: Hoewel ViT-modellen over het algemeen zwaarder zijn, presteerde MLG-Stereo efficiënter dan andere ViT-baselines (zoals FoundationStereo) in termen van tijd en geheugenverbruik, mede dankzij de compressie van dispariteit in de latent space. Het convergeerde bovendien in minder iteraties dan CNN-baselines.

Betekenis en Toekomstperspectief

MLG-Stereo markeert een belangrijke stap in de evolutie van stereo-matching door de kloof tussen CNN-gebaseerde detailbehoud en ViT-gebaseerde globale context te dichten. Het bewijst dat Vision Foundation Models (VFMs) succesvol kunnen worden toegepast op taken die hoge resolutie en fijne details vereisen, mits ze correct worden geïntegreerd met lokale versterkingsmechanismen.

Beperkingen en Toekomstig Werk:

• Rekenkosten: Het gebruik van een groot DINOv2-backbone zorgt nog steeds voor een hoge rekenlast, wat de inzet op randapparatuur (edge devices) beperkt. Toekomstig werk richt zich op model-verlichting via kennisdistillatie en sparsificatie.
• Uiterst moeilijke gebieden: In gebieden met extreme occlusies of zeer zwakke texturen blijven fouten optreden. De auteurs plannen het integreren van dieptegerichte foundation models (zoals Depth Anything) om de geometrische priors te versterken.

Samenvattend biedt MLG-Stereo een robuust, schaalbaar en nauwkeurig framework dat de huidige staat van de kunst voorbijstreeft door een slimme synergie tussen lokale en globale verwerking te creëren.