ESMStereo: Enhanced ShuffleMixer Disparity Upsampling for Real-Time and Accurate Stereo Matching

Technische Samenvatting: ESMStereo

Probleemstelling
Stereo-matching is een kritieke component voor autonome systemen, maar het ontwikkelen van deep learning-modellen die simultaan hoge nauwkeurigheid en real-time prestaties leveren, blijft een aanzienlijke uitdaging. In op cost-volumes gebaseerde stereo-matching hangt nauwkeurige dispariteitschatting doorgaans af van grootschalige cost-volumes. Deze grote volumes slaan echter een substantiële hoeveelheid redundante informatie op en vereisen computationeel intensieve 3D-aggregatie-units, waardoor real-time prestaties op middelenbeperkte apparaten onbereikbaar zijn. Omgekeerd leidt het construeren van kleinschalige cost-volumes met lichtgewicht aggregatie-units tot real-time inferentie, maar dit resulteert vaak in een aanzienlijke degradatie van de nauwkeurigheid door onvoldoende matching-informatie en het verlies van geometrische details. Bestaande strategieën om deze trade-off te verzachten, zoals edge-aware upsampling of feature-guided refinement, worstelen vaak met het effectief herstellen van hoogfrequente details of introduceren excessieve computationele overhead.

Methodologie
De auteurs stellen ESMStereo (Enhanced ShuffleMixer Stereo) voor, een real-time stereo-matching architectuur die ontworpen is om de balans tussen snelheid en nauwkeurigheid te vinden door de computationele complexiteit te verschuiven van de 3D-aggregatiefase naar een 2D post-disparity regressiefase. De architectuur bestaat uit drie primaire componenten:

1. Compact Cost Volume en Lightweight Aggregatie: Het netwerk construeert cost-volumes op gereduceerde resoluties (1/4, 1/8 of 1/16 van de originele afbeelding) met behulp van efficiënte feature-extractoren (EfficientNet-B2 voor grotere varianten, MobileNetV2 voor de kleine variant). Deze volumes worden verwerkt door een lichtgewicht 3D hourglass netwerk om een initiële laag-resolutie dispariteitskaart te genereren.
2. Enhanced ShuffleMixer (ESM) Module: Dit is de kernbijdrage van het artikel. De ESM-module adresseert het informatieverlies dat inherent is aan kleinschalige cost-volumes via een multi-stage upsampling proces:
   • Feature Fusion: Het extraheert features uit de initiële laag-resolutie dispariteitskaart en fuseert deze met contextuele features van de linker afbeelding.
   • Enhanced ShuffleMixer: De gefuseerde features worden verwerkt door FMBlocks (Feature Mixer Blocks). Deze blokken maken gebruik van een Shuffle Mixing Layer die LayerNorm, een channel-wise split-point MLP met residual connections, en depthwise convoluties toepast. Dit mechanisme mengt features via shuffling en layer splitting om zich efficiënt op lokale correlaties te concentreren.
   • Pixel Shuffle en Refinement: De gemengde features worden geupsampled met behulp van de computationeel efficiënte pixel shuffle operatie. Om de compensatie te bieden voor het gebrek aan inherente smoothing in pixel shuffle, wordt een compacte, feature-guided hourglass refinement netwerk ingezet. Dit netwerk herstelt de fijne scène-geometrie en vlakt de dispariteitschatting af door globale en lokale contexten te integreren.
3. Progressieve Upsampling: De dispariteitskaart wordt in meerdere stadia geupsampled (bijv. van 1/16 naar 1/4 naar 1/1) met behruik van de ESM-module, waardoor het netwerk de dispariteitskaart progressief kan verfijnen terwijl real-time snelheden behouden blijven.

Belangrijkste Bijdragen

• Enhanced ShuffleMixer (ESM): De introductie van een snelle, feature-guided upsampler die feature fusion, focus op lokale correlaties via ShuffleMixer-lagen en een lichtgewicht hourglass refinement netwerk integreert om scène-details te herstellen die verloren zijn gegaan tijdens de initiële laag-resolutie aggregatie.
• Computationele Efficiëntiestrategie: Een nieuw architectuurontwerp dat de computationele last van 3D cost-volumes en aggregatie-modules minimaliseert door de werklast over te dragen naar de post-disparity regressiefase, waar efficiënte 2D-modules de stereo scène-details herstellen.
• Prestatiebenchmarks: De demonstratie van competitieve real-time prestaties over meerdere schalen (ESMStereo-S, M, en L), waarbij een hoge nauwkeurigheid op standaard benchmarks wordt bereikt terwijl lage inferentietijden worden gehandhaafd.

Experimentele Resultaten
De auteurs hebben ESMStereo geëvalueerd op de SceneFlow, KITTI 2012, KITTI 2015, ETH3D, en Middlebury 2014 datasets.

• SceneFlow: De ESMStereo-L-gwc variant bereikte een End-Point Error (EPE) van 0.53 pixels met een inferentietijd van 26 ms op een RTX 4070 Super. De lichtgewicht ESMStereo-S-gwc variant bereikte 1.10 pixels EPE bij 116 FPS.
• KITTI Benchmarks: Op KITTI 2012 bereikte ESMStereo-L-gwc een D1-error van 5.4%, en op KITTY 2015 een D1-error van 5.5%. Deze resultaten plaatsen het model competitief tegenover state-of-the-art real-time methoden, waarbij het vaak de concurrentie overtreft in nauwkeurigheid terwijl het vergelijkbare of snellere inferentiesnelheden behoudt.
• Edge Deployment: Op de NVIDIA Jetson AGX Orin bereikte het ESMStereo-S-gwc model 91 FPS met een D1-error van 10.8%, wat de geschiktheid voor edge-apparaten aantoont.
• Generalisatie: Modellen die uitsluitend getraind zijn op de synthetische SceneFlow dataset vertoonden een sterke generalisatie naar real-world datasets (KITTI, ETH3D, Middlebury), wat wijst op een robuuste adaptiviteit aan onbekende scenario's.
• Ablatie-studies: Experimenten bevestigden dat de group-wise correlation cost volume beter presteert dan norm-correlation, en dat de combinatie van de FMBlock en de feature-guided hourglass refinement de EPE aanzienlijk vermindert vergeleken met baseline configuraties.

Betekenis en Claims
Het artikel claimt dat ESMStereo er succesvol in slaagt de trade-off tussen snelheid en nauwkeurigheid in stereo-matching aan te pakken door het informatieverlies geassocieerd met kleinschalige cost-volumes te mitigeren. Door gebruik te maken van de Enhanced ShuffleMixer, herstelt het netwerk effectief cruciale details en scène-geometrie zonder te vertrouwen op computationeel dure 3D-operaties tijdens de upsampling-fase. De auteurs stellen dat dit ontwerp de integratie van zowel globale als lokale contexten mogelijk maakt, wat resulteert in zeer nauwkeurige dispariteitskaarten in real-time. Het werk wordt gepositioneerd als een belangrijke stap voorwaarts voor real-time autonome systemen, waarbij een compacte, efficiënte en nauwkeurige oplossing wordt geboden die goed generaliseert over diverse datasets en hardwareplatforms, inclus\u2019 inclusief middelenbeperkte edge-apparaten. De broncode wordt beschikbaar gesteld om verder onderzoek en implementatie te faciliteren.