Technische Samenvatting: Lite Any Stereo V2 (LAS2)

Probleemstelling

Recente vooruitgang in stereo matching heeft opmerkelijke nauwkeurigheid bereikt, met name door grootschalige foundation models en iteratieve verfijningspipelines. Deze hoogwaardige methoden vertrouwen echter vaak op computationeel dure 3D cost aggregation, zware backbones of aanvullende monoculaire dieptepriors, wat ze moeilijk inzetbaar maakt op platforms met beperkte middelen, zoals edge-apparaten. Daartegenover staan bestaande efficiënte stereomodellen die snellere inferentie bieden, maar over het algemeen worden beschouwd als minder in staat tot sterke zero-shot generalisatie, waarbij vaak domeinspecifieke fine-tuning vereist is. Dit paper daagt de aanname uit dat lichtgewicht modellen niet over sterke zero-shot generalisatie kunnen beschikken zonder in te leveren op efficiëntie, met als doel de kloof tussen hoge nauwkeurigheid en lage latentie te overbruggen.

Methodologie

1. Architectuurontwerp: 2D-Only Cost Aggregation

De auteurs stellen Lite Any Stereo V2 (LAS2) voor, een modelserie ontwikkeld met praktische implementatielatentie als het primaire optimalisatietarget, in plaats van enkel theoretische Multiply-Accumulate Operations (MACs).

• Feature Extraction: In plaats van gebruik te maken van zware monoculaire dieptepriors (bijv. DepthAnything) die aanzienlijke overhead introduceren, gebruikt LAS2 een conventionele op ImageNet voorgetrainde backbone. Specifiek is gekozen voor FasterNet in plaats van MobileNet-varianten omdat het, ondanks iets hogere MACs, een superieure real-world inferentiesnelheid vertoont op GPU's en edge-apparaten.
• Cost Aggregation: Een cruciale architecturale verschuiving is de verwijdering van de 3D cost aggregation component die gebruikelijk is in nauwkeurige modellen. LAS2 adopteert een puur 2D cost aggregation framework met een U-Net-stijl ontwerp met strided residual layers en transposed convolutions. Dit ontwerp vermijdt de computationele bottlenecks van 3D-convoluties terwijl het geometrische redeneercapaciteiten behoudt.
• Modelvarianten:
  • LAS2-S/M/L: Feed-forward varianten met toenemende capaciteit (variërende dieptes van het aggregatiemodule) ontworpen voor verschillende efficiëntiebudgetten.
  • LAS2-H: Een iteratieve variant die de feed-forward LAS2-M gebruikt om een initiële dispariteit en intermediaire representaties te genereren. Deze worden vervolgens verfijnd door een context-gestuurd recurrent update module (ConvGRU) om een hogere nauwkeurigheid te bereiken.

2. Trainingsstrategie: Drie-fasen Pipeline

Om robuuste zero-shot generalisatie mogelijk te maken zonder real-world ground truth, introduceren de auteurs een drie-fasen trainingsstrategie:

• Fase 1 (Synthetische Supervisie): Het model wordt vanaf nul getraind op een grote mix van synthetische datasets (ongeveer 1,8M paren, inclusief SceneFlow, FallingThings, FSD, etc.) met behulp van standaard supervised disparity regression loss.
• Fase 2 (Zelf-distillatie): Om de robuustheid tegen input-perturbaties te verbeteren en domein-invariante representaties te leren, wordt een zelf-distillatiestrategie toegepast. Een "teacher" model (getraind op schone data) begeleidt een "student" model (getraind op geperturbeerde data) via een feature alignment loss. De auteurs stelden vast dat een fixed-teacher strategie de beste resultaten oplevert.
• Fase 3 (Real-World Knowledge Distillation): Het model wordt gefinetuned op 0,5M ongelabelde real-world stereo paren. Pseudo-labels worden gegenereerd door een hoogwaardig teacher model (FoundationStereo). Om betrouwbaarheid te garanderen, introduceren de auteurs:
  • Pseudo-Label Filtering: Een combinatie van Left-Right (LR) consistentiechecks, edge-aware masks (die artefacten in textuurloze regio's onderdrukken) en sky segmentation masks om onbetrouwbare supervisie te filteren.
  • Error Clamping: Een operatie die de per-pixel dispariteit loss afkapt bij een drempelwaarde ($\tau_{clamp}$). Dit voorkomt dat pixels met een hoge fout (veelvoorkomend in moeilijke real-world regio's) de gradiënten domineren en de synthese-naar-real transfer destabiliseren.

Belangrijkste Bijdragen

1. LAS2 Modelserie: Een ultra-snelle stereo matching familie (S, M, L, H) die state-of-the-art (SOTA) nauwkeurigheid bereikt onder efficiënte methoden, terwijl een aanzienlijk lagere latentie wordt behouden.
2. Deployment-Georiënteerde Architectuur: Een systematisch herontwerp van de stereo-architectuur dat de praktische inferentielatentie prioriteert boven theoretische MACs, waarbij een 2D-only cost aggregation framework wordt geïntroduceerd dat hybride 3D-2D designs overtreft op edge-hardware.
3. Drie-fasen Trainingsstrategie: Een nieuwe pipeline die synthetische supervisie, zelf-distillatie en real-world knowledge distillation combineert, waardoor efficiënte modellen kunnen generaliseren naar diverse onbekende scenario's.
4. Betrouwbaarheidsmechanismen: De introductie van pseudo-label filtering en error-clamping operaties, die de stabiliteit en effectiviteit van training op ongelabelde real-world data aanzienlijk verbeteren.

Experimentele Resultaten

Uitgebreide experimenten werden uitgevoerd op vier real-world benchmarks (KITTI 2012, KITTI 2015, ETH3D, Middlebury) en een weer-specifieke subset (DrivingStereo).

• Nauwkeurigheid vs. Latentie:
  • LAS2-M (feed-forward) presteert consistent beter dan de vorige SOTA efficiënte methode LAS over alle vier de benchmarks, waarbij fouten worden verminderd terwijl het 1,6× sneller is op H200 en 1,9× sneller op Orin 8G.
  • LAS2-H (iteratief) bereikt een sterkere algehele zero-shot performance dan de iteratieve methode Fast-FoundationStereo, met respectievelijk 1,8× en 2,7× snellere inferentie op H200 en Orin.
• Zero-Shot Generalisatie: LAS2-modellen vertonen sterke generalisatie naar in-the-wild afbeeldingen, waarbij ze schonere disparity maps produceren met minder artefacten (bijv. in reflecties, regio's met lage textuur en complexe lay-outs) vergeleken met bestaande efficiënte baselines.
• Ablatie Studies: De auteurs bevestigen dat het 2D aggregation design cruciaal is voor latentie, dat FasterNet superieur is aan MobileNet voor real-world snelheid, en dat de drie-fasen trainingsstrategie (met name de filtering en clamping in Fase 3) essentieel is voor de prestatiewinsten.
• Leaderboard Prestaties: Op de KITTI 2015 leaderboard behaalde de gefinetunede LAS2-M de beste resultaten onder alle gepubliceerde efficiënte methoden op het moment van indiening.

Betekenis en Claims

Het paper claimt dat lichtgewicht stereomodellen een sterke zero-shot generalisatie kunnen bereiken zonder in te leveren op deployment-efficiëntie, waarmee effectief de prestatiekloof tussen lichtgewicht en nauwkeurigheidsgerichte modellen wordt verkleind. Door de focus te verleggen van theoretische complexiteit (MACs) naar praktische inferentielatentie en door robuuste trainingsstrategieën voor ongelabelde data te hanteren, biedt LAS2 een praktische, direct inzetbare oplossing voor stereo matching op hardware met beperkte middelen. De auteurs positioneren LAS2 als een belangrijke stap naar de implementatie van hoogwaardige stereo visie in real-world toepassingen zoals robotica en autonoom rijden, waar zowel snelheid als generalisatie cruciaal zijn.

Het paper erkent beperkingen, waarbij wordt opgemerkt dat er een prestatiekloof blijft bestaan ten opzichte van eerdere op priors gebaseerde hoog-nauwkeurige methoden en dat extreem uitdagende scènes (bijv. ernstige reflecties, transparante oppervlakken) een openstaand probleem blijven. Het stelt echter dat de voorgestelde aanpak een gebalanceerde en inzetbare oplossing biedt voor efficiënte stereo matching.