Match Stereo Videos via Bidirectional Alignment

Probleemstelling

Stereo-matching voor video (het schatten van consistente dieptekaarten uit stereovideosequenties) blijft een uitdaging, ondanks de grote vooruitgang bij statische afbeeldingen. Bestaande methoden lijden onder twee hoofdproblemen:

1. Temporale inconsistentie: Wanneer beeld-gebaseerde methoden (die per frame werken) direct op video worden toegepast, ontstaat er ernstig flikkeren in de gegenereerde dieptekaarten omdat tijdsinformatie niet wordt benut.
2. Beperkte tijdsreceptiviteit en oscillaties: Bestaande video-methoden gebruiken vaak een 'sliding window' (schuifend venster) over de tijd. Dit beperkt de informatie tot een lokaal bereik, wat leidt tot lage-frequentie oscillaties die corresponderen met de venstergrootte. Bovendien is directe tijds-attention tussen ruwe frames vaak onnauwkeurig omdat de positie van matchende punten in stereovideo's in de tijd verschuift.

Daarnaast is er een gebrek aan realistische datasets. Bestaande synthetische datasets (zoals SceneFlow) zijn vaak beperkt tot abstracte objecten of binnenruimtes, en er is een tekort aan datasets met natuurlijke buitenomgevingen en real-world video's met grondwahrheid (ground truth).

Methodologie

De auteurs introduceren een nieuwe aanpak die gebaseerd is op bidirectionele alignering (bidirectional alignment) als fundamentele operatie om temporale consistentie te garanderen.

1. BiDAStereo (Video Framework)

Dit is een nieuw framework voor video-stereomatching dat direct een sequentie van dieptekaarten output.

• Bidirectionele Alignering: In plaats van alleen naar het verleden te kijken, aligneert het model features van aangrenzende frames (t-1 en t+1) naar het centrale frame (t) met behulp van optische stromen (optical flow). Dit zorgt ervoor dat matchende punten ruimtelijk consistent zijn over de tijd.
• Triple-Frame Correlation Layer (TFCL): Er worden kostenvolumes (cost volumes) gebouwd tussen het linkerframe en de gealigneerde rechterframes (t-1, t, t+1). Dit verrijkt de scène-perceptie, bijvoorbeeld door verduisterde punten in één frame zichtbaar te maken in aangrenzende frames.
• Motion-Propagation Recurrent Unit (MRU): Om globale consistentie over de hele sequentie te bereiken, wordt een recurrente eenheid gebruikt. Deze houdt een 'motion hidden state' bij voor elk frame. Deze staten worden bidirectioneel gealigneerd en gefuseerd om de staat van het centrale frame te updaten. Hierdoor wordt informatie over de hele sequentie verspreid, wat de tijdsreceptiviteit vergroot en lokale oscillaties elimineert.

2. BiDAStabilizer (Plugin Network)

Om bestaande, reeds getrainde beeld-gebaseerde stereo-methoden (zoals RAFTStereo of IGEVStereo) te verbeteren zonder ze volledig opnieuw te hoeven trainen, wordt een 'plugin' stabilisator voorgesteld.

• Werking: De stabilisator neemt de inconsistente dieptekaarten van een bestaand model als input.
• Alignering & Propagatie: Het gebruikt bidirectionele optische stromen om de dieptekaarten van aangrenzende frames te aligneren. Vervolgens worden deze gefuseerd met een globale propagatiemechanisme (forward en backward hidden states) om een correctie (residu) te genereren.
• Voordeel: Dit verbetert de temporale consistentie van bestaande modellen aanzienlijk met minimale extra parameters.

Datasets

Om de beperkingen van huidige datasets te overbruggen, presenteren de auteurs twee nieuwe datasets:

1. Infinigen Stereo Video (Synthetisch): Een grote dataset van fotorealistische buiten-scènes (natuur, bergen, bossen, etc.) gegenereerd met de open-source platform Infinigen. Het bevat dichte grondwahrheid voor diepte, optische stromen, en segmentatie, specifiek gericht op natuurlijke omgevingen die ontbreken in bestaande datasets.
2. South Kensington Stereo Video (Real-world): Een dataset van echte video's opgenomen in diverse stedelijke omgevingen (binnen en buiten) in Londen met een stereocamera. Hoewel deze geen dichte grondwahrheid heeft, dient het als een kwalitatieve benchmark voor real-world evaluatie.

Resultaten

Uitgebreide experimenten op binnen- en buiten-domeinen (in-domain, out-of-domain) en robuustheidstests tonen aan:

• State-of-the-Art (SOTA) Prestaties: BiDAStereo en BiDAStabilizer behalen de beste resultaten op diverse benchmarks (Dynamic Replica, KITTI Depth, Sintel, Infinigen SV).
• Verbetering in Temporele Consistentie: Er zijn aanzienlijke verbeteringen in metrics zoals TEPE (Temporal End-Point Error) en OPW (Optical Flow Warping Error). Bijvoorbeeld, BiDAStabilizer reduceert de TEPE van RAFTStereo met wel 43,9% op de Dynamic Replica dataset.
• Kwaliteit: Visuele resultaten tonen een drastische reductie van flikkering in de dieptekaarten, zelfs in dynamische scènes met bewegende objecten en camera's.
• Generalisatie: De methoden generaliseren goed naar ongezonde domeinen (bijv. getraind op synthetische data, getest op Sintel).

Significantie en Bijdragen

De belangrijkste bijdragen van dit werk zijn:

1. Bidirectionele Alignering: Een bewezen effectieve operatie die de basis vormt voor temporale consistentie in video-stereo-matching, superieur aan eenvoudige sliding-window benaderingen.
2. Flexibiliteit: De introductie van BiDAStabilizer maakt het mogelijk om bestaande, krachtige beeld-modellen direct te upgraden naar video-taken zonder volledige hertraining.
3. Nieuwe Datasets: Het vullen van de kloof in datasets voor natuurlijke buiten-scènes (synthetisch) en real-world stedelijke omgevingen, wat essentieel is voor de ontwikkeling van robuuste systemen voor drones, robots en AR.
4. Combinatie van Lokaal en Globaal: De architectuur combineert lokale correlatie (voor nauwkeurigheid) met globale recurrente propagatie (voor consistentie), wat leidt tot een nieuw niveau van prestaties in zowel nauwkeurigheid als stabiliteit.

Samenvattend biedt dit papier een oplossing voor het fundamentele probleem van flikkeren in stereo-video's door een nieuwe aligneringsstrategie en datasets te introduceren die de weg effenen voor toekomstige toepassingen in dynamische 3D-vision.