Technische Samenvatting: GeoStereo

Probleemstelling

Stereo matching en het schatten van oppervlaktenormalen zijn fundamentele taken in 3D-visie, die complementaire beschrijvingen van de scènestructuur bieden. Hoewel recente foundation models de nauwkeurigheid van stereo matching hebben verbeteren, hebben bestaande feed-forward benaderingen moeite met uitdagende scenario's zoals omgevingen met weinig licht, hoogreflecterende oppervlakken, transparante objecten en zwak getextureerde regio's. Deze mislukkingen worden toegeschreven aan de long-tail distributie van trainingsdata en de inherente beperkingen van data-hongerige feed-forward paradigma's bij het afhandelen van slecht gedefinieerde geometrische regio's. Bovendien is de integratie van diffusiemodellen met stereo-geometrie voor gezamenlijke dispariteit- en normaalvoorspelling nog onvoldoende onderzocht, ondanks het veelbelovende potentieel van diffusiemodellen voor monoculaire diepte- en normaalvoorspelling.

Methodologie

De auteurs stellen GeoStereo voor, een verenigd framework dat een feed-forward stereo matching pipeline koppelt aan een op diffusie gebaseerde branch voor het schatten van normalen. De kernfilosofie is om de sterke structurele priors van diffusiemodellen te benutten om de dispariteitschatting in ambigue regio's te verbeteren, terwijl de geometrische beperkingen van stereo-dispariteit worden gebruikt om de voorspelling van normalen te sturen.

Framework Architectuur

Zoals geïllustreerd in het paper, werkt het framework via twee belangrijke onderling verbonden paden:

1. Stereo Matching Branch:

   • Maakt gebruik van een gewichtsgedeelde feature extractor (geïnitialiseerd vanuit sterke monoculaire priors zoals DepthAnythingV2) om gerectificeerde stereo-paren ($I_l, I_r$) te verwerken.
   • Construeert een hybride cost volume en gebruikt een soft argmin operatie om een initiële dispariteit ($D_{init}$) te genereren.
   • Verfijnt deze initiële voorspelling met behulp van een ConvGRU-gebaseerde update module om de finale dispariteit ($D_{final}$) te produceren.

2. Disparity-to-Normal Initialization (D2N):

   • Om de twee taken te overbruggen, wordt $D_{init}$ omgezet in een grove, geometrie-bewuste oppervlaktenormaal prior ($N_{init}$).
   • Dit wordt bereikt door dispariteit te transformeren naar een relatieve diepte-representatie ($Z$), een pseudo-3D puntenkaart te construeren, en lokale tangentiële richtingen te berekenen via centrale differenties om de initiële normaalvector af te leiden.
   • Deze stap biedt een gestructureerd geometrisch startpunt voor het diffusieproces, wat ambiguïteit vermindert.

3. Diffusion-Based Normal Estimation Branch:

   • Input Conditioning: De branch ontvangt twee belangrijke inputs:
     • De geometrie-bewuste prior $N_{init}$ afgeleid van de dispariteit.
     • Een Warp-to-Left-View conditie ($I_{r \to l}$), waarbij het rechterbeeld is gewarpt naar het coördinatensysteem van het linkerbeeld met behulp van $D_{init}$. Dit zorgt voor ruimtelijke uitlijning en biedt complementaire cross-view verschijningsinformatie.
   • Denoising Process: Een U-Net (gebaseerd op Stable Diffusion v2.1) voert iteratieve denoising uit. Het model wordt getraind met $x_0$-reparameterisatie om de schone latent direct te voorspellen.
   • Output: De verfijnde latent wordt gedecodeerd via een VAE-decoder om de finale hoog-getrouwe oppervlaktenormaal kaart ($N_{final}$) te produceren.

Optimalisatiestrategie

Het framework maakt gebruik van een consistency training strategie met een tweestapsbenadering:

• Fase 1: De dispariteit- en normaalbranches worden afzonderlijk geoptimaliseerd om stabiele initiële voorspellingen te verkrijgen.
• Fase 2: Het volledige framework wordt gezamenlijk geoptimaliseerd. De totale verliesfunctie combineert de dispariteitsverlies ($L_{disp}$) en de normaal-schattingsverlies ($L_{norm}$).
• Gradient Flow: Cruciaal is dat zowel de D2N-initialisatie als de warp-to-left-view operaties differentieerbaar zijn met betrekking tot $D_{init}$. Dit maakt het mogelijk dat gradiënten van de normaal-objectieven terugstromen naar de stereo branch, waardoor de diffusie-priors de dispariteitschatting kunnen reguleren terwijl de stereo-geometrie de normaalverfijning stuurt.

Belangrijkste Bijdragen

1. Verenigd Framework: De voorstel van GeoStereo, dat feed-forward stereo matching integreert met diffusie-gebaseerde normaalvoorspelling voor gelijktijdige dispariteit- en oppervlaktenormaal voorspelling.
2. Koppelingsmechanisme: Het ontwerp van een effectief interactiemechanisme waarbij dispariteit de normaal-initialisatie informeert (D2N) en uitgelijnde cross-view condities levert (Warp-to-Left), terwijl de diffusie-branch structurele priors biedt om dispariteit in slecht gedefinieerde regio's te verbeteren.
3. Zero-Shot Generalisatie: Gedemonstreerde robuuste prestaties in uitdagende, onbekende scenario's (weinig licht, reflecties, transparantie) zonder target-domein fine-tuning.

Experimentele Resultaten

De auteurs hebben GeoStereo geëvalueerd op meerdere zero-shot benchmarks, waarbij het is vergeleken met state-of-the-art (SOTA) feed-forward en diffusie-gebaseerde methoden.

• Disparity Estimation: Op benchmarks inclusief KITTI, NYUv2, ScanNet, Hypersim en DREDS behaalde GeoStereo Rank-1 of zeer competitieve prestaties. Op KITTI behaalde het bijvoorbeeld een EPE van 0.8642 en een D1 outlier rate van 2.88%, waarmee het FoundationStereo (0.8679 EPE, 2.96% D1) en andere SOTA modellen versloeg.
• Surface Normal Estimation: Op indoor benchmarks (iBims-1, NYUv2, DIODE, ScanNet) leverde de methode de beste of zeer competitieve normaal-schattingsnauwkeurigheid. Op iBims-1 behaalde het een gemiddelde hoekfout van 17.00° en 68.92% van de pixels met een fout < 11.25°, waarmee het Marigold en StableNormal overtrof.
• Kwalitatieve Prestaties: Visuele vergelijkingen (Fig. 5) benadrukken significante verbeteringen in uitdagende regio's zoals reflecterende oppervlakken, transparante objecten en gebieden met weinig licht, waar de methode meer betrouwbare dispariteit en scherpere normaal-grenzen produceert vergeleken met de baselines.
• Ablatie Studies:
  • Architectuur: Het parallel ontwerp dat diffusie en feed-forward netwerken combineert, presteerde beter dan sequentiële of puur feed-forward parallelle ontwerpen.
  • Warp-to-Left-View: Het gebruik van de gewarpt rechter-view conditie leverde betere resultaten op dan het gebruik van de ruwe rechter-view of linker-view alleen, wat de waarde van ruimtelijk uitgelijnde cross-view cues bevestigt.
  • D2N Initialisatie: Het verwijderen van de dispariteit-naar-normaal initialisatie verslechterde de prestaties in beide taken, wat de noodzaak van de geometrische prior voor het diffusieproces valideert.

Betekenis en Claims

Het paper claimt dat GeoStereo een belangrijke stap voorwaarts is in robuuste 3D-geometrie schatting door effectief twee complementaire taken te verenigen. De primaire betekenis ligt in:

• Overwinnen van Feed-Forward Beperkingen: Door diffusie-priors te integreren, adresseert het framework de faalmodi van traditionele stereo matching in slecht gedefinieerde regio's (bijv. reflecties, transparantie) waar correspondentie ambigu is.
• Wederzijdse Versterking: Het ontwerp toont aan dat dispariteit en normaal-schatting elkaar wederzijds kunnen versterken; de diffusie-branch biedt structurele beperkingen voor dispariteit, terwijl stereo-geometrie een betrouwbare initialisatie biedt voor normaalverfijning.
• Generalisatie: De methode bereikt sterke zero-shot generalisatie over diverse synthetische en real-world datasets, wat suggereert dat de geleerde geometrische priors robuust zijn tegen domeinverschuivingen.

De auteurs merken op dat hoewel de methode effectief is, de inclusie van de diffusie-branch computationele overhead introduceert, wat ruimte laat voor toekomstig werk op het gebied van efficiëntieverbeteringen en extensie naar andere intrinsieke geometrische taken zoals albedo en materiaal-schatting.