Technische Samenvatting: H-OmniStereo

Probleemstelling

Stereo matching op boven-onder equirectangulaire afbeeldingen biedt een kosteneffectief raamwerk voor volledige 360° 3D-perceptie, waarbij verticaal uitgelijnde epipolaire lijnen worden benut om geavanceerde perspectief-stereo-architecturen te gebruiken. De prestaties van bestaande aanpassingen worden echter ernstig beperkt door twee hoofdfactoren:

1. Data-schaarste: Er is een gebrek aan grote, diverse en nauwkeurig gekalibreerde omnidirectionele stereo-datasets. Bestaande datasets (bijv. Deep360, 360SD-Net) zijn beperkt in scenariodiversiteit, cameraconfiguraties en schaal, wat leidt tot slechte zero-shot generalisatie.
2. Degradatie van priors: Standaard monokulaire dieptefundatiemodellen, getraind op perspectiefafbeeldingen, lijden onder sferische vervormingen wanneer ze worden toegepast op equirectangulaire invoer. Bovendien voorspellen recente equirectangulaire dieptemodellen de radiale afstand tot het middelpunt van de bol, wat resulteert in inconsistente dieptewaarden voor hetzelfde 3D-punt over boven- en onderweergaven. Deze inconsistentie maakt hun kenmerken ongeschikt als priors voor het vestigen van betrouwbare stereo-correspondenties.

Methodologie

De auteurs stellen H-OmniStereo voor, een zero-shot omnidirectioneel stereo-matchingraamwerk dat is ontworpen om deze beperkingen aan te pakken door middel van een grote synthetische dataset en een nieuwe geometrische prior.

1. Grote Synthetische Dataset

Om data-schaarste te overwinnen, hebben de auteurs een hoogwaardige synthetische dataset geconstrueerd met NVIDIA Isaac Sim, bestaande uit meer dan 2,8 miljoen boven-onder equirectangulaire stereoparen.

• Diversiteit: De dataset beslaat meer dan 1.000 scènes en 800.000 diverse 3D-activa. Het bevat zowel vaste lay-outs (van GRUtopia en HM3D) als gerandomiseerde lay-outs (chaotische en realistische opstellingen met variërende belichting, materialen en objectplaatsing).
• Configuratie: Camera-baselines zijn gerandomiseerd (0,05 m–0,5 m), en posities omvatten gerandomiseerde roll en pitch (±45°).
• Schaal: Deze dataset is ongeveer 70 keer groter dan de grootste voorgaande omnidirectionele stereo-dataset en biedt aanzienlijk meer diversiteit.

2. Heading-uitgelijnde Normaalpriors

In plaats van te vertrouwen op dieptepriors, maakt het raamwerk gebruik van een monokulaire normaalenschatter die werkt in een heading-uitgelijnd coördinatenstelsel.

• Coördinatenstelsel: In tegenstelling tot standaard normaalenschatting die een vast camera-coördinatenstelsel gebruikt, definieert deze aanpak normalen in een systeem dat varieert met de lengtegraad en roteert met de lengtegraad van de pixel.
• Voordelen: Dit ontwerp zorgt ervoor dat identieke lokale patronen overeenkomen met hetzelfde normaalvector, ongeacht de heading-rotatie. Het verbetert de trainings-efficiëntie, biedt vervormingsrobuste priors en past zich natuurlijk aan train-test Field-of-View (FoV)-mismatches en willekeurige uitsneden tijdens het trainen aan.
• Training: De normaalenschatter is getraind op 8,4 miljoen afbeeldingen, waarbij de synthetische stereo-data wordt gecombineerd met extra monokulaire afbeeldingen uit bestaande datasets (Structured3D, TartanAir V2, SpatialGen).

3. Netwerkarchitectuur

De H-OmniStereo-pijplijn volgt een iteratieve optimalisatie-aanpak:

• Kenmerkextractie: Een ViT-backbone extrahert multi-schaal kenmerken, die worden gefuseerd met sferische ray-embeddings via cross-attention. De heading-uitgelijnde normaalenschatter levert geometrische priors, die worden geïntegreerd met afbeeldingskenmerken via een Side-Tuning Adapter.
• Iteratieve Matching: Een 4D hybride kostenvolume wordt geconstrueerd en gefilterd met Attentive Hybrid Cost Filtering. Dispariteit wordt iteratief verfijnd met ConvGRU-blokken.
• Onzekerheidsschatting: Een aanvullende ConvGRU-module draait parallel aan de dispariteitsverfijning en kwantificeert expliciet de betrouwbaarheid van voorspellingen om onbetrouwbare sleutelpunten te filteren.

Belangrijkste Bijdragen

1. Datasetconstructie: Het creëren van een enorme, diverse synthetische dataset (2,8 miljoen paren) die bestaande benchmarks aanzienlijk overtreft in schaal en variëteit, en dient als fundament voor zero-shot generalisatie.
2. Heading-uitgelijnde Normaalenschatter: Het voorstellen van een nieuwe methode voor normaalenschatting in een heading-uitgelijnd coördinatenstelsel. Deze aanpak elimineert de last van het onderscheiden van ruimtelijk variërende normalen voor identieke patronen, wat de robuustheid tegen FoV-mismatches en sferische vervormingen verbetert.
3. Zero-Shot Generalisatie: Het aantonen dat een enkel model, getraind op deze synthetische data en gebruikmakend van deze specifieke priors, hoge nauwkeurigheid kan bereiken op datasets buiten het domein en real-world consumentencamera-opstellingen zonder fine-tuning.

Experimentele Resultaten

Uitgebreide experimenten valideren de superioriteit van het raamwerk ten opzichte van bestaande methoden (bijv. 360SD-Net, MODE, 360-IGEV-Stereo, DFI-OmniStereo):

• Stereo Matching: Op datasets buiten het domein (3D60, 3D60 Warp, MVS GI) bereikt H-OmniStereo aanzienlijk lagere Mean Absolute Error (MAE) en hogere percentages outliers (BP-1, D1) in vergelijking met baselines. Bijvoorbeeld, op de 3D60-dataset verlaagde het de MAE van ~0,679 (360SD-Net) naar 0,103.
• Generalisatie: Het model generaliseert succesvol naar real-world consument 360° camera-opstellingen en reconstrueert fijnere details en nauwkeurigere ruimtelijke lay-outs dan baselines.
• Ablatiestudies:
  • Het vervangen van de heading-uitgelijnde normaalprior door perspectief-dieptemodellen (DepthAnythingV2) of equirectangulaire dieptemodellen (DA2) resulteerde in verslechterde prestaties, wat de noodzaak bevestigt van consistente geometrische priors.
  • Het schalen van de trainingsdata van 522K naar 2,8 miljoen paren verbeterde de nauwkeurigheid consequent.
  • De heading-uitgelijnde representatie toonde superieure robuustheid tegen train-test FoV-mismatches in vergelijking met standaard camera-coördinaat-normalen.
• Toepassing: Geïntegreerd in een visuele odometrie-pijplijn, bereikte de methode lagere Relative Translation Error (RTE) en Relative Rotation Error (RRE) in vergelijking met een state-of-the-art pinhole stereo-baseline (FoundationStereo), toegeschreven aan het gebruik van volledige 360°-informatie en onzekerheidsfiltering.

Betekenis

Het artikel positioneert H-OmniStereo als een belangrijke stap voorwaarts in het overwinnen van de data- en priorbeperkingen die historisch gezien omnidirectionele stereo-matching hebben gehinderd. Door de afhankelijkheid van vervormde dieptepriors los te koppelen en in plaats daarvan robuuste, consistente normaalpriors te gebruiken binnen een heading-uitgelijnd raamwerk, tonen de auteurs aan dat hoogwaardige 3D-perceptie op een zero-shot manier kan worden bereikt. Het werk stelt vast dat met voldoende diversiteit in synthetische data en geometrisch consistente priors, modellen effectief kunnen generaliseren naar ongezette real-world scenario's, waardoor de kloof tussen synthetische training en omnidirectionele perceptie van consumentenkwaliteit wordt overbrugd.