Spherical-to-ERP Epipolar Rectification for Single-Axis Disparity in 360 Stereo

Technische Samenvatting: Sferische-naar-ERP Epipolaire Rectificatie voor Single-Axis Dispariteit in 360° Stereo

Probleemstelling
Omnidirectionele (sferische/fisheye) camera's bieden een volledig rondom perceptie die essentieel is voor robotica en autonome navigatie, maar hun geometrische eigenschappen schenden de fundamentele aannames van klassieke stereo-dispariteitschatting. In rectilineaire stereo is dispariteit een eendimensionale grootheid die is uitgelijnd met een enkele epipolaire as. In contrast hiermee vertonen ruwe sferische stereopaars de complexe kromme epipolaire trajecten (grootcirkelbogen) op de kijkbol. Bijgevolg manifesteren correspondenties in het beeldvlak zich als tweedimensionale verplaatsingen (zowel horizontale als verticale componenten), zelfs onder ideale kalibratie. Het naïef toepassen van planaire dispariteitsheuristieken of standaard optische flow-magnitudes op deze inputs leidt tot systematische fouten en broze prestaties, met name in regio's met weinig textuur. Hoewel recente deep learning-benaderingen voor omnidirectionele diepte vaak Equirectangular Projection (ERP) gebruiken als een stabiel geometrisch domein, blijft er een gat in het begrip of standaard, ongewijzigde optical flow-gebaseerde pipelines effectief single-axis dispariteit kunnen extraheren uit sferische inputs na dergelijke rectificatie.

Methodologie
De voorgestelde aanpak hanteert een modulaire pipeline die geometrische complexiteit externaliseert via preprocessing in plaats van deze binnen een monolithisch netwerk te leren. De methodologie bestaat uit drie primaire stadia:

1. Sferische-naar-ERP Rectificatie: De ruwe fisheye stereo-beelden worden geprojecteerd in het Equirectangular Projection (ERP) domein. Deze mapping transformeert sferische coördinaten (lengtegraad en breedtegraad) naar een 2D-raster. Cruciaal is dat deze projectie de gekromde grootcirkel epipolaire curven recht trekt in rechte scanlijnen die zijn uitgelijnd met de beeldassen. Afhankelijk van de configuratie van de stereo-rig:

   • Links–Rechts rigs: Epipolaire lijnen worden horizontaal, wat zuivere horizontale dispariteiten ($\Delta u$) oplevert.
   • Boven–Onder rigs: Epipolaire lijnen worden verticaal, wat zuivere verticale dispariteiten ($\Delta v$) oplevert.
     Dit stap herstelt de eendimensionale dispariteitsstructuur die vereist is door correspondentie-gebaseerde algoritmen.

2. Dense Optical Flow Estimatie: Zodra de beelden in het ERP-domein zijn, wordt een standaard dense optical flow netwerk, specifiek RAFT [13], toegepast op het gerectificeerde stereo-paar. RAFT schat een twee-kanaals flowveld dat de 2D-verplaatsing tussen de linker- en rechterbeelden representeert.

3. Epipolair-Uitgelijnde Kanaalselectie (EACS): Voortbouwend op het eerdere werk van de auteurs [16], past de pipeline EACS toe op het flowveld. Omdat ERP-rectificatie ervoor zorgt dat ware dispariteit alleen langs de baseline-uitgelijnde as bestaat, verwijdert de methode de orthogonale flow-component.

   • Voor links–rechts rigs wordt alleen het horizontale flow-kanaal behouden.
   • Voor boven–onder rigs wordt alleen het verticale flow-kanaal behouden.
     Deze projectie zet de optische flow direct om in een single-axis dispariteitskaart zonder het netwerk te hertrainen of een gespecialiseerde sferische architectuur te ontwerpen.

Belangrijkste Bijdragen
Het artikel levert vier specifieke bijdragen:

1. Geometrie-Bewuste Rectificatie: Het demonstreert dat het projecteren van fisheye-paren naar ERP epipolair-uitgelijnde scanlijnen oplevert, wat inherent 2D sferische verplaatsingen effectief omzet in single-axis dispariteiten.
2. Directe Dispariteitsextractie: Het stelt vast dat in het ERP-domein dispariteit kan worden verkregen door simpelweg de baseline-uitgelijnde flow-component te selecteren en de orthogonale component te verwijderen, wat lichtgewicht post-processing mogelijk maakt zonder netwerkhertraining.
3. Theory-to-Practice Pipeline: Het werk formaliseert de fisheye-naar-ERP mapping en oriëntatiebeperkingen, en biedt een praktisch recept voor single-axis dispariteitsextractie uit sferische inputs, gevalideerd op synthetische sferische data.
4. Modulariteit en Inzetbaarheid: De aanpak functioneert als een drop-in preprocessing stage voor bestaande correspondentie-estimators (inclusief RAFT), wat integratie in robotica-stacks vergemakkelijkt waar latentie en interpreteerbaarheid cruciaal zijn.

Experimentele Resultaten
De pipeline werd geëvalueerd op een synthetische omnidirectionele stereo dataset gegenereerd bij TU Chemnitz, bestaande uit fisheye RGB-views met dense ground-truth dispariteit. Alle methoden werden getest op dezelfde ERP-gerectificeerde inputs bij een resolutie van 1600×1600 zonder fine-tuning.

• Nauwkeurigheid: De voorgestelde ERP + RAFT + EACS pipeline bereikte een Mean Absolute Error (MAE) van 0.3007 en een Root Mean Squared Error (RMSE) van 0.9470. De D1-all outlier rate was 0.40%, met verwaarloosbare percentages voor fouten groter dan 3 pixels (0.30%) en 5 pixels (0.05%).
• Vergelijking: De methode presteerde beter dan gevestigde RAFT-afgeleide stereo netwerken (CREStereo, RAFT-Stereo, LEAStereo) in termen van nauwkeurigheid op deze specifieke ERP-gerectificeerde sferische data. Zo vertoonde CREStereo een hogere MAE (0.3581) en een hogere D1-all outlier rate (0.98%).
• Efficiëntie: De pipeline bereikte een doorvoer van 10 frames per seconde (FPS) op een NVIDIA TU102 GPU, waarmee het de vergeleken methoden (die varieerden van 2.0 tot 5.0 FPS) aanzienlijk versloeg.
• Kwalitatieve Analyse: Visuele resultaten gaven aan dat de methode gladde, structureel consistente dispariteitskaarten produceert die dunne structuren behouden. Fouten waren primair geconcentreerd bij diepte-discontinuïteiten en ongedefinieerde regio's (bijv. de lucht), wat consistent is met de lage outlier rates.

Betekenis en Claims
Het artikel claimt dat expliciete geometrische rectificatie via ERP standaard, volwassen correspondentie-algoritmen correct kan laten opereren op sferische stereo-inputs zonder de noodzaak voor op maat gemaakte sferische netwerken. De betekenis is tweeledig:

1. Praktische Brug: Het biedt een principieel pad voor praktijkmensen om bestaande, hoogwaardige optische flow-estimators te hergebruiken voor 360°-beeldvorming, waardoor de complexiteit van het trainen van gespecialiseerde sferische stereo-netwerken wordt vermeden.
   2.Efficiëntie en Stabiliteit: Door het eendimensionale karakter van dispariteit te herstellen, verbetert de aanpak de numerieke stabiliteit en computationele efficiëntie. Het reduceert de correspondentie-zoekopdracht tot een enkele as, elimineert de noodzaak voor geheugenintensieve 4-D cost volumes en maakt real-time deployment op commodity hardware mogelijk.

De auteurs concluderen dat hoewel de geometrische rol van ERP goed gedocumenteerd is, dit werk valideert dat de gerectificeerde representatie voldoende is voor single-axis dispariteitsextractie met ongewijzigde flow-gebaseerde pipelines, wat een eenvoudige en efficiënte oplossing biedt voor omnidirectionele diepte-estimatie.