Technische Samenvatting: Depth2Pose

Probleemstelling

Monoculaire diepsschatting (MDE) heeft aanzienlijke vooruitgang geboekt dankzij deep learning en grootschalige trainingsdata, waarbij voorspelde diepte steeds vaker dient als kritieke invoer voor downstream geometrische taken zoals Structure-from-Motion (SfM), visuele lokalisatie, gelijktijdige lokalisatie en mapping (SLAM) en dichte 3D-reconstructie. De evaluatie van MDE's blijft echter beperkt door traditionele protocollen die vertrouwen op pixel-voor-pixel diepte-accuraatheidsmetrieken (bijv. AbsRel, RMSE, $\delta_1$). Deze metrieken aggregeren fouten globaal en behandelen alle beeldregio's gelijk, wat niet weerspiegelt dat verschillende regio's variërende geometrische belangrijkheid hebben voor downstream taken. Bovendien zijn standaard benchmarks afhankelijk van dichte ground-truth diepte, doorgaans verkregen via LiDAR of RGB-D-sensoren. Deze afhankelijkheid beperkt de evaluatie tot specifieke omgevingen, sluit uitdagende scenario's uit (bijv. grote schaal buitenlandschappen, vegetatie, reflecterende oppervlakken) en creëert een distributie-overlapping tussen trainings- en testdata die generalisatievermogen verbergt.

Methodologie

De auteurs stellen Depth2Pose voor, een taakgedreven evaluatiekader dat de kwaliteit van MDE beoordeelt op basis van de bruikbaarheid voor relatieve camerapositieschatting in plaats van directe diepte-accuraatheid. De kernpremiss is dat accurate dieptepredicties in geometrisch informatieve regio's moeten leiden tot nauwkeurigere relatieve poseschattingen wanneer deze worden gebruikt binnen dieptebewuste geometrische oplosprogramma's.

Evaluatiepijplijn

1. Data Voorbereiding: Voor een gegeven scène worden cameraposities gereconstrueerd met behulp van een volwassen SfM-pijplijn (COLMAP) om te dienen als pseudo-ground truth (pGT). Dit elimineert de noodzaak van per-pixel diepte ground truth.
2. Selectie van Beeldparen: Beeldparen met ten minste 10% visuele overlap worden gesampled op basis van het SfM-model.
3. Feature Matching: Sleutelpunten worden gedetecteerd en gematcht tussen beeldparen met behulp van geleerde lokale features (specifiek LoMa of SuperPoint+LightGlue).
4. Dieptebewuste Poseschatting: De gematchte 2D-correspondenties worden aangevuld met dieptewaarden voorspeld door de te evalueren MDE. Deze worden ingevoerd in dieptebewuste relatieve pose-oplosprogramma's (specifiek varianten van het RePoseD-kader). De oplosprogramma's benutten gezamenlijk puntcorrespondenties en diepte om relatieve camerabeweging ($R, t$) te schatten.
5. Berekening van Metriek: De geschatte relatieve pose wordt vergeleken met de referentiepose uit de SfM-reconstructie. De evaluatiemetriek is de mean Average Accuracy (mAA) van de posefout (rotatie en translatie) tot een drempel van $10^\circ$.

Variant Oplosprogramma's

Het kader evalueert meerdere configuraties van oplosprogramma's om de impact van diepte te isoleren:

• Basis (B): Klassieke 5-puntenoplosser die uitsluitend 2D-2D-correspondenties gebruikt (geen diepte).
• Hybride (H): Schaal-invariante oplosprogramma die een hybride fout gebruikt (Sampson-fout voor scoring, gecombineerde Sampson en symmetrische reprojectiefout voor optimalisatie).
• Reprojectie (R): Oplosprogramma dat uitsluitend symmetrische reprojectiefout gebruikt voor zowel scoring als optimalisatie, waardoor een directere beoordeling van de diepte-impact wordt geboden doordat de Sampson-fout niet mag compenseren voor diepte-ongenauwkeurigheden.
• Affine-invariant: Variant die uitgaat van affine-invariante diepte voor scenario's waarbij de metrische schaal niet behouden blijft.

Belangrijkste Bijdragen

1. Depth2Pose Kader: Een nieuw evaluatieparadigma dat ground-truth diepte vervangt door ground-truth posities. Dit maakt schaalbare evaluatie mogelijk in diverse real-world omgevingen waar dichte dieptemeting onpraktisch of onmogelijk is.
2. Taak-Relevante Evaluatie: Het kader vangt ruimtelijk niet-uniforme dieptekwaliteit, met nadruk op regio's die geometrisch informatief zijn voor downstream taken (bijv. gebieden met stabiele feature-correspondenties) in plaats van fouten in textuurloze of minder kritieke regio's te bestraffen.
3. D2P Dataset: Een nieuwe dataset bestaande uit 24 uitdagende real-world scènes (12 "Standbeelden" en 12 "Vegetatie") die buiten de distributie van standaard trainingsdata vallen. Deze scènes kenmerken zich door complexe geometrie, zware occlusies en grote dieptevariaties, specifiek ontworpen om generalisatie te testen.
4. Uitbreidbaar Protocol: Een eenvoudige, reproduceerbare evaluatiepijplijn die benchmarking faciliteert in eerder ontoegankelijke scenario's zonder per-pixel diepte-annotaties te vereisen.

Resultaten

• Correlatie met Standaard Metrieken: Op gevestigde benchmarks (ETH3D, ScanNet++, Sintel, LaMAR) correleert de op pose gebaseerde metriek (mAA) sterk met standaard dieptemetrieken ($\delta_1$). De auteurs merken echter op dat hoge $\delta_1$-scores niet strikt hoge pose-accuraatheid garanderen, aangezien poseschatting vertrouwen op een subset van stabiele correspondenties in plaats van uniforme pixel-accuraatheid.
• Generalisatiekloof: Op de D2P-dataset verandert de rangschikking van MDE's aanzienlijk ten opzichte van standaard benchmarks. Methoden die het beste presteren op standaard datasets (bijv. MoGeV2) behouden niet noodzakelijk topprestaties op D2P, terwijl sommige methoden met lagere standaard benchmark-scores competitief presteren. Dit benadrukt een generalisatiekloof die niet wordt vastgelegd door traditionele evaluatie.
• Diepte-Utiliteit: Huidige MDE's presteren op de D2P-dataset nog niet consequent beter dan de "Geen Diepte"-baseline (uitsluitend 2D-2D-correspondenties), wat suggereert dat hoewel dieptebewuste oplosprogramma's een weg voor verbetering bieden, huidige dieptepredicties vaak fouten bevatten die zich nog niet vertalen naar robuuste poseschatting in uitdagende, out-of-distribution scènes.
• Sensitiviteit Oplosprogramma: De keuze van het oplosprogramma (H vs. R) beïnvloedt de correlatie tussen dieptefout en pose-accuraatheid. De R-variant, die sterk vertrouwt op reprojectiefout, biedt een strengere test van dieptekwaliteit, terwijl de H-variant praktische inzichten biedt in systeemprestaties.

Betekenis en Claims

Het artikel claimt dat Depth2Pose een noodzakelijke verschuiving biedt van het evalueren van diepte als een geïsoleerde reconstructietaak naar het evalueren ervan als een component van geometrische redeneersystemen. Door aan te tonen dat standaard benchmarks falen in het voorspellen van prestaties op uitdagende, real-world scènes (D2P), betogen de auteurs dat de gemeenschap taakgedreven evaluatieprotocollen nodig heeft.

De auteurs stellen bescheiden dat hun kader standaard dieptemetrieken niet vervangt maar aanvult. Zij erkennen beperkingen, waarbij zij noteren dat het kader alleen toepasbaar is waar accurate cameraposities kunnen worden hersteld (bijv. via SfM) en dat het niet kan onderscheiden tussen accurate diepte in gematchte regio's versus niet-gematchte regio's (bijv. spiegels). Bovendien merken zij op dat relatieve poseschatting gevoeliger is voor dieptefouten dan complexe pijplijnen zoals SLAM, die hogere fouten kunnen tolereren door redundantie. Uiteindelijk beoogt het werk de ontwikkeling van MDE's aan te moedigen die robuust en bruikbaar zijn voor downstream geometrische taken in diverse, real-world omgevingen.