One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

Probleemstelling

Monoculaire diepte-inschatting (MDE) foundation models werken doorgaans onder een "enkelvoudige-diepte"-paradigma, waarbij één RGB-afbeelding wordt gekoppeld aan één scalaire dieptewaarde per pixel. Deze aanname geldt voor ondoorzichtige scènes, maar faalt in gelaagde 3D-scènes (bijv. transparant glas), waar een enkele camerastraal meerdere geometrisch geldige oppervlakken snijdt (een voorgrond glasplaat en een achtergrondobject).

Het artikel stelt dat de huidige supervised training deze meerlaagse geometrie laat instorten tot een enkelvoudige "dataset-vormige scalaire doelwaarde". De resulterende dieptelabel is niet een intrinsieke waarheid van de scène, maar een conventie die wordt bepaald door annotatiekeuzes, sensorgrenzen (bijv. LiDAR versus ultrasoon) en biases in de trainingsdata. Bijgevolg leren bevroren foundation models geen "laagvrije" geometrie; in plaats daarvan leren ze een diepte-laag voorkeur—een bias naar het rapporteren van ofwel de proximale (voorgrond) of de distale (achtergrond) laag wanneer er ambiguïteit bestaat. Standaard evaluatiemetrieken, die een overeenstemming met een enkele grondwaarheid belonen, straffen alternatieve geldige interpretaties af, waardoor de werkelijke geometrische redeneercapaciteiten van het model worden verhuld.

Methodologie

1. MultiDepth-3k (MD-3k) Benchmark
Om deze voorkeur te meten zonder een dichte, sensor-neutrale metrieke grondwaarheid te vereisen (wat moeilijk te verkrijgen is voor transparante lagen), introduceren de auteurs MD-3k, een ijle ordinale benchmark.

• Data: 3.161 RGB-afbeeldingen afkomstig uit de GDD-dataset, die transparante objecten bevatten.
• Annotatie: In plaats van dichte dieptekaarten, is elke afbeelding geannoteerd met één ijle paar punten in een ambigue regio. Cruciaal is dat de annotatie twee ordinale labels levert: de relatieve dieptevolgorde voor de transparante voorgrondlaag en de zichtbare achtergrondlaag.
• Subsets: De dataset is gesplitst in een "Same"-subset (waar de dieptevolgordes van voorgrond en achtergrond overeenkomen) en een "Reverse"-subset (waar ze conflicteren). De "Reverse"-subset is de kritieke testcasus waar een model met een enkele output niet beide lagen simultaan kan voldoen.

2. Laplacian Visual Prompting (LVP)
De auteurs stellen een training-vrije methode voor om te onderzoeken of de diepte-laag voorkeur van een bevroren model gemoduleerd kan worden door de inputrepresentatie te veranderen.

• Mechanisme: LVP past een discrete Laplaciaanse kernel (een hoogfrequente spectrale transformatie) toe op de input RGB-afbeelding. De resulterende gesigneerde residuen worden genormaliseerd en teruggekaatst naar het inputbereik van het model (bijv. 0–255).
• Hypothese: Door het benadrukken van hoogfrequente randen, fungeert LVP als een spectrale sonde die de bevroren het model naar een andere geldige dieptehypothese kan sturen (bijv. het wisselen van een voorgrond- naar een achtergrondvoorkeur) zonder hertraining of het wijzigen van gewichten.

3. Evaluatiemetrieken

• Spatial Relationship Accuracy (SRA): Meet het fractie van de puntenparen waarbij de voorspelde dieptevolgorde overeenkomt met de grondwaarheid voor een specifieke laag (voorgrond of achtergrond).
• Depth-Layer Preference ($\alpha$): Gedefinieerd als $SRA(2) - SRA(1)$. Een positieve $\alpha$ duidt op een achtergrondvoorkeur; een negatieve op een voorgrondvoorkeur.
• Multi-Layer Spatial Relationship Accuracy (ML-SRA): Evalueert een paar hypothesen (bijv. RGB-output en LVP-output). Het controleert of het paar, wanneer het optimaal aan de twee lagen wordt toegewezen, de ordinale restricties voor beide lagen simultaan voldoet.

Belangrijkste Bijdragen

1. Karakterisering van Diepte-Laag Voorkeur: Het artikel biedt de eerste systematische karakterisering van hoe diverse monoculaire diepte foundation models (inclusief Depth Anything v1/v2, DPT, Marigold, etc.) verschillende, modelspecifieke biases vertonen naar voorgrond of achtergrondlagen onder standaard RGB-input.
2. MD-3k Benchmark: Introductie van een real-world benchmark die diepte-laag voorkeur meetbaar maakt via ijle ordinale relaties, waarbij de noodzaak voor onmogelijke dichte meerlaagse metrieke grondwaarheid wordt omzeild.
3. Input-Afhankelijke Modulatie: Demonstratie dat Laplacian Visual Prompting (LVP) de uitgedrukte diepte-laag voorkeur van bevroren modellen aanzienlijk kan veranderen. Voor bepaalde modellen fungeert LVP als een "schakelaar" die een complementaire geometrische hypothese ontsluit, waardoor een model met een enkele output effectief meerdere geldige interpretaties kan dekken wanneer het met verschillende inputs wordt bevraagd.

Resultaten

• Diverse Biases: Onder standaard RGB-input vertonen modellen sterke maar inconsistente biases. Zo hebben bijvoorbeeld indoor-getunede Depth Anything v2-varianten de neiging de voorgrond (glas) te verkiezen, terwijl outdoor-getunede varianten en generatieve modellen (zoals Marigold) vaak de achtergrond verkiezen.
• LVP Effectiviteit: LVP induceert substantiële verschuivingen in voorkeur voor specifieke modellen (bijv. DPT, Depth Pro, en DAv2-L) maar heeft weinig effect op anderen (bijv. DAv1, sommige generatieve modellen).
  • DAv2-L Casus: Het sterkste voorbeeld is DAv2-L. Onder RGB is het voorgrond-biased ($\alpha \approx -30,6$). Onder LVP verschuift het naar achtergrond-biased ($\alpha \approx +68,2$).
• ML-SRA Prestaties:
  • Een "gecollabeerde" baseline (het dupliceren van een enkele dieptekaart) bereikt een strikt plafond van 56,4% op de Reverse-subset van MD-3k omdat het niet in staat is conflicterende ordinale restricties te voldoen.
  • Het RGB/LVP-paar met behulp van DAv2-L bereikt 75,5% totale ML-SRA en 52,2% op de Reverse-subset. Dit vertegenwoordigt een significante winst ten opzichte van de single-hypothesis ceiling, wat bewijst dat het bevroren model complementaire ordinale relaties kan uitdrukken wanneer de inputrepresentatie verandert.
• Ablatie: Het effect is specifiek voor hoogfrequente prompting; laagdoorlaat Gaussian prompts falen in het moduleren van de laagvoorkeur. Het effect is niet uniek aan de Laplaciaanse operator maar generaliseert naar andere hoogfrequente transformaties (Sobel, Fourier), hoewel LVP een robuuste default blijft.

Betekenis en Claims

Het artikel claimt dat standaard RGB-inferentie slechts één enkele slice van een rijkere geometrische posterior vastlegt. Door ambiguïteit niet als ruis maar als een meetbare geometrische structuur te behandelen, demonstreren de auteurs dat:

1. Ambiguïteit is Intrinsiek: Diepte foundation models coderen meerdere geldige geometrische hypothesen, maar standaard training en evaluatie dwingen hen deze te laten instorten in een enkele, gebiaste conventie.
2. Modulatie is Mogelijk: Eenvoudige, training-vrije spectrale inputtransformaties (LVP) kunnen deze latente, complementaire hypothesen ontsluiten in bevroren modellen.
3. Heroverweging van Evaluatie: Toekomstige dieptesystemen zouden geëvalueerd moeten worden op hun vermogen om meerdere geldige 3D-interpretaties te representeren en te bewaren, in plaats van te dwingen tot een enkele scalaire output.

Erkende Beperkingen:

• LVP is model-afhankelijk en is geen universele laag-extractor; het faalt op semi-transparante oppervlakken waar frequentie-kenmerken verstrengeld zijn.
• De benchmark is ijle en gericht op transparantie; het biedt geen dichte metrieke validatie.
• LVP degradeert vaak de standaard single-depth nauwkeurigheid op niet-ambigue scènes, wat aangeeft dat het een diagnostisch/onderzoeksinstrument is en geen vervanging voor standaard inferentie in heldere scènes.

De auteurs nodigen de gemeenschap uit om een "ambiguïteitsbewuste" lens voor diepte-supervisie en -evaluatie te adopteren, waarbij meerdere geldige 3D-interpretaties worden behandeld als geometrische structuur die gemeten en uitgedrukt kan worden.