One Scene, Two Depths: Probing Geometric Ambiguity in Monocular Foundation Models

Planteamiento del Problema

Los modelos fundacionales de estimación de profundidad monocular (MDE) operan típicamente bajo un paradigma de "profundidad única", mapeando una única imagen RGB a un único valor de profundidad escalar por píxel. Este supuesto es válido para escenas opacas, pero falla en escenas 3D con capas (por ejemplo, un vidrio transparente), donde un único rayo de cámara intersecta múltiples superficies geométricamente válidas (un plano de vidrio en primer plano y un objeto en el fondo).

El artículo argumenta que el entrenamiento supervisado actual colapsa esta geometría de múltiples capas en un único "objetivo escalar con forma de dataset". El mapa de profundidad resultante no es una verdad intrínseca de la escena, sino una convención determinada por las elecciones de anotación, las limitaciones de los sensores (por ejemplo, LiDAR frente a ultrasonido) y los sesgos de los datos de entrenamiento. En consecuencia, los modelos fundacionales congelados no aprenden una geometría "libre de capas"; en su lugar, aprenden una preferencia de capa de profundidad: un sesgo hacia reportar la capa proximal (primer plano) o la distal (fondo) cuando existe ambigüedad. Las métricas de evaluación estándar, que premian la concordancia con una única verdad de campo, penalizan interpretaciones alternativas válidas, ocultando la verdadera capacidad de razonamiento geométrico del modelo.

Metodología

1. Benchmark MultiDepth-3k (MD-3k)
Para medir esta preferencia sin requerir una verdad de campo métrica densa y neutral al sensor (lo cual es difícil de obtener para capas transparentes), los autores introducen MD-3k, un benchmark ordinal disperso.

• Datos: 3,161 imágenes RGB provenientes del dataset GDD, que contienen objetos transparentes.
• Anotación: En lugar de mapas de profundidad densos, cada imagen se anota con un par de puntos dispersos en una región ambigua. Crucialmente, la anotación proporciona dos etiquetas ordinales: el orden de profundidad relativo para la capa transparente del primer plano y la capa visible del fondo.
• Subconjuntos: El dataset se divide en un subconjeto "Same" (donde los órdenes de profundidad del primer plano y el fondo coinciden) y un subconjunto "Reverse" (donde entran en conflicto). El subconjunto "Reverse" es el caso de prueba crítico donde un modelo de salida única no puede satisfacer ambas capas simultáneamente.

2. Prompting Visual Laplaciano (LVP)
Los autores proponen un método sin entrenamiento para sondear si la preferencia de capa de profundidad de un modelo congelado puede ser modulada mediante el cambio de la representación de entrada.

• Mecanismo: LVP aplica un kernel laplaciano discreto (una transformada espectral de alta frecuencia) a la imagen RGB de entrada. Los residuales con signo resultantes se normalizan y se mapean de nuevo al rango de entrada del modelo (por ejemplo, 0–255).
• Hipótesis: Al enfatizar los bordes de alta frecuencia, LVP actúa como una sonda espectral que puede dirigir al modelo congelado hacia una hipótesis de profundidad distinta pero válida (por ejemplo, cambiar de una preferencia de primer plano a una de fondo) sin reentrenar o modificar los pesos.

3. Métricas de Evaluación

• Precisión de Relación Espacial (SRA): Mide la fracción de pares de puntos donde el orden de profundidad predicho coincide con la verdad de campo para una capa específica (primer plano o fondo).
• Preferencia de Capa de Profundidad ($\alpha$): Definida como $SRA(2) - SRA(1)$. Un $\alpha$ positivo indica una preferencia de fondo; un $\alpha$ negativo indica una preferencia de primer plano.
• Precisión de Relación Espacial de Capas Múltiples (ML-SRA): Evalúa un par de hipótesis (por ejemplo, la salida RGB y la salida LVP). Comprueba si el par, al ser asignado óptimamente a las dos capas, satisface las restricciones ordinales para ambas capas simultáneamente.

Contribuciones Clave

1. Caracterización de la Preferencia de Capa de Profundidad: El artículo proporciona la primera caracterización sistemática de cómo diversos modelos fundacionales de profundidad (incluyendo Depth Anything v1/v2, DPT, Marigold, etc.) exhiben sesgos distintos y específicos del modelo hacia la capa de primer plano o de fondo bajo una entrada RGB estándar.
2. Benchmark MD-3k: Introducción de un benchmark del mundo real que permite medir la preferencia de capa de profundidad mediante relaciones ordinales dispersas, evitando la necesidad de una verdad de campo métrica de múltiples capas que sea imposible de obtener de forma densa.
3. Modulación Dependiente de la Entrada: Demostración de que el Prompting Visual Laplaciano (LVP) puede alterar significativamente la preferencia de capa de profundidad expresada por modelos congelados. Para ciertos modelos, LVP actúa como un "interruptor" que revela una hipótesis geométrica complementaria, permitiendo que un modelo de salida única cubra efectivamente múltiples interpretaciones válidas cuando se le consulta con diferentes entradas.

Resultados

• Sesgos Diversos: Bajo la entrada RGB estándar, los modelos muestran sesgos fuertes pero inconsistentes. Por ejemplo, las variantes de Depth Anything v2 ajustadas para interiores tienden a preferir el primer plano (vidrio), mientras que las variantes ajustadas para exteriores y los modelos generativos (como Marigold) suelen preferir el fondo.
• Efectividad de LVP: LVP induce cambios sustanciales en la preferencia para modelos específicos (por ejemplo, DPT, Depth Pro y DAv2-L) pero tiene poco efecto en otros (por ejemplo, DAv1, algunos modelos generativos).
  • Caso DAv2-L: El ejemplo más fuerte es DAv2-L. Bajo RGB, tiene un sesgo de primer plano ($\alpha \approx -30.6$). Bajo LVP, cambia a un sesgo de fondo ($\alpha \approx +68.2$).
• Rendimiento de ML-SRA:
  • Una línea base "colapsada" (duplicando un único mapa de profundidad) logra un techo estricto de 56.4% en el subconjunto "Reverse" de MD-3k porque no puede satisfacer restricciones ordinales conflictivas.
  • El par RGB/LVP utilizando DAv2-L logra un 75.5% de ML-SRA global y un 52.2% en el subconjunto "Reverse". Esto representa una ganancia significativa sobre el techo de la hipótesis única, demostando que el modelo congelado puede expresar relaciones ordinales complementarias cuando la representación de entrada cambia.
• Ablación: El efecto es específico al prompting de alta frecuencia; los prompts gaussianos de paso bajo fallan al modular la preferencia de capa. El efecto no es exclusivo del operador Laplaciano, sino que se generaliza a otras transformadas de alta frecuencia (Sobel, Fourier), aunque LVP sigue siendo un estándar robusto.

Significado y Reivindicaciones

El artículo afirma que la inferencia RGB estándar captura solo una porción de una distribución posterior geométrica más rica. Al tratar la ambigüedad no como ruido, sino como una estructura geométrica medible, los autores demuestran que:

1. La ambigüedad es intrínseca: Los modelos fundacionales de profundidad codifican múltiples hipótesis geométricas válidas, pero el entrenamiento y la evaluación estándar las obligan a colapsar en una única convención sesgada.
2. La modulación es posible: Transformaciones simples de entrada espectral sin entrenamiento (LVP) pueden desbloquear estas hipótesis complementarias latentes en modelos congelados.
3. Replanteamiento de la evaluación: Los futuros sistemas de profundidad deben evaluarse por su capacidad de representar y preservar múltiples interpretaciones 3D válidas, en lugar de forzar una única salida escalar.

Limitaciones Reconocidas:

• LVP depende del modelo y no es un extractor de capas universal; falla en superficies semitransparentes donde las pistas de frecuencia están entrelazadas.
• El benchmark es disperso y se centra en la transparencia; no proporciona una validación métrica densa.
• LVP a menudo degrada la precisión de la profundidad única estándar en escenas no ambiguas, lo que indica que es una herramienta de diagnóstico/sondeo más que un reemplazo para la inferencia estándar en escenas claras.

Los autores invitan a la comunidad a adoptar una óptica "consciente de la ambigüedad" para la supervisión y evaluación de la profundidad, donde múltiples interpretaciones 3D válidas se tratan como estructura geométrica para ser medida y expresada.