Resumen Técnico: Aprendizaje de Campos de Escala Adaptativos a la Imagen para la Recuperación de Profundidad Métrica

Enunciado del Problema

La Estimación de Profundidad Monocular (MDE) ha avanzado significativamente con arquitecturas basadas en transformadores y el preentrenamiento a gran escala. Sin embargo, la mayoría de los métodos ampliamente utilizados producen mapas de profundidad definidos solo hasta una escala y un desplazamiento desconocidos. Aunque algunos enfoques estiman la profundidad métrica directamente, muchas aplicaciones prácticas (robótica, conducción autónoma, reconstrucción 3D) requieren una alineación métrica explícita. Esta alineación depende típicamente de anclajes métricos dispersos (por ejemplo, puntos LiDAR o restricciones de estructura a partir del movimiento).

Los métodos existentes para recuperar la profundidad métrica a partir de anclajes dispersos generalmente se dividen en dos categorías:

1. Alineación Afín Global: Asume una escala y un desplazamiento uniformes en toda la imagen. Aunque es estable, falla en escenas con objetos diversos o diseños complejos donde los sesgos no son uniformes.
2. Enfoques Locales/Regionales: Métodos como la alineación afín por partes, la regresión ponderada localmente (LWLR), la optimización basada en cuadrículas y la adaptación consciente de regiones intentan modelar sesgos que varían espacialmente. Sin embargo, estos a menudo dependen de suposiciones estructurales que pueden no cumplirse en escenas reales o fragmentan el conjunto de anclajes dispersos, lo que lleva a estimaciones inestables cuando los anclajes son insuficientes.

El desafío central es que recuperar campos densos de escala y desplazamiento por píxel a partir de anclajes dispersos es un problema inherentemente mal planteado. Las soluciones existentes imponen priores estructurales predefinidos que pueden ser poco fiables bajo una dispersión extrema.

Metodología

Los autores proponen formular la recuperación de profundidad métrica como modelado de campos de escala adaptativos a la imagen. En lugar de corregir directamente el mapa de profundidad, el método reformula la corrección como una combinación lineal de baja dimensión de mapas base aprendidos.

1. Parametrización en Espacio Logarítmico

La profundidad métrica $D_{gt}(x)$ se relaciona con la profundidad estimada $D_{MDE}(x)$ mediante una transformación afín:
$$D_{gt}(x) = s(x) D_{MDE}(x) + t(x)$$
Para evitar problemas de escalado de gradientes dependientes de la profundidad, donde los píxeles de gran profundidad dominan la optimización, los autores operan en espacio logarítmico. Definen el campo de escala logarítmica $\ell(x) = \log s(x)$ y absorben el término de desplazamiento $t(x)$ como una corrección dependiente de la profundidad dentro del campo de escala.

2. Generador de Mapas Base

El campo de escala logarítmica se modela como una combinación lineal de $K$ mapas base adaptativos a la imagen:
$$\ell(x) = \sum_{m=1}^{K} w_m E_m(x) = E(x)^\top w$$
donde $w \in \mathbb{R}^K$ son pesos específicos de la imagen, y $E_m(x)$ son los mapas base.

El Generador de Mapas Base es una red neuronal que produce estos mapas basándose en tres entradas:

• Representaciones Intermedias ($F(x)$): Características extraídas del backbone de MDE antes de la cabeza de profundidad, que capturan el contexto semántico y estructural.
• Profundidad Logarítmica Estimada: $\log D_{MDE}(x)$ y su gradiente espacial, que codifican la geometría dependiente de la profundidad.
• Coordenadas de la Imagen ($x$): Para modelar tendencias espaciales.

La arquitectura del generador consiste en:

• Un tronco convolucional compartido que produce características $H(x)$.
• Una Cabeza de Base que predice mapas base primitivos $B(x)$.
• Una Cabeza de Puerta que predice pesos normalizados $G(x)$ (mediante softmax).
• Los mapas base finales se calculan como $E(x) = G(x) \odot B(x)$. Esta factorización permite reutilizar patrones espaciales en diferentes regiones de la imagen con magnitudes variables controladas por los mapas de puerta.

3. Estimación de Pesos mediante Mínimos Cuadrados

Los pesos $w$ se determinan ajustando el modelo a los anclajes métricos dispersos $A = \{a_i\}$. Para cada anclaje $a_i$, el objetivo es $y_i = \log D_{gt}(a_i) - \log D_{MDE}(a_i)$. Los pesos se encuentran resolviendo un problema de mínimos cuadrados regularizado:
$$w^* = \arg \min_w \|Mw - y\|_2^2 + \lambda \|w\|_2^2$$
donde $M$ es la matriz de valores de mapas base en las ubicaciones de los anclajes. Esto produce una solución de forma cerrada, garantizando estabilidad incluso bajo una dispersión extrema de anclajes.

4. Objetivo de Entrenamiento

El generador de mapas base se entrena utilizando:

• Pérdida Densa: Pérdida SmoothL1 entre la profundidad métrica recuperada y la profundidad métrica real.
• Pérdida de Anclaje: MSE entre la escala logarítmica predicha y la objetivo en las ubicaciones de los anclajes.
• Pérdida de Descorrelación: Fomenta la ortogonalidad entre los mapas base para evitar la redundancia.
• Regularización de Puerta: Pérdida de entropía negativa para evitar asignaciones de puerta excesivamente agudas.

Contribuciones Clave

1. Reformulación de Baja Dimensión: El artículo introduce una formulación donde la recuperación de profundidad métrica se reduce a estimar un pequeño conjunto de pesos para mapas base adaptativos a la imagen, en lugar de aprender directamente un campo espacial complejo.
2. Robustez ante la Dispersión: Al utilizar un solucionador de mínimos cuadrados agregado globalmente, el método logra soluciones estables incluso con muy pocos anclajes (por ejemplo, 1–9 anclajes por imagen), superando a los métodos que fragmentan los anclajes o dependen de regresión local.
3. Interpretabilidad: El enfoque proporciona una descomposición interpretable de las variaciones de escala espacial. Los mapas base aprendidos y sus pesos revelan cómo se estructuran los sesgos globales y locales.
4. Aplicabilidad General: El método es agnóstico a la arquitectura, requiriendo solo representaciones intermedias y estimaciones de profundidad de un modelo MDE preentrenado. No requiere modelos de segmentación externos ni arquitecturas de backbone específicas.

Resultados Experimentales

El método se evaluó en los conjuntos de datos KITTI, UrbanSyn y SUN RGB-D utilizando Depth Anything 3 (DA3) y MiDaS como modelos MDE representativos.

• Rendimiento: El método propuesto ("Basis") superó consistentemente a las líneas base globales, por partes, LWLR, basadas en cuadrículas y conscientes de regiones en todos los conjuntos de datos y densidades de anclajes.
  • En KITTI con 10–15 anclajes (régimen bajo), el método logró un AbsRel de 0.15 (DA3) y 0.13 (MiDaS), significativamente mejor que la línea base global (0.31/0.17).
  • En UrbanSyn/SUN RGB-D, logró un AbsRel de 0.08 (DA3) y 0.14 (MiDaS) en el régimen de bajo número de anclajes.
• Dispersión Extrema: En una prueba de "eliminación de anclajes" reduciendo los anclajes a tan solo 1, el método permaneció estable. El análisis espectral reveló que el modo eigen dominante de la matriz de incrustación de anclajes corresponde casi en su totalidad al canal de escala global, lo que explica la robustez.
• Ablación: El estudio confirmó que las representaciones intermedias ($F(x)$) son cruciales; desactivarlas impidió que el modelo se beneficiara de una mayor capacidad de base (mayor $K$).

Significado y Afirmaciones

Los autores afirman que su enfoque ofrece un marco práctico para incorporar información métrica dispersa en sistemas MDE modernos. Las conclusiones clave incluyen:

• Mejora de la Precisión: El método logra una precisión de alineación de profundidad métrica de vanguardia en escenas diversas y densidades de anclajes.
• Robustez: La formulación de baja dimensión y la estimación global de mínimos cuadrados proporcionan una fuerte robustez donde los métodos locales fallan debido a anclajes insuficientes.
• Interpretabilidad: La descomposición en mapas base ofrece una nueva forma de analizar y comprender los sesgos de escala-desplazamiento en los modelos MDE.

El artículo nota modestamente que el rendimiento aún depende de la informatividad de los anclajes (cobertura espacial y diversidad) y que la validación en modelos MDE basados en CNN sigue siendo trabajo futuro. Sin embargo, la formulación propuesta se presenta como una solución generalizable que abarca varias estrategias de alineación existentes como casos especiales.