Adaptive Depth-converted-Scale Convolution for Self-supervised Monocular Depth Estimation

1. El Problema

La estimación de profundidad monoculares auto-supervisada (MDE) ha avanzado significativamente, pero enfrenta un desafío fundamental: la ambigüedad de tamaño y profundidad en videos.

• Cambio Continuo de Escala: En un video capturado con una cámara en movimiento, el tamaño de un objeto en la imagen cambia continuamente a medida que su profundidad varía (un objeto lejano se ve pequeño, uno cercano se ve grande).
• Limitación de las Redes Existentes: Las redes convolucionales tradicionales (CNN) utilizan filtros de tamaño fijo y operaciones de agrupamiento (pooling) con escalas predefinidas. Esto impide que la red adapte su campo receptivo local a los cambios dinámicos de escala de los objetos entre cuadros consecutivos.
• Enfoque Incorrecto: La mayoría de los trabajos anteriores se han centrado en la deformación local del filtro (como la convolución deformable) para ajustar la forma, ignorando que la escala del filtro en sí misma es crítica para capturar la estructura 3D de la escena cuando la profundidad cambia.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que incorpora la relación a priori entre la profundidad del objeto y su escala en la imagen para adaptar dinámicamente la convolución.

A. Conversión Profundidad-Escala

Se basa en el principio de la cámara de agujero de alfiler: la longitud de un objeto en la imagen ($l_v$) es inversamente proporcional a su profundidad ($D$).
$$l_v = l_r \cdot \frac{f}{D}$$
Donde $l_r$ es la longitud real en la escena 3D y $f$ es la distancia focal.
Si la profundidad cambia de $D_1$ a $D_2$, el tamaño del filtro de convolución debe ajustarse proporcionalmente para mantener la misma área de cobertura en la escena 3D.

B. Módulos Clave

1. Convolución de Escala Convertida por Profundidad (DcSConv):

   • En lugar de usar un filtro fijo (ej. 3x3), el tamaño del filtro ($k_d$) se calcula dinámicamente en función de la profundidad estimada del pixel:
     $$k_d = k_r \cdot \frac{D_r}{D}$$
   • Donde $k_r$ es el tamaño base del filtro y $D_r$ es una profundidad de referencia.
   • Adaptabilidad: Si el objeto está lejos (gran profundidad), el filtro se hace más pequeño. Si está cerca, el filtro se hace más grande.
   • Interpolación: Dado que el tamaño calculado puede ser fraccionario, se utiliza interpolación bilineal para muestrear las características en posiciones no enteras dentro de la cuadrícula receptiva.

2. Fusión de Convolución Múltiple de Escala Convertida (DMSF):

   • Una alternativa que extrae características con múltiples tamaños de filtro fijos (1x1, 3x3, 5x5) y las fusiona adaptativamente.
   • Los pesos de fusión se calculan basándose en la distancia entre la escala convertida por profundidad y los tamaños de los filtros fijos, utilizando una función gaussiana.

3. Fusión Consciente de la Escala Convertida por Profundidad (DcS-F):

   • Módulo diseñado para fusionar las características obtenidas por DcSConv (escala variable) con las características de la convolución convencional (escala fija).
   • Utiliza bloques de atención de canal y atención espacial que incorporan explícitamente el mapa de diferencias de escala. Esto permite que la red decida qué información (detalles finos vs. contexto global) es más importante según la profundidad local.

4. Arquitectura General (DcS-D):

   • Se integra como un módulo "plug-and-play" en la capa de decodificación de arquitecturas Encoder-Decoder existentes (como Monodepth2, CADepth).
   • Utiliza un mapa de profundidad inicial (o de una capa anterior) para guiar la adaptación de escala en cada paso del proceso de decodificación.

3. Contribuciones Principales

• Primera investigación en escala adaptativa: Es el primer trabajo que investiga la adaptación de la escala del filtro de convolución basada en la profundidad, en lugar de centrarse únicamente en la deformación local de la forma del filtro.
• Resolución de ambigüedad: Soluciona el problema de la ambigüedad de tamaño de un mismo objeto en diferentes cuadros de un video, permitiendo campos receptivos de escala apropiada.
• Dos métodos de convolución: Propone DMSF (fusión de múltiples escalas) y DcSConv (convolución directa con escala variable).
• Generalización (GLSConv): Demuestra que la DcSConv puede generalizarse a una "Convolución de Escala Aprendida" (GLSConv), donde la red aprende la transformación de características a escala sin necesidad de un mapa de profundidad explícito, aunque la versión basada en profundidad física funciona mejor.
• Módulo de Fusión: El desarrollo del módulo DcS-F que integra eficazmente la información de escala variable con la convolución estándar.

4. Resultados Experimentales

Los experimentos se realizaron principalmente en el conjunto de datos KITTI (Eigen split), utilizando como baselines Monodepth2, CADepth y MonoViT.

• Rendimiento Superior: El método propuesto logró los mejores resultados en comparación con el estado del arte (SOTA) en múltiples backbones (ResNet-18, ResNet-50, Transformer).
• Mejoras Clave:
  • En la configuración con Monodepth2, se logró una reducción del 11.6% en el error cuadrático relativo (SqRel).
  • En la configuración con CADepth, la mejora fue del 17.1%.
  • En la configuración con MonoViT, la mejora alcanzó el 23.4%.
• Comparación con Deformable Conv: La DcSConv superó a la convolución deformable (Deformable Conv), validando la hipótesis de que la adaptación de la escala es más crítica que la deformación local para la estimación de profundidad.
• Generalización: El método también mostró mejoras significativas en conjuntos de datos no vistos durante el entrenamiento, como Make3D (12.59% de mejora) y NYU V2 (18.06% de mejora), demostrando robustez en entornos interiores y exteriores.
• Estudios de Ablación: Confirmaron que tanto la DcSConv como el módulo de fusión DcS-F son esenciales para el rendimiento final.

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en el diseño de redes para visión por computadora.

• Cambio de Enfoque: Desplaza la atención de la deformación geométrica local (que ha sido el foco de la última década) hacia la adaptación de la escala del receptor, un aspecto fundamental para entender la geometría 3D a partir de imágenes 2D.
• Versatilidad: Al ser un módulo "plug-and-play", puede mejorar cualquier arquitectura existente de estimación de profundidad auto-supervisada sin requerir cambios profundos en la arquitectura base.
• Eficiencia Teórica: Aprovecha una relación física conocida (profundidad-tamaño) para guiar el aprendizaje, lo que resulta en una extracción de características más coherente con la realidad física de la escena, logrando bordes más nítidos y una mejor estimación de la estructura global.

En resumen, el paper demuestra que adaptar dinámicamente el tamaño del filtro de convolución según la profundidad estimada es una estrategia superior para capturar la estructura de la escena en videos monoculares, superando a las técnicas actuales basadas en deformación o escalas fijas.