Resumen Técnico: FlexDepth – Una Familia de Escala Flexible para la Estimación de Profundidad Monocular Autosupervisada

1. Planteamiento del Problema

La Estimación de Profundidad Monocular (MDE) Autosupervisada es crítica para la conducción autónoma y la robótica debido a su independencia de las etiquetas de profundidad de verdad fundamental (ground-truth) densas. Sin embargo, los enfoques existentes enfrentan limitaciones significativas en entornos de conducción complejos:

• Compromiso entre Escala y Robustez: La mayoría de los modelos ligeros dependen de diseños de escala única o decodificadores simplificados, lo que conduce a una degradación del rendimiento en escenas dinámicas (por ejemplo, vehículos en movimiento, peatones) y una pobre fidelidad estructural en los bordes de los objetos.
• Complejidad del Manejo Dinámico: Los métodos diseñados para manejar objetos dinámicos suelen introducir una complejidad excesiva, tareas auxiliares (por ejemplo, flujo óptico, segmentación semántica) o backbones pesados (por ejemplo, Vision Transformers), lo que los hace inadecuados para dispositivos de borde con recursos limitados.
• Limitaciones de los Modelos Fundacionales: Aunque los modelos fundacionales supervisados (por ejemplo, Depth Anything V2) ofrecen una fuerte generalización zero-shot, su dependencia de conjuntos de datos masivos y altos requisitos computacionales dificulta su despliegue en escenarios automotrices de tiempo real basados en el borde (edge).

El desafío central abordado es cómo cerrar la brecha de robustez entre los modelos autosupervisados ligeros y los modelos supervisados de gran tamaño, manteniendo la eficiencia de datos y la capacidad de despliegue en hardware de borde.

2. Metodología

Los autores proponen FlexDepth, una familia de modelos de MDE autosupervisados impulsados por la escala, adaptados para escenarios de conducción dinámica. La arquitectura consta de tres innovaciones primarias:

A. Decodificador Impulsado por la Escala (SDD)

A diferencia de los decodificadores tradicionales que utilizan pipelines fijos (pre-convolución $\to$ upsampling $\to$ concatenación), FlexDepth introduce un decodificador que selecciona adaptativamente los componentes basándose en la escala del modelo (Nano, Small, Medium, Large, X-Large).

• Diseño de Post-Convolución: Los autores eliminan la etapa de pre-convolución para evitar la pérdida irreversible de información semántica global. En su lugar, se centran en la post-convolución ($C$), el upsampling ($U$) y las cabezales de predicción ($P$).
  • Escalas Pequeñas (Nano/Small): Utilizan Cuellos de Botella de Alta Eficiencia (HEB) para asegurar la estabilidad del flujo de gradiente y un orden tradicional de cabezales de predicción.
  • Escalas Grandes (Medium/X-Large): Utilizan Cuellos de Botalla de Alto Rendimiento (HPB) con estructuras de Etapa Parcial Cruzada (CSP) para una captura de características locales más fina y un cabezal de predicción invertido (upsampling antes de la predicción) para aprovechar la consistencia de canales altos.
• Upsampling Dinámico ($U$): Reemplaza la interpolación bilineal estándar con un proceso de dos etapas: generación de offsets y remuestreo dinámico. Una capa convolucional predice los offsets ($\Delta P$) basados en el contenido semántico, permitiendo que el modelo muestree adaptativamente ubicaciones óptimas de los mapas de características, lo que resulta en bordes de objetos más nítidos.

B. Entrenamiento Desacoplado Estático-Dinámico en Dos Etapas

Para abordar la inestabilidad causada por objetos en movimiento sin depender de priors externos, FlexDepth emplea una estrategia de entrenamiento de dos etapas:

1. Etapa 1 (Optimización Conjunta): Entrena simultáneamente la Red de Predicción de Profundidad y el PoseNet (basado en ResNet-18) utilizando pérdida de reproyección fotométrica estándar, pérdida de reproyección mínima y pérdida de suavidad sensible a bordes.
2. Etapa 2 (Refinamiento Dinámico): Aprovecha la observación de que las regiones dinámicas exhiben una alta inestabilidad predictiva (varianza entre las épocas tempranas y tardías de entrenamiento) en comparación con los fondos estáticos.
   • Se genera una Máscara Desacoplada Estática-Dinámica ($M$) comparando los mapas de disparidad de las épocas inicial y final de la Etapa 1.
   • Una función de umbralización adaptativa $g(\phi(f_{si}, f_{sl}))$ determina la máscara, distinguiendo objetos dinámicos de fondos estáticos basándose en la evolución de las características en lugar de umbrales fijos.
   • La red de profundidad se reentrena utilizando esta máscara con una pérdida de distribución normal enmascarada y suavizado de profundidad geométrica, desacoplando efectivamente el ruido dinámico del aprendizaje de la escena estática.

C. Pipeline de Entrenamiento Autosupervisado

El modelo se entrena enteramente con secuencias de video sin etiquetas mediante consistencia fotométrica.

• Funciones de Pérdida: Combina error fotométrico ($L_p$), pérdida de reproyección mínima ($L_r$), suavidad sensible a bordes ($L_{smooth}$) y, en la Etapa 2, una pérdida de distribución normal enmascarada ($L_m$) y suavizado de profundidad geométrica ($L_{GDS}$).
• Sin Datos Auxiliares: El método opera sin etiquetas semánticas, flujo óptico o mapas de pseudo-profundidad.

3. Contribuciones Clave

1. Familia FlexDepth: Una familia de modelos escalables (de Nano a X-Large) que estudia sistemáticamente el compromiso entre precisión y eficiencia, logrando un rendimiento de estado del arte (SOTA) en escalas arbitrarias con una sobrecarga computacional mínima.
2. Decodificador Impulsado por la Escala (SDD): Una novedosa arquitectura de decodificador que selecciona dinámicamente tipos de cuello de botella (HEB vs. HPB) y estrategias de upsampling basadas en el tamaño del modelo, equilibrando la inferencia en tiempo real con un mapeo de profundidad de alta precisión.
3. Entrenamiento Desacoplado Estático-Dinámico: Una estrategia de dos etapas que aisla objetos dinámicos de fondos estáticos utilizando una máscara adaptativa derivada de la inestabilidad del entrenamiento, mejorando la robustez en entornos dinámicos sin costos de inferencia adicionales o entradas auxiliares.

4. Resultados Experimentales

Los experimentos se realizaron en KITTI, Cityscapes y Make3D (para generalización zero-shot).

• Rendimiento vs. Eficiencia:
  • Flex-Nano: Requiere solo 0.7 GFLOPs y alcanza 37.6 FPS en plataformas móviles (Snapdragon 8 Elite), superando en precisión a las variantes Tiny y Small de Lite-Mono siendo significativamente más ligero.
  • Flex-X-Large: Establece un nuevo SOTA en KITTI y Cityscapes con 24.6 GFLOPs, superando a modelos más pesados como MonoVit (59.7 GFLOPs) y DSI-MonoViT.
• Robustez en Escenas Dinámicas: En Cityscapes, Flex-X-Large logra una precisión superior en regiones dinámicas (Abs Rel 0.091) en comparación con métodos que dependen de pistas auxiliares (por ejemplo, ProDepth, DSI-MonoViT), a pesar de no utilizar información adicional.
• Generalización Zero-Shot: El modelo entrenado en KITTI demuestra una fuerte transferibilidad al conjunto de datos Make3D, superando a otros métodos autosupervisados y acercándose al rendimiento de modelos fundacionales más grandes en métricas específicas.
• Estudios de Ablación: Confirman que los componentes de SDD (HPB, upsampling dinámico, cabezal invertido) y la estrategia de entrenamiento de dos etapas son críticos para las ganancias de rendimiento. Eliminar la segunda etapa provoca caídas severas de rendimiento en escenas dinámicas.

la Significancia y Reclamaciones

El artículo afirma que FlexDepth logra cerrar la brecha entre la eficiencia ligera y la percepción robusta en entornos de conducción dinámica.

• Viabilidad de Despliegue: Al lograr un rendimiento SOTA con un costo computacional mínimo (por ejemplo, 0.7 GFLOPs para Nano), FlexDepth permite una percepción en tiempo real confiable en dispositivos de borde automotrices con recursos restringidos.
• Robustez Intrínseca: El método demuestra que el manejo robusto de escenas dinámicas puede lograrse mediante el diseño arquitectónico y la estrategia de entrenamiento (desacoplamiento estático-dinámico) en lugar de depender de pipelines auxiliares complejos o backbones pesados.
• Complemento a los Modelos Fundacionales: Aunque reconoce las capacidades zero-shot superiores de los grandes modelos fundacionales (por ejemplo, Depth Anything V2), los autores argumentan que el entrenamiento autosupervisado in-domain (como FlexDepth) ofrece ventajas prácticas para el despliegue en el borde debido a su menor huella de recursos y precisión comparable o superior en contextos de conducción específicos.

Limitaciones: Los autores señalan que FlexDepth está diseñado específicamente para la percepción de la conducción y su aplicabilidad a entornos interiores con texturas irregulares y oclusiones de corto alcance es limitada.