Resumen Técnico: Estimación de Profundidad Monocular Enfocable

Formulación del Problema

Los modelos base actuales de estimación de profundidad monocular (por ejemplo, Depth Anything, UniDepth, Metric3D) sobresalen en la recuperación de geometría de escena densa a través de diversos dominios. Sin embargo, están predominantemente optimizados utilizando objetivos uniformes a nivel de píxel que tratan todas las regiones de la imagen por igual. Este enfoque "centrado en la imagen" falla al distinguir las regiones objetivo especificadas por el usuario o relevantes para la tarea del contexto circundante. En aplicaciones como la robótica y la IA encarnada, donde la precisión de la profundidad cerca de un objeto objetivo y las transiciones nítidas de los límites son críticas, la optimización global uniforme a menudo resulta en una precisión subponderada del primer plano y límites borrosos, incluso cuando la geometría global de la escena permanece coherente.

Para abordar esta brecha, los autores introducen la Estimación de Profundidad Monocular Enfocable (FDE). FDE reformula la tarea de estimación de profundidad desde una predicción densa uniforme hacia una inferencia condicionada al objetivo. Dada una imagen de entrada y una región objetivo especificada por el usuario (mediante cuadros o indicaciones de texto), el modelo debe:

1. Priorizar la precisión de la profundidad en la región objetivo del primer plano.
2. Preservar transiciones de profundidad nítidas en los límites del objetivo.
3. Mantener una geometría global de escena coherente en toda la imagen.

Metodología: FocusDepth

Para resolver la tarea FDE, los autores proponen FocusDepth, un marco de estimación de profundidad relativa monocular condicionado por indicaciones. La intuición central es combinar los conocimientos previos complementarios de la segmentación condicionada por indicaciones (Modelo de Segmentación Anything 3, o SAM3) y los modelos base de geometría densa (familia Depth Anything, o DAs).

Descripción General de la Arquitectura

FocusDepth consta de dos ramas principales:

1. Rama de Profundidad Geométrica: Utiliza DAs preentrenados (DA2 o DA3) para extraer tokens de geometría multiescala ($X_g$) que representan la estructura global de la escena.
2. Rama Condicionada por Indicaciones: Utiliza SAM3 para procesar la imagen de entrada y la indicación del usuario (cuadro o texto) y generar características de tokens condicionadas por la indicación ($X_p$) que identifican la región objetivo.

Módulo Central: Fusión Espacial Alineada Multiescala (MSSA)

La innovación central es el módulo MSSA, que inyecta señales condicionadas por indicaciones en la representación geométrica sin interrumpir el conocimiento previo geométrico preentrenado. MSSA opera en cada escala del codificador de geometría e involucra tres pasos clave:

• Alineación Espacial por Escala: Dado que ambas ramas procesan la imagen en la misma cuadrícula de parches ViT, los tokens están en correspondencia espacial uno a uno. Los tokens de indicación se proyectan en el espacio de tokens de geometría específico de la escala y se concatenan con los tokens de geometría.
• Fusión Condicional Enrutada: Una capa ligera de Mezcla de Expertos (MoE) procesa los tokens concatenados. Un enrutador calcula combinaciones dependientes de la entrada de las salidas de los expertos, permitiendo que el modelo aplique diferentes correcciones según la ubicación espacial sin supervisión explícita para regiones específicas (primer plano vs. fondo).
• Salida de Fusión Puertada: Para evitar que las señales de indicación sobrescriban la geometría global, una puerta aprendible ($G_s$) controla la inyección. La característica final es una suma ponderada de las características enrutadas y los tokens de geometría originales: $Y_s = G_s \odot F_s + (1 - G_s) \odot X_g^s$. Esto asegura que las correcciones condicionadas por indicaciones se apliquen selectivamente mientras se retiene el conocimiento previo global.

Función de Pérdida y Entrenamiento

El modelo se entrena con una función de pérdida consciente de la región que divide la imagen en tres regiones basadas en la máscara de verdad fundamental: Primer Plano, Límite y Global. La pérdida total ($L$) es la suma de las pérdidas de profundidad ($L_{fg}, L_{bd}, L_{glb}$) calculadas sobre estas regiones, más una pérdida de segmentación auxiliar ($L_{seg}$).

El entrenamiento sigue una estrategia de dos etapas para garantizar estabilidad:

1. Etapa 1: Solo el módulo MSSA se optimiza mientras todos los backbones preentrenados permanecen congelados, permitiendo que MSSA aprenda la alineación sin perturbar el conocimiento previo geométrico.
2. Etapa 2: El decodificador de profundidad, el transformador guiado por indicaciones de SAM3 y el decodificador de segmentación auxiliar se optimizan junto con MSSA, mientras que los codificadores permanecen congelados.

Punto de Referencia: FDE-Bench

Para evaluar FDE, los autores establecen FDE-Bench, un conjunto de puntos de referencia que convierte conjuntos de datos RGB-D existentes en tripletas estandarizadas imagen–objetivo–profundidad.

• Conjuntos de Datos: Construidos a partir de NYU v2, TUM RGB-D, YCB-Video, RLBench y RoboTwin, cubriendo escenas interiores, objetos de mesa y entornos de manipulación encarnada.
• Escala: Contiene 252.9K tripletas de entrenamiento y 72.5K de validación que abarcan 972 categorías de objetivos.
• Métricas de Evaluación: A diferencia de los puntos de referencia estándar que reportan el error de imagen completa, FDE-Bench evalúa el rendimiento en tres regiones complementarias:
  • Primer Plano: Calidad de profundidad local al objetivo.
  • Límite: Nitidez de la transición de profundidad.
  • Global: Coherencia geométrica de toda la imagen.
    Las métricas reportadas incluyen $\delta_1$ y AbsRel, calculadas de manera por objetivo para evitar el dominio de imágenes con muchos objetivos.

Resultados Experimentales

Los experimentos se realizaron en FDE-Bench comparando FocusDepth contra modelos base de inferencia cero disparos (UniDepth, Metric3D, DA2, DA3) y líneas base ajustadas globalmente (DA2-ft, DA3-ft).

• Ganancias de Rendimiento: FocusDepth supera consistentemente a las líneas base ajustadas globalmente, particularmente en regiones centradas en el objetivo. Por ejemplo, en RLBench con indicaciones de cuadro, FocusDepth(DA3) redujo el AbsRel de límite de 0.073 a 0.049 y el AbsRel de primer plano de 0.095 a 0.056 en comparación con DA3-ft, mientras mejoraba simultáneamente el AbsRel global de 0.042 a 0.030.
• Robustez de las Indicaciones: Un estudio sobre la corrección de las indicaciones mostró que, aunque las indicaciones correctas producen los mejores resultados, incluso las indicaciones incorrectas o vacías resultan en un mejor rendimiento que la línea base sin indicaciones, lo que sugiere que la rama condicionada por indicaciones proporciona señales locales y globales útiles incluso sin una guía perfecta.
• Análisis Cualitativo: Las visualizaciones demuestran que FocusDepth produce límites de objetivo más nítidos y errores de profundidad más bajos en la región especificada en comparación con el ajuste fino estándar, sin introducir artefactos en el fondo.

Estudios de Ablación

Los estudios de ablación en RLBench destacan la importancia de decisiones de diseño específicas:

• Alineación Espacial: Interrumpir la correspondencia espacial entre los tokens de indicación y geometría (barajando) causa la degradación más significativa, aumentando el AbsRel global hasta en un 13.8%. Esto confirma que la alineación espacial es el factor de diseño clave.
• Fusión Específica por Escala y Enrutada: Eliminar la fusión específica por escala o reemplazar el enrutador MoE con un solo MLP empeora consistentemente la precisión del primer plano y del límite, indicando la necesidad de fusión consciente de la escala y condicional.
• Inyección Puertada: Eliminar el mecanismo de puerta conduce a una degradación consistente, confirmando su papel en equilibrar las correcciones de indicaciones con el conocimiento previo geométrico preentrenado.
• Estrategia de Entrenamiento: Un enfoque de entrenamiento de una sola etapa debilita el refinamiento local, validando la estrategia de dos etapas para separar la alineación entre modelos de la adaptación posterior.

Significado y Afirmaciones

El artículo afirma establecer FDE como una formulación de tarea concreta para la estimación de profundidad priorizada por región, superando las limitaciones de los objetivos uniformes centrados en la imagen. Los autores afirman que FocusDepth transfiere exitosamente la evidencia de objetivos fundamentada en indicaciones a representaciones de geometría densa mediante MSSA, permitiendo un refinamiento condicional alineado espacialmente y puertado.

El significado radica en demostrar que es posible mejorar la precisión local del objetivo y la fidelidad de los límites sin comprometer la coherencia geométrica global de la escena. Los autores posicionan FDE como un paso necesario para aplicaciones que requieren interacción precisa con objetos específicos (por ejemplo, manipulación robótica), donde los modelos de profundidad estándar pueden fallar al priorizar la geometría relevante. El trabajo concluye señalando limitaciones, como la necesidad de entrenamiento conjunto a mayor escala y una mayor exploración de aplicaciones de tareas posteriores, las cuales se dejan para trabajos futuros.