Resumen Técnico: Modelado de Profundidad Enmascarada para la Percepción Espacial (LingBot-Depth)

1. Planteamiento del Problema

La percepción espacial 3D precisa es crítica para aplicaciones del mundo físico, tales como la conducción autónoma y la manipulación robótica. Si bien las cámaras RGB-D son la única modalidad capaz de proporcionar escala métrica absoluta, en tiempo real y geometría densa alineada con los píxeles, sufren limitaciones de hardware inherentes. Específicamente, los algoritmos de correspondencia estéreo (stereo matching) utilizados en estos sensores son altamente susceptibles a ambigüedades de apariencia, lo que conduce a una severa corrupción de datos y valores faltantes (huecos) en escenarios desafiantes como superficies de baja textura, reflejos especulares y una iluminación compleja.

Los enfoques actuales suelen tratar estas mediciones faltantes como ruido que debe ser descartado. Sin embargo, este artículo argumenta que estas imprecisiones no son meros errores, sino señales "enmascaradas" que reflejan intrínsecamente ambigüedades geométricas y de apariencia subyacentes. El desafío central es aprovechar estas regiones faltantes que ocurren naturalmente para aprender representaciones de profundidad robustas y de escala métrica que puedan completar la geometría incluso donde los sensores fallan.

2. Metodología: Modelado de Profundidad Enmascarada (MDM)

Los autores proponen LingBot-Depth, un modelo de completación de profundidad basado en un novedoso marco de Modelado de Profundidad Enmascarada (MDM). Este enfoque adapta los principios del modelado de imágenes enmascaradas autosupervisado (por ejemplo, MAE), pero desplaza el objetivo de la reconstrucción de la apariencia hacia la predicción de mapas de profundidad utilizando entradas RGB-D.

2.1 Arquitectura Central

El modelo utiliza un codificador Vision Transformer (ViT-Large) y un decodificador ConvStack.

• Incrustación de Parches Separada (Separated Patch Embedding): La imagen RGB y el mapa de profundidad se procesan a través de capas de incrustación de parches separadas para generar tokens RGB y de profundidad alineados.
• Incrustaciones Posicionales: El sistema emplea tanto incrustaciones posicionales espaciales 2D compartidas como incrustaciones específicas de la modalidad (para distinguir los tokens RGB de los de profundidad) para capturar la ubicación espacial y la identidad de la fuente de entrada.
• Incrustación Conjunta (Joint Embedding): El codificador aprende una representación conjunta mediante la atención al contexto RGB completo y sin enmascarar y a los tokens de profundidad válidos restantes.
• Decodificador ConvStack: A diferencia del MAE estándar que utiliza un decodificador Transformer poco profundo para la reconstrucción de píxeles, LingBot-Depth utiliza un decodificador jerárquico ConvStack. Esto es más adecuado para la predicción geométrica densa. El decodificador descarta los tokens de profundidad latentes y reconstruye el mapa de profundidad completo a partir de los tokens contextuales mejorados (características RGB enriquecidas con el contexto global de la escena a través del token [cls]).

2.2 Estrategia de Enmascaramiento

Una innovación clave es la interpretación de los fallos del sensor como "máscaras naturales".

• Enmascaramiento Natural: En lugar de un enmascaramiento aleatorio, el modelo enmascara los tokens de profundidad correspondientes a las mediciones de sensores faltantes o inválidas.
• Enmascaramiento Adaptativo: Para los parches que contienen una mezcla de valores válidos e inválidos, se aplica una alta probabilidad (por ejemplo, 0.75) de enmascaramiento. Si la proporción de la máscara natural es insuficiente, se enmascaran aleatoriamente tokens válidos adicionales para alcanzar una proporción objetivo del 60 al 90%.
• Señal de Aprendizaje: El modelo se ve obligado a inferir los valores de profundidad faltantes razonando sobre la correlación entre el contexto RGB completo y los tokens de profundidad válidos dispersos. Esto unifica los objetivos de la estimación de profundidad monocular (cuando toda la profundidad está enmascarada) y la completación de profundidad (cuando solo se enmascaran los tokens inválidos).

2.3 Pipeline de Curación de Datos

Para soportar el entrenamiento de MDM a gran escala, los autores construyeron un pipeline de datos escalable que genera 3 millones de pares RGB-D (2M reales, 1M sintéticos):

• Rama Sintética (LingBot-Depth-S): Utiliza activos 3D propios en Blender para renderizar imágenes RGB, profundidad perfecta y pares estéreo. Crucialmente, simula los artefactos de los sensores del mundo real aplicando el Emparejamiento Semiglobal (SGM) a los pares estéreo para generar mapas de profundidad "tipo sensor" con imperfecciones naturales.
• Rama del Mundo Real (LingBot-Depth-R): Utiliza un equipo de captura modular impreso en 3D compatible con diversas cámaras RGB-D de consumo (por ejemplo, Intel RealSense, Orbbec Gemini, ZED). Las etiquetas de pseudo-profundidad se generan mediante correspondencia estéreo en pares de IR capturados, con comprobaciones de consistencia para filtrar errores.
• Datos Suplementarios: El conjunto de entrenamiento se aumenta con 7 conjuntos de datos RGB-D de código abierto, con estrategias de enmascaramiento adaptadas a sus características de datos específicas.

3. Resultados Clave

3.1 Completación de Profundidad

LingBot-Depth fue evaluado en benchmarks estándar (iBims, NYUv2, DIODE, ETH3D) bajo dos protocolos: enmascaramiento de profundidad por bloques y entradas de SfM dispersas.

• Rendimiento: El modelo superó consistentemente a los métodos de vanguardia (OMPI-DC, PromptDA, PriorDA) en todos los niveles de dificultad.
  la métrica RMSE se redujo en más del 40% en comparación con el mejor competidor en configuraciones extremas. En el desafiante protocolo de SfM disperso de ETH3D, logró resultados de vanguardia, reduciendo el RMSE en un 47% (interior) y un 38% (exterior).
• Cualitativo: El modelo produce límites de profundidad más nítidos y estructuras más coherentes, particularmente en regiones con oclusiones severas o observaciones dispersas.

3.2 Estimación de Profundidad Monocular

Cuando se utiliza como backbone de preentrenamiento para MoGe (reemplazando a DINOv2), el codificador preentrenado con MDM demostró un rendimiento superior en la estimación de profundidad monocular en 10 benchmarks diversos (interiores, exteriores, sintéticos y del mundo real).

• Generalización: El modelo mostró mejoras consistentes en las métricas afín-invariantes, escala-invariantes y disparidad-invariantes, lo que sugiere que MDM destila eficazmente el conocimiento geométrico 3D en el codificador.

3.3 Integración con FoundationStereo

El uso de LingBot-Depth como un prior para FoundationStereo resultó en:

• Convergencia más Rápida: El modelo alcanzó un rendimiento sólido para la época 5, superando significativamente a las líneas base vanilla.
• Estabilidad: Evitó la inestabilidad de entrenamiento observada en las variantes basadas en MoGe.
• Precisión Final: Logró los mejores resultados o resultados comparables en todos los benchmarks probados (ETH3D, Middlebury, Booster, etc.) para la época 15.

3.4 Aplicaciones de Descenso (Downstream)

El artículo demuestra la utilidad de LingBot-Depth en escenarios de cero shots o de ajuste fino mínimo:

• Completación de Profundidad de Video: A pesar de haber sido entrenado en imágenes estáticas, el modelo produce flujos de profundidad con consistencia temporal. Completa con éxito las regiones faltantes en superficies transparentes y reflectantes (por ejemplo, paredes de vidrio, túneles de acuario) donde tanto los sensores de luz estructurada como los estéreo fallan.
• Seguimiento de Puntos 3D: Integrado en SpatialTrackerV2, la profundidad refinada permite una estimación de trayectoria de cámara y un seguimiento de objetos dinámicos más suaves y precisos en escenas con extensas superficies de vidrio.
• Agarre Robótico (Grasping): En una tarea de agarre diestro en el mundo real (brazo Rokae + mano X Hand-1), el modelo permitió el agarre exitoso de objetos desafiantes (vasos de vidrio transparente, cuencos reflectantes) que derrotaron la profundidad del sensor bruto. Las tasas de éxito mejoraron significativamente (por ejemplo, 17/20 vs. 13/20 para vasos de acero; 16/20 vs. 12/20 para vasos transparentes).

4. Significado y Reivindicaciones

El artículo afirma que LingBot-Depth representa un cambio de paradigma en el manejo de las limitaciones de los sensores RGB-D. Al tratar los fallos del sensor como "máscaras naturales" en lugar de ruido, el modelo aprende a inferir la geometría a partir del contexto visual, cerrando eficazmente la brecha entre los datos de sensores dispersos/inválidos y la percepción 3D densa y métricamente precisa.

Los autores enfatizan que su enfoque:

1. Supera al Hardware: El modelo supera a las cámaras RGB-D comerciales de alto nivel tanto en precisión de profundidad como en cobertura de píxeles, particularmente en condiciones de iluminación y materiales difíciles.
2. Unifica Tareas: El marco MDM sirve como un generalista versátil, capaz de funcionar tanto como una herramienta de completación de profundidad como un estimador de profundidad monocular dependiendo de la estrategia de enmascaramiento.
3. Habilita la Utilidad Robótica: Las predicciones de profundidad robustas y las representaciones latentes alineadas permiten la manipulación confiable de objetos que típicamente derrotan a los sensores convencionales, demostrando un valor práctico inmediato para la percepción espacial en robótica.

Los autores liberan el código, los checkpoints y el conjunto de datos curado de 3 millones de RGB-depth a la comunidad para facilitar la investigación adicional en la percepción espacial.