GemDepth: Geometry-Embedded Features for 3D-Consistent Video Depth

Resumen Técnico: GemDepth: Características Incrustadas en la Geometría para Profundidad de Video Consistente en 3D

Enunciado del Problema
La estimación de profundidad monoculares ha avanzado significativamente mediante modelos fundamentales, sin embargo, estos marcos están diseñados principalmente para la inferencia de cuadros individuales. Cuando se aplican a video, tratar los cuadros de forma aislada descuida las dependencias temporales cruciales, lo que conduce a un parpadeo severo entre cuadros e inconsistencias geométricas. Los métodos existentes de estimación de profundidad de video generalmente caen en dos categorías, ambas con limitaciones:

1. Modelos Generativos: Aunque capaces de preservar detalles nítidos, sufren de baja coherencia temporal, sobrecarga computacional alta y uso de memoria prohibitivo.
2. Modelos Discriminativos: Estos extienden los estimadores de cuadros individuales con módulos temporales, pero dependen de un suavizado temporal 2D implícito. Carecen de conciencia geométrica explícita, luchando por mantener una consistencia 3D estricta durante rotaciones de cámara complejas o cambios de vista drásticos. Esto a menudo resulta en la supresión de señales espaciales de alta frecuencia, causando bordes borrosos y fidelidad estructural degradada.

Los autores argumentan que la comprensión explícita de la geometría 3D —específicamente la percepción del movimiento de la cámara y la estructura global 3D— es un requisito previo para una consistencia temporal genuina. Sin priores conscientes del movimiento explícitos, los modelos fallan en establecer las correspondencias a nivel de punto latentes necesarias para imponer consistencia.

Metodología
GemDepth es un marco generalizado diseñado para mejorar la estimación de profundidad de video mediante la integración de restricciones geométricas explícitas. Se instancia sobre líneas base como DepthAnythingV2 y VideoDepthAnything. El marco consta de tres componentes principales:

1. Módulo de Incrustación Geométrica (GEM):

   • Función: GEM modela explícitamente el movimiento propio de la cámara para inyectar incrustaciones geométricas conscientes de la pose.
   • Mecanismo: Utiliza un EfficientPoseNet ligero con un transformador de atención alterna de 4 capas para procesar un token de cámara aprendible. Esto estima poses de cámara de 6 grados de libertad (6-DoF) y un factor de escala global.
   • Normalización: Para resolver la ambigüedad de escala monoculares, las traslaciones se normalizan utilizando un factor de escala global, proyectando todas las poses en un marco canónico unificado.
   • Salida: La rotación, traslación y escala se codifican mediante MLPs geométricos para crear representaciones de características de cámara conscientes de la métrica ($F_{cam}$). Estas se fusionan con características visuales, proporcionando a la red un sistema de coordenadas que impone consistencia a través de restricciones físicas en lugar de un suavizado ciego.

2. Transformador Espacio-Temporal Alterno (ASTT):

   • Función: ASTT desacopla el modelado de dependencias en dos fases especializadas para imponer consistencia geométrica mientras refina los detalles.
   • Atención Temporal (Alineación Geométrica): Aprovechando los priores de movimiento de GEM, esta fase establece correspondencias explícitas a nivel de punto a través del eje temporal. Realiza una agregación de características basada en trayectorias para capturar señales de movimiento puras, asegurando una consistencia estructural espacial robusta y secuencias sin parpadeo.
   • Atención Espacial (Refinamiento Estructural): Condicionada a características temporales alineadas, esta fase agrega características espaciales 3D relevantes. Incluye atención espacial intra-cuadro para la disposición local y atención espacial inter-cuadro para dependencias de largo alcance, mejorando las representaciones de alta frecuencia y agudizando los detalles estructurales.
   • Ejecución: El módulo alterna entre estos mecanismos, asegurando que la alineación geométrica preceda al afilado de detalles.

3. Estrategia de Entrenamiento en Dos Etapas:

   • Etapa 1 (Optimización Geométrica): Todo el marco se optimiza conjuntamente utilizando supervisión de pose y profundidad en un conjunto de datos compuesto de ~690K cuadros (incluyendo Virtual KITTI 2, TartanAir, etc.). Esto establece capacidades robustas de razonamiento geométrico.
   • Etapa 2 (Refinamiento de Profundidad): El módulo GEM se congela para retener la base geométrica. La red restante se ajusta finamente en ~250K cuadros de conjuntos de datos sin verdad fundamental de extrínsecos de cámara (por ejemplo, IRS, secuencias en el mundo real). Esto obliga al ASTT a adaptarse al ruido de pose, asegurando predicciones de alta calidad incluso con señales geométricas imperfectas.

Contribuciones Clave

• Marco GemDepth: Una solución generalizada que incorpora un Módulo de Incrustación Geométrica (GEM) para inyectar incrustaciones conscientes de la pose, imponiendo restricciones estructurales 3D rigurosas.
• Módulo ASTT: Una arquitectura transformadora novedosa que aprovecha priores geométricos para desacoplar el modelado de dependencias, resolviendo el conflicto entre la preservación de detalles y la estabilidad temporal al alternar entre alineación geométrica y refinamiento espacial.
• Eficiencia de Datos: El marco logra un rendimiento de vanguardia (SOTA) con una utilización de datos altamente eficiente, requiriendo significativamente menos muestras de entrenamiento (menos de 1M de cuadros) en comparación con enfoques existentes que a menudo requieren millones.

Resultados Experimentales
Evaluaciones extensas en cuatro puntos de referencia (Sintel, KITTI, Scannet, Bonn) demuestran la superioridad de GemDepth:

• Precisión Espacial: GemDepth-VDA logra una reducción del error AbsRel de más del 25% en Bonn y Scannet en comparación con los métodos SOTA existentes. En Sintel, supera a VideoDepthAnything en un 46.8%.
• Consistencia Temporal: GemDepth establece nuevos estándares SOTA para la estabilidad temporal. En Scannet, reduce el Error de Alineación Temporal (TAE) en un 56.14% (GemDepth-DAv2) y un 17.54% (GemDepth-VDA) en comparación con sus respectivas líneas base.
• Precisión Geométrica 3D: En la reconstrucción de nubes de puntos, GemDepth-VDA logra una puntuación F1 de 90.43 en Bonn, superando significativamente a modelos fundamentales 3D pesados como DA3 (78.44) y VGGT, a pesar de tener solo 0.58B de parámetros (aproximadamente la mitad del tamaño de los competidores).
• Robustez: Los estudios de ablación muestran que el modelo mantiene un rendimiento estable bajo ruido de pose inyectado de bajo a moderado (hasta un 20%), demostrando resiliencia ante imprecisiones geométricas aguas arriba.
• Eficiencia: GemDepth logra estos resultados con una sobrecarga computacional marginal (<20%) en comparación con las líneas base discriminativas y una latencia significativamente menor que los marcos generativos.

Significado y Afirmaciones
El artículo afirma que GemDepth establece un nuevo punto de referencia tanto para la precisión espacial como para la consistencia temporal en la estimación de profundidad de video. Al modelar explícitamente el movimiento de la cámara y la estructura global 3D, el marco aborda la limitación fundamental de los métodos actuales que dependen del suavizado 2D implícito. Los autores afirman que GemDepth es un marco versátil y generalizado que puede integrarse sin problemas en diversas líneas base de profundidad monoculares o de video. Su capacidad para lograr un rendimiento zero-shot SOTA con datos etiquetados de pose limitados destaca un cambio hacia enfoques más eficientes en datos y fundamentados geométricamente para la percepción 3D en entornos dinámicos. El trabajo se posiciona como un paso adelante para hacer que los backbones de estimación de profundidad sean más prácticos para aplicaciones del mundo real como la conducción autónoma y la realidad aumentada, donde la consistencia geométrica es crítica.