Resumen Técnico: Aprendizaje Conjunto de Profundidad, Pose y Campo de Radiancia Local para la Reconstrucción 3D Monocular a Gran Escala

Planteamiento del Problema

La reconstrucción 3D monocular a partir de video no calibrado enfrenta tres modos críticos de falla cuando se aplica a escenas de gran escala (cientos de metros):

1. Ambigüedad de Escala: Las redes de profundidad autosupervisadas producen mapas de profundidad ambiguos hasta una escala desconocida, lo que genera "geometría fantasma".
2. Deriva de Pose (Pose Drift): Los errores acumulados en la estimación de la pose de la cámara corrompen la alineación en trayectorias largas, un problema exacerbado en entornos no restringidos sin calibración externa.
3. Extensión de Radiancia Limitada: Los campos de radiancia neuronal (NeRF) estándar dependen de una única representación global, lo que resulta en huellas de memoria prohibitivamente grandes y falla al escalar a contenidos del tamaño de una manzana urbana.

Las soluciones existentes suelen abordar solo uno o dos de estos problemas. Las redes de profundidad-pose autosupervisadas carecen de escala métrica; el Structure-from-Motion (SfM) clásico requiere escenas texturizadas e intrínsecos precalibrados; y los métodos basados en NeRF (por ejemplo, BARF, NoPe-NeRF) luchan contra la deriva en grandes escalas o requieren una inicialización densa de SfM.

Metodología

Los autores proponen un marco unificado, de extremo a extremo y diferenciable, que optimiza conjuntamente la profundidad métrica, las poses de la cámara y una representación de campo de radiancia local incremental sin calibración externa ni arranque de bootstrapping de SfM. El flujo de trabajo consta de tres módulos principales:

1. Estimación de Profundidad de Escala Métrica

Un backbone de Vision Transformer (ViT), entrenado con priors de tamaño de objetos, predice mapas de profundidad densos.

• Arquitectura: La red procesa parches de $16 \times 16$ utilizando un codificador ViT con incrustaciones de tokens ResNet-50 y un decodificador CNN ligero con conexiones de salto (skip connections).
• Supervisión: La pérdida de profundidad ($L_{depth}$) combina el error de deformación fotométrica, suavidad consciente de bordes y un ancla de escala métrica. El ancla métrica ($L_{metric}$) utiliza un detector ligero para identificar píxeles de "persona de pie", anclando la mediana de la profundidad a una altura fija ($h_0 = 1.7$ m) para imponer consistencia métrica.

2. Ajuste de Haz Basado en Características (FBA)

En lugar de depender de puntos clave frágiles, el sistema refina las poses de la cámara ($SE(3)$) y los intrínsecos directamente en el espacio de características.

• Mecanismo: Una U-Net compartida extrae mapas de características multiescala y mapas de confianza para tramas consecutivas.
• Optimización: Se computan los residuales ponderados entre las características de puntos 3D visibles a través de los frames. Un optimizador de Levenberg–Marquardt (LM) de grueso a fino minimiza estos residuales, propagando gradientes a través del Jacobiano. Este enfoque suprime la deriva en trayectorias no restringidas aprovechando descriptores piramidales aprendidos.

3. Campos de Radiancia Locales Incrementales

Para manejar escenas de gran escala en una sola GPU, el sistema emplea una jerarquía de NeRFs de rejilla de hash (hash-grid) locales y ligeros.

• Asignación Dinámica: A medida que la cámara se mueve, se genera un nuevo NeRF de rejilla de hash cuando la línea base de visión excede un umbral relativo al cubo unitario contraído del campo actual.
• Estrategia de Congelación: Una vez que un campo ya no es la vista primaria (es decir, >80% de los nuevos rayos caen fuera de su dominio), este se congela. Este heurístico de "entrenar una vez y congelar" evita que los gradientes actualicen los campos completados, manteniendo el uso de memoria limitado (<7 GB) mientras asegura una transición fluida mediante priors de color $L_2$ de los campos congelados.

Programación de Optimización Conjunta

Todos los módulos se entrenan mediante un esquema de ventana progresiva:

1. Arranque (Bootstrap): Optimizar profundidad, pose, intrínsecos y el primer campo de radiancia para los primeros 5 frames.
2. Ventana Deslizante: Para cada nuevo lote de 32 frames, el sistema alterna entre:
   • Calentamiento de profundidad (50 iteraciones).
   • Refinamiento de pose mediante BA en el espacio de características (30 iteraciones).
   • Ajuste fino de radiancia (30 iteraciones).
3. Desplazamiento de Campo: Disparar la congelación del campo actual y la generación de uno nuevo basado en la cobertura de rayos.

Principales Contribuciones

1. Bucle Unificado de Profundidad-Pose Métrica: Un estimador de profundidad basado en ViT acoplado con un ajuste de haz en el espacio de características que refina conjuntamente la profundidad, los intrínsecos y la pose en un solo bucle diferenciable, eliminando la ambigüedad de escala y la deriva.
2. Representación de Radiancia Local Escalable: Una arquitectura de NeRF de rejilla de hash incremental que escala a trayectorias de manzanas de ciudad mientras limita el tiempo de entrenamiento y la memoria, operando sin poses de verdad de campo (ground-truth).
3. Evaluación Exhaustiva: Benchmarks extensos que demuestran el rendimiento de vanguardia en precisión de pose y calidad de síntesis de vistas en datasets estándar (Tanks & Temples, Static Hikes) y filmaciones personalizadas de smartphones.

Resultados Experimentales

El método fue evaluado en el benchmark Tanks & Temples (8 secuencias) y el dataset Static Hikes (Indoor), comparándolo con BARF, NoPe-NeRF, LocalRF y DS-NeRF.

• Precisión de Pose: El método logra un Error de Trayectoria Absoluta (ATE) que oscila entre 0.001 m y 0.021 m. Esto representa una reducción de hasta 18× comparado con BARF y 2× comparado con NoPe-NeRF. El Error de Pose Relativa (RPE) permanece en niveles sub-píxel.
• Síntesis de Vista: En el dataset Static Hikes, el sistema alcanza PSNR 20.19 dB, SSIM 0.704 y LPIPS 0.62, igualando o superando a las líneas base existentes.
• Desempeño Cualitativo: Las reconstrucciones muestran geometría libre de deriva y precisa en metros sobre trayectorias que exceden los 100 metros. A diferencia de BARF (que produce geometría fantasma) o NoPe-NeRF (que desenfoca estructuras delgadas), el método propuesto preserva bordes nítidos y alineación métrica.
• Eficiencia: El enfoque incremental reduce el uso pico de VRAM a 6–7 GB y recorta el tiempo de entrenamiento aproximadamente un 65% en comparación con un NeRF global monolítico.

Significancia y Reivindicaciones

El artículo afirma demostrar que la reconstrucción 3D de escala métrica y libre de deriva, junto con la síntesis de vistas nuevas de alta fidelidad, son alcanzables a partir de una sola cámara RGB no calibrada.

Al acoplar estrechamente la profundidad métrica, el ajuste de haz en el espacio de características y los campos de radiancia incrementales, el marco aborda el "santo grial" de la reconstrucción monocular: mantener la consistencia geométrica a lo largo de cientos de metros sin sensores externos o calibración. Los autores posicionan este trabajo como un paso fundacional hacia aplicaciones prácticas en:

• Mapeo de AR/VR: Permitiendo superposiciones realistas en entornos no estructurados.
• Percepción de Robots Autónomos: Proporcionando localización y mapeo robustos para la exploración.
• Generación de Gemelos Digitales: Creando modelos 3D precisos de escenas a gran escala a partir de filmaciones manuales.

Los autores reconocen las limitaciones actuales, incluyendo dificultades con estructuras extremadamente delgadas (ej. cables eléctricos) debido a la resolución de la rejilla de hash, artefactos fantasma ocasionales por objetos dinámicos y el requisito de GPUs de clase de escritorio para la inferencia en tiempo real. Sin embargo, sostienen que el marco de aprendizaje conjunto propuesto logra neutralizar los principales modos de falla de los enfoques aislados previos.