Resumen Técnico: X-Lens

Declaración del Problema

Los sistemas corporizados modernos, incluyendo los robots autónomos y los modelos de Visión-Lenguaje-Acción (VLA), dependen cada vez más de montajes de cámaras múltiples que combinan cámaras pinhole de campo de visión (FOV) estrecho y cámaras fisheye de FOV amplio para lograr una cobertura espacial integral. Sin embargo, los modelos de estimación de profundidad 3D y de fundamentos geométricos existentes enfrentan limitaciones significativas en este entorno de cámaras heterogéneas:

1. Desajuste del Modelo: La mayoría de los métodos están construidos sobre supuestos centrados en la cámara pinhole o modelos de cámara única, fallando al manejar la geometría de proyección no uniforme y la distorsión dependiente de la vista de los montajes mixtos.
2. Costo Computacional: Los modelos de fundamentos geométricos existentes suelen ser computacionalmente exigentes, lo que dificulta la inferencia en tiempo real en el borde (edge) bajo presupuestos estrictos de latencia y memoria.
3. Escasez de Datos: Existe una falta de conjuntos de datos a gran escala, sincronizados y con verdad de terreno métrica densa para configuraciones multivista heterogéneas (fisheye + pinhole).
4. Ineficiencia: Los enfoques actuales suelen depender del cosido de panoramas (alterando la geometría nativa) o de objetivos de reconstrucción auxiliares (aumentando la complejidad de la optimización) para manejar entradas de amplio FOV.

Metodología

X-Lens es un modelo compacto de alimentación directa (feed-forward) diseñado para la estimación de profundidad métrica en tiempo real a partir de un número variable de vistas fisheye y pinhole calibradas. Evita el cosido panorámico y los objetivos de reconstrucción auxiliares, enfocándose directamente en predecir la profundidad densa y una escala métrica global.

1. Formulación y Diseño

• Representación de Rayos Genérica: En lugar de depender de una matriz intrínseca $K$ específica de la cámara pinhole, X-Lens abstrae las cámaras utilizando un mapa de desproyección genérico $G$. Este mapea las coordenadas de los píxeles a rayos unitarios retroproyectados en un espacio de rayos compartido, acomodando tanto modelos pinhole como fisheye (distorsión paramétrica) sin cambios arquitectónicos.
• Predicción Factorizada: El modelo genera un triplete:
  • $\hat{D}$: Campo de profundidad normalizado (invariante de escala).
  • $\hat{C}$: Mapa de confianza autocalibrado.
  • $\hat{m}$: Un único escalar métrico global.
  • La profundidad métrica final se reconstruye como $\hat{D}_m = \hat{m} \cdot \hat{D}$. Esto aisla la escala absoluta en una vía unidimensional, permitiendo que las pérdidas geométricas operen en un espacio invariante de escala.

2. Transformer de Proyección Heterogénea

La arquitectura central es un backbone de Vision Transformer (ViT) con capas alternas locales (dentro de la vista) y globales (entre vistas), mejorado por dos componentes clave:

• Tokens de Calibración Aprendibles: Para evitar que las distorsiones específicas de la lente corrompan los tokens visuales compartidos, el modelo inyecta tokens de calibración ($\Theta$) específicos de la capa y del tipo de cámara en la secuencia. Estos tokens atienden localmente a su vista específica para corregir los patrones de distorsión, pero se descartan antes de la siguiente capa para evitar la persistencia, asegurando que no interfieran con la fusión métrica global.
• Sesgo de Distorsión Parametrizado por el Jacobiano: Para cerrar la brecha geométrica entre vistas, se inyecta un término de sesgo en el mecanismo de atención cruzada. Este sesgo se deriva del Jacobiano del mapa de desproyección (dirección del rayo local y distorsión de proyección). Modula los pesos de atención para favorecer parches con una geometría de rayos 3D y una estructura de proyección local compatibles, en lugar de depender únicamente de la similitud de apariencia en coordenadas distorsionadas.
• Atención de Escala: Para asegurar una predicción de escala métrica robusta, el modelo descarta el 25% inferior de los píxeles de confianza (frecuentemente cerca de los bordes de la fisheye) y realiza un agrupamiento (pooling) ponderado por confianza en las regiones fiables restantes antes de la regresión de la escala global $\hat{m}$.

3. Estrategia de Entrenamiento Multietapa

X-Lens emplea un pipeline de entrenamiento progresivo de tres etapas para aislar la adaptación específica de la lente de la optimización conjunta:

1. Etapa 1 (Pre-entrenamiento Pinhole): El modelo se entrena con datos multi-vista pinhole para aprender prioris geométricos robustos y conciencia de escala. Los tokens de calibración y el sesgo de distorsión están desactivados.
2. Etapa 2 (Adaptación de Tokens Fisheye): El backbone se congela y solo se actualizan los tokens de calibración utilizando datos fisheye. Esto adapta el modelo a la distorsión de amplio FOV sin sobrescribir los prioris de la pinhole establecidos.
3. Etapa 3 (Entrenamiento Conjunto Heterogéneo): Se activa el sesgo de distorsión del Jacobiano y el modelo se ajusta conjuntamente mediante un entrenamiento fino (fine-tuning) con datos mixtos de fisheye-pinhole (incluyendo el nuevo dataset OmniScene) y datos puramente pinhole para reconciliar las interacciones entre vistas.

4. El Dataset OmniScene

Para abordar la escasez de datos, los autores introducen OmniScene, un conjunto de datos sintético a gran escala:

• Escala: ~266,000 fotogramas sincronizados de seis vistas (1.7M de imágenes) a través de 103 escenas interiores y exteriores.
• Configuración: Un montaje rígido de seis cámaras con cuatro cámaras fisheye (180° de FOV) y dos cámaras pinhole.
• Calidad: Proporciona verdad de terreno métrica densa y libre de ruido (z-depth), máscaras de validez e intrínsecos/extrínsecos calibrados para cada fotograma.

Resultados Clave

Experimentos extensos en datasets del mundo real (KITKI360, ETH3D, ScanNet++) y sintéticos (OmniScene) demuestran la superioridad de X-Lens en precisión y eficiencia:

• Rendimiento Heterogéneo: En el benchmark OmniScene-Full (6 vistas: 4 fisheye + 2 pinhole), X-Lens reduce el AbsRel en un 25.4% comparado con la base más fuerte (MapAnything) utilizando un 88.9% menos de parámetros (0.04B vs. 1.23B).
• Inferencia en Tiempo Real: X-Lens alcanza 41 FPS en vistas fisheye individuales y 22 FPS en entradas heterogéneas completas de 6 vistas en una GPU NVIDIA H100, superando significativamente a modelos más grandes en velocidad.
• Generalización: El modelo demuestra una fuerte generalización zero-shot en entornos no vistos y mantiene un rendimiento competitivo en configuraciones homogéneas de solo pinhole o solo fisheye.
• Eficiencia de Parámetros: Logra una precisión de profundidad métrica de vanguardia con solo 0.04B de parámetros, una fracción del tamaño de otros modelos de fundamentos geométricos (ej. VGGT, DepthAnything3).

Significado y Reivindicaciones

El artículo afirma que X-Lens representa un paso significativo hacia la inteligencia espacial en tiempo real para sistemas corporizados. Sus principales contribuciones son:

1. Soporte Heterogéneo Nativo: Es el primer modelo compacto que soporta nativamente entradas mixtas de fisheye y pinhole sin requerir el cosido de panoramas o volúmenes estéreo específicos de hardware.
2. Compromiso Eficiencia-Precisión: Al desacoplar la percepción de profundidad de la reconstrucción 3D completa (pose, intrínsecos, mapas de puntos) y enfocarse en la profundidad métrica y la escala, X-Lens logra un equilibrio entre alta precisión y baja latencia apto para el despliegue en el borde (edge).
3. Recurso de Datos: El lanzamiento de OmniScene proporciona un recurso crítico para entrenar y evaluar la percepción de profundidad multivista heterogénea, abordando una brecha importante en el campo.

Los autores posicionan a X-Lens no solo como un estimador de profundidad, sino como un codificador visual consciente de la geometría capaz de cerrar la brecha entre el modelado de profundidad métrica y las aplicaciones de tiempo real como la planificación robótica y la interacción. Reconocen limitaciones respecto a la dependencia de la calibración de verdad de terreno y los posibles desfases sim-to-real con configuraciones de lentes extremas y no vistas, sugiriendo trabajos futuros en agregación temporal y mayor diversidad de intrínsecos.