InCaRPose: In-Cabin Relative Camera Pose Estimation Model and Dataset

1. Problema y Contexto

La estimación precisa de la pose relativa de la cámara es fundamental para aplicaciones de visión por computadora como SLAM, realidad aumentada y reconstrucción 3D. Sin embargo, en el entorno específico de monitorización dentro de la cabina de vehículos (ICAM), existen desafíos únicos:

• Entornos distorsionados: Las cámaras suelen utilizar lentes gran angular o fisheye para cubrir todo el interior, lo que introduce distorsiones geométricas severas.
• Inestabilidad mecánica: Las cámaras montadas en espejos retrovisores (una ubicación preferida) son ajustables por los conductores, lo que cambia constantemente los parámetros extrínsecos de la cámara.
• Requisitos de seguridad: Aplicaciones críticas como la estimación de la mirada del conductor o la activación de airbags (que deben decidir en 15-50 ms) requieren conocimiento espacial métrico preciso (distancias reales en metros), no solo direcciones.
• Limitaciones actuales: Los métodos clásicos (basados en características geométricas) fallan bajo oclusiones o distorsiones fuertes. Los métodos de aprendizaje profundo existentes a menudo requieren grandes conjuntos de datos, no generalizan bien a nuevas cámaras o vehículos, y no recuperan la escala métrica absoluta en un solo paso.

2. Metodología: InCaRPose

El authors proponen InCaRPose, una arquitectura basada en Transformers diseñada para predecir la pose relativa entre un par de imágenes (una vista de referencia y una vista objetivo) de manera robusta y eficiente.

• Arquitectura:

  • Backbone Congelado: Utiliza características de modelos Vision Transformer (ViT) preentrenados de forma auto-supervisada (como DINOv3 o DINOv2) que permanecen congelados durante el entrenamiento. Esto permite aprovechar representaciones de características robustas y transferibles sin necesidad de grandes volúmenes de datos.
  • Decoder Transformer: Un decodificador basado en cross-attention procesa las características de ambas vistas (referencia y objetivo) para capturar las relaciones geométricas espaciales. Incorpora RoPE (Rotary Positional Embeddings) bidimensionales para manejar la sensibilidad espacial sin tokens de posición aprendidos.
  • Cabeza de Predicción: Un MLP (Perceptrón Multicapa) ligero y compacto regresa la pose relativa (rotación y traslación).
  • Entrenamiento Eficiente: Solo se entrenan el decodificador y la cabeza de predicción, manteniendo el backbone fijo. Esto asegura que las características finas no se degraden y mejora la generalización de dominio (de sintético a real).

• Formulación del Problema:

  • Se reformula la estimación de pose como pose relativa respecto a una referencia. En lugar de estimar la pose absoluta en el sistema de coordenadas del vehículo (que varía entre modelos), el modelo estima la transformación $T_{rel}$ tal que $T_{v2} = T_{v1} \cdot T_{rel}$. Esto hace que el modelo sea agnóstico al vehículo.
  • Salida Métrica: A diferencia de muchos métodos que solo predicen la dirección de la traslación, InCaRPose predice la traslación en unidades métricas absolutas (metros) dentro del rango físico plausible de los soportes de cámaras en cabinas.

• Manejo de Datos:

  • Entrenamiento Sintético: El modelo se entrena exclusivamente en un conjunto de datos sintético generado en Blender (con 8 vehículos diferentes), lo que permite un control total sobre las oclusiones y la distorsión.
  • Sin Desdistorsión: El modelo procesa imágenes fisheye distorsionadas de extremo a extremo, evitando la pérdida de información en los bordes que ocurre al desdistorsionar las imágenes.
  • Representaciones de Salida: Se evalúan varias representaciones de rotación (vectores de rotación, ángulos de Euler, cuaterniones, matrices de rotación). Los resultados indican que el uso de cuaterniones junto con una pérdida específica para poses basada en cuaterniones ofrece el mejor rendimiento.

3. Contribuciones Clave

1. Nuevo Dataset de Prueba (In-Cabin-Pose): Publican un conjunto de datos de prueba del mundo real con imágenes fisheye NIR (infrarrojo cercano) altamente distorsionadas y ground truth métrico, diseñado específicamente para evaluar la estimación de pose en cabinas.
2. Formulación Agnóstica al Vehículo: Al reformular el problema como una predicción de pose relativa a una vista de referencia, evitan la necesidad de reentrenar el modelo para cada configuración específica de vehículo.
3. Manejo Robusto de Fisheye sin Desdistorsión: El modelo opera directamente sobre imágenes distorsionadas y recupera la traslación en metros, algo crítico para aplicaciones de seguridad.
4. Capacidad de Transferencia Sintético-a-Real: Demuestran que entrenar con un conjunto sintético limitado (~6,500 pares de imágenes) es suficiente para lograr una generalización robusta a entornos reales de cabinas y a otros datasets públicos (7-Scenes, Cambridge Landmarks).
5. Rendimiento en Tiempo Real: La arquitectura es lo suficientemente ligera para ejecutarse en tiempo real (>45 FPS, llegando a ~70 FPS con backbones más pequeños) en hardware de consumo (GPU RTX 4090), cumpliendo con los requisitos de latencia de los sistemas de seguridad automotriz.

4. Resultados Experimentales

• En Dataset In-Cabin-Pose:
  • La configuración InCaRPoseLarge224 logra un error mediano de traslación de 0.07 m y un error de rotación de 2.75°.
  • Supera significativamente a los métodos clásicos (como SIFT + RANSAC) en la recuperación de la escala métrica absoluta.
  • Supera o iguala a modelos grandes entrenados a gran escala (como Reloc3r) en precisión de rotación, aunque Reloc3r (entrenado con datos masivos) tiene buena precisión direccional, pero no métrica.
• En Datos Públicos (7-Scenes y Cambridge Landmarks):
  • El modelo muestra una generalización competitiva en entornos interiores (7-Scenes), logrando una mejora del 65% en el error medio de rotación frente a Reloc3r.
  • En datos exteriores (Cambridge Landmarks), el rendimiento disminuye ligeramente debido a la mayor complejidad y variabilidad de escala, pero sigue siendo competitivo, especialmente en escenarios con alta recurrencia de características.
• Eficiencia: El uso de un backbone congelado permite un entrenamiento rápido y una inferencia eficiente, ideal para la implementación en el borde (edge deployment).

5. Significado e Impacto

InCaRPose aborda una brecha crítica en la percepción automotriz: la necesidad de una calibración extrínseca precisa y dinámica en entornos interiores complejos y distorsionados.

• Seguridad: Al proporcionar estimaciones de pose métricas precisas en tiempo real, habilita aplicaciones de seguridad crítica como la activación inteligente de airbags (basada en la posición del ocupante) y la supervisión del conductor para vehículos autónomos.
• Eficiencia de Datos: Demuestra que no se necesitan millones de imágenes reales para entrenar modelos de pose robustos si se utilizan características preentrenadas de alta calidad y una formulación de problema adecuada.
• Viabilidad Industrial: La capacidad de funcionar sin desdistorsión, sin marcadores en la imagen de prueba y con baja latencia lo hace listo para su implementación en sistemas de producción de vehículos.

En resumen, el trabajo presenta una solución práctica y de alto rendimiento para un problema de visión por computadora difícil, combinando arquitecturas modernas de Transformers con una ingeniería de datos inteligente para superar las limitaciones de los métodos tradicionales en el contexto de la monitorización de cabinas.