Multi-View In-Cabin Monitoring System for Public Transport Vehicles

Este artículo presenta un conjunto de datos de monitoreo multicámara en el interior de vehículos de transporte público, que cuenta con imágenes RGB y de profundidad sincronizadas con anotaciones 3D, junto con un proceso de calibración y herramientas de evaluación para medir modelos de detección 3D multivista.

Lo esencial

Imagina un autobús urbano concurrido como una sala de estar en movimiento y llena de gente. Normalmente, si quisieras saber exactamente dónde está sentado, de pie o moviéndose cada persona en esa habitación, necesitarías un equipo de personas con portapapeles observando desde todos los ángulos. Pero en el mundo de los autobuses autónomos, necesitamos que las computadoras hagan este trabajo de forma automática.

Este artículo presenta una nueva "escuela de entrenamiento" para esos cerebros computacionales. Aquí tienes el desglose de lo que los investigadores construyeron y cómo lo hicieron, utilizando comparaciones sencillas:

1. El Problema: El Autobús con "Punto Ciego"

La mayoría de la tecnología de conducción autónoma es como un coche con ojos mirando hacia afuera de la ventana para ver la carretera. Pero, ¿qué pasa con lo que ocurre dentante del autobús?

• El Desafío: Dentro de un autobús, las personas se bloquean entre sí (oclusión), los asientos son reflectantes y las cámaras a menudo solo ven una pequeña porción de la habitación. Si solo tienes una cámara, es como intentar entender una película completa viendo solo un fotograma desde un único asiento. Te pierdes la mitad de la acción.
• La Brecha: No existía un buen "libro de texto" (conjunto de datos) con suficientes ejemplos de personas dentro de un autobús, vistas desde múltiples ángulos, para enseñar a las computadoras a ver con claridad.

2. La Solución: Un "Autobús Inteligente" con Supervisión

El equipo construyó un autobús urbano especial y digitalizado en Alemania, equipado con un sistema de "supervisión".

• Los Ojos: Instalaron cuatro cámaras orientadas hacia el interior (como guardias de seguridad parados en las esquinas de la habitación) y un escáner láser giratorio (LiDAR) que actúa como un murciélago usando la ecolocalización para mapear la habitación en 3D.
• Los Datos: Grabaron más de 9,000 momentos sincronizados donde estos sensores trabajaron juntos. Es como tener una película en 4D donde puedes ver la habitación desde cuatro ángulos a la vez, además de un mapa de profundidad 3D.

3. El Truco de Magia: Enseñando a la Computadora a "Ver" Sin un Profesor

Normalmente, para enseñar a una computadora a reconocer a una persona, los humanos tienen que dibujar recuadros alrededor de ellos en miles de fotos. Eso toma una eternidad.

• El Flujo de Trabajo (Pipeline): En lugar de dibujar cada uno de los recuadros a mano, los investigadores crearon un flujo de trabajo de "asistente robótico":
  1. El Detective: Utilizaron una IA para encontrar personas en el video.
  2. El Escultor 3D: Utilizaron otra IA para adivinar la forma 3D del cuerpo de la persona basándose solo en las imágenes de la cámara en 2D.
  3. El Árbitro: Dado que cuatro cámaras podrían ver a la misma persona de cuatro maneras ligeramente diferentes, construyeron un sistema para actuar como árbitro. Este toma las cuatro distintas suposiciones, las compara y elige la posición 3D "promedio" más precisa.
  4. El Resultado: Terminaron con un conjunto de datos donde cada persona tiene un "esqueleto" 3D preciso y un recuadro 3D a su alrededor, todo generado automáticamente con muy poca ayuda humana.

4. La Prueba: ¿Pueden Aprender las Computadoras?

Los investigadores no solo crearon los datos; también probaron si los cerebros computacionales existentes podían aprender de ellos.

• El Examen: Tomaron modelos de IA famosos (como "Lift-Splat-Shoot" y "BEVFusion") e intentaron enseñarles a detectar personas en este autobús utilizando los nuevos datos.
• La Calificación: Los modelos hicieron un trabajo decente, especialmente cuando se les permitió un pequeño margen de error. Sin embargo, la prueba también demostró que mirar una sola vista de cámara es arriesgado (perdiendo entre el 19% y el 60% de las personas dependiendo del ángulo), lo que demuestra que realmente necesitas múltiples cámaras para obtener una imagen completa.

5. ¿Qué hay en la Caja?

Los investigadores están entregando todo este paquete de forma gratuita para otros científicos. Incluye:

• El video y los datos del láser.
• Las herramientas del "asistente robótico" para generar etiquetas 3D.
• Un formato que se ajusta al software estándar de conducción autónoma (formato nuScenes).

Resumen

Piensa en este artículo como la construcción de un gimnasio de entrenamiento de alta tecnología para autobuses autónomos. Antes, los autobuses intentaban aprender a ver dentro de la cabina con un solo ojo borroso. Ahora, tienen un gimnasio con cuatro cámaras de alta definición, un escáner láser 3D y una serie de pruebas de práctica "perfectamente calificadas" (el conjunto de datos) para aprender a rastrear pasajeros, incluso cuando están escondidos detrás de los asientos o amontonados.

Lo que explícitamente NO hicieron:
El artículo se centra estrictamente en la detección de dónde están las personas y qué están haciendo (sentadas, de pie, caminando). No probaron este sistema en autobuses reales en movimiento en medio del tráfico, ni afirmaron que pueda resolver emergencias médicas o reemplazar a los conductores humanos todavía. Es una herramienta fundamental para la investigación futura.

Resumen técnico

Resumen Técnico: Sistema de Monitoreo de Cabina Multi-Vista para Vehículos de Transporte Público

Planteamiento del Problema
Si bien la conducción autónoma ha avanzado significativamente en la percepción externa, la comprensión del interior de los vehículos —específicamente en el transporte público— sigue estando poco desarrollada. El monitoreo dentro de la cabina es crítico para el conteo de ocupantes, la localización, la asistencia de accesibilidad y la seguridad (por ejemplo, la detección de agresiones o vandalismo). Sin embargo, las soluciones existentes enfrentan un cuello de botella de datos: los conjuntos de datos actuales de cabina suelen ser limitados en escala, dependen de vistas de cámara única y carecen de la sincronización multimodal requerida para manejar las severas oclusiones, el hacinamiento y las superficies reflectantes comunes en los interiores de los autobuses. Además, la calibración de múltiples sensores es un desafío en los autobuses porque las cámaras orientadas hacia el interior tienen un solapamiento mínimo de campo de visión, lo que dificulta la aplicación de las técnicas de calibración estándar.

Metodología
Los autores presentan un pipeline integral para la captura, calibración y anotación de un conjunto de datos de cabina multi-vista digitalizado de un autobús urbano alemán.

1. Adquisición de Datos:

   • Sensores: La configuración utiliza cuatro cámaras Intel RealSense D435i orientadas hacia el interior (que proporcionan RGB y profundidad estéreo) y un LiDAR rotativo Ouster OS0-128.
   • Sincronización: Las cámaras funcionan a 15 Hz y el LiDAR a 10 Hz. Los datos se sincronizan mediante marcas de tiempo, emparejando cada fotograma del LiDAR con los fotogramas de cámara temporalmente más cercanos.
   • Contenido: El conjunto de datos captura de 1 a 2 ocupantes realizando diversas actividades (sentarse, estar de pie, caminar, beber, fumar) y eventos críticos de seguridad (vandalismo, peleas, entrada de sillas de ruedas).

2. Calibración de Sensores:

   • Extrínsecos: Debido al limitado solapamiento de las cámaras, los autores emplean un proceso de calibración de dos etapas. Primero, reconstruyen la geometría de la cabina utilizando COLMAP (Estructura desde el Movimiento y Estereovisión Multi-Vista) basado en marcadores ArUco dispersos.
   • Alineación Métrica: La reconstrucción se escala y orienta utilizando un tamaño de marcador conocido y un "marcador de origen" específico colocado en la línea central del vehículo para establecer un marco métrico alineado con el suelo.
   • Alineación de LiDAR: La nube de puntos del LiDAR se registra a la reconstrucción de COLMAP utilizando el Algoritmo de el Más Cercano Iterativo (ICP), logrando un Error Cuadrático Medio (RMSE) de 0.0071 m.

3. Pipeline de Pseudo-Etiquetado:

   • Detección 2D: Un detector 2D identifica candidatos a personas, seguido de un filtrado manual para eliminar falsos positivos (por ejemplo, carteles).
   • Estimación de Pose 3D: El pipeline utiliza SAM 3 Body 3D para generar mallas humanas 3D y esqueletos a partir de las detecciones 2D y las intrínsecas conocidas de la cámara.
   • Agregación Multi-Vista: Para resolver las discrepancias entre vistas (que pueden diferir hasta aproximadamente ~1 m), los autores implementan una agregación de tres pasos:
     1. Clustering restringido por cámara: Agrupa las hipótesis de pose asegurando que no dos detecciones de la misma cámara entren en el mismo cluster.
     2. Selección de pose mediana: Selecciona la hipótesis más cercana al centroide del cluster para reducir el impacto de los valores atípicos (outliers).
     3. Refinamiento: Optimiza la traslación global de la pose seleccionada para minimizar el error de reproyección multi-vista utilizando el algoritmo Nelder–Mead.
   • Cajas Delimitadoras 3D (Bounding Boxes): Las cajas delimitadoras 3D orientadas se derivan de las mallas 3D refinadas, definidas por centro, dimensiones y ángulo de guiñada (yaw) relativo a la rotación de la cadera del sujeto.

4. Formato del Conjunto de Datos:

   • El conjunto de datos final se convierte al formato nuScenes, facilitando la compatibilidad con las bases de código de percepción de conducción autónoma existentes.

Contribuciones Clave

• Conjunto de Datos: Un conjunto de datos multi-vista y multi-modal (RGB, profundidad, LiDAR) de cabina que contiene 9,136 muestras sincronizadas con anotaciones de pose humana 3D y cajas delimitadoras 3D orientadas. Es el primer conjunto de datos de este tipo disponible públicamente con anotaciones de pose 3D.
• Pipeline: Un pipeline práctico de calibración y pseudo-etiquetado capaz de generar anotaciones 3D de alta calidad en un entorno desafiante de múltiples vistas con bajo solapamiento.
• Benchmark: Resultados de referencia para modelos de detección 3D multi-vista de última generación (Lift-Splat-Shoot, BEVFusion) sobre datos de cabina.

Resultados Experimentales
Los autores evaluaron varios modelos en una división de entrenamiento/validación de 7,128/2,008:

• Modelos Solo Cámara: Los modelos Lift-Splat-Shoot (LSS) con backbones ResNet-50 y SwinT lograron un rendimiento sólido, alcanzando una Precisión Promedio (AP) a 0.5m de 0.9630 (ResNet) y 0.7563 (SwinT).
• Modelos Multi-modales: BEVFusion (fusionando LiDAR y cámaras) funcionó peor (AP@0.5m: 0.7337) que las variantes de LSS solo de cámara. Los autores atribuyen esto a la fuerte dependencia del modelo en el LiDAR, que es menos efectivo en el entorno interior restringido y disperso en comparación con las características densas de la cámara.
• Análisis de Vistas: Las tasas de omisión de detección de vista única variaron desde 18.78% (Frontal Izquierda) hasta 60.69% (Central Izquierda), demostrando que la fusión multi-vista es esencial para una percepción robusta en la cabina.

Significancia y Reivindicaciones
El artículo posiciona este trabajo como un paso fundacional hacia una percepción robusta de la cabina para el transporte público. Los autores afirman que:

1. Se Aborda la Escasez de Datos: El conjunto de datos llena un vacío crítico al proporcionar un recurso multi-modal a gran escala diseñado específicamente para la geometría desafiante de los interiores de los vehículos.
2. Viabilidad de la Calibración: El pipeline de calibración propuesto maneja con éxito las restricciones de bajo solapamiento de las cámaras orientadas hacia el interior, permitiendo una reconstrucción 3D métricamente consistente.
3. Utilidad de Benchmarking: La conversión al formato nuScenes y los resultados de referencia proporcionan un banco de pruebas estandarizado para futuras investigaciones en percepción multi-vista de cabinas.
4. Limitaciones Moderadas: Los autores reconocen que, aunque el pipeline es efectivo, no está libre de fallos; pueden ocurrir fusiones o divisiones de identidad bajo oclusión severa, y el ruido de etiquetas persiste en umbrales de detección estrictos. Señalan que el conjunto de datos está actualmente limitado a un solo tipo de vehículo y escenarios estacionarios, sugiriendo que el trabajo futuro debería centrarse en aumentar la diversidad y la generalización.