VALISENS: A Validated Innovative Multi-Sensor System for Cooperative Automated Driving

Resumen Técnico: VALISENS – Un Sistema Multisensor Innovador y Validado para la Conducción Automatizada Cooperativa

Planteamiento del Problema
La percepción fiable sigue siendo un cuello de botella crítico para los Vehículos Conectados y Automatizados (CAV) que operan en entornos complejos del mundo real. Aunque las soluciones multisensoriales existentes mejoran la robustez local, están fundamentalmente limitadas por alcances de detección restringidos, oclusiones de línea de visión causadas por otros objetos y el potencial de fallos en sensores individuales. Además, las condiciones meteorológicas adversas y las variaciones en la iluminación pueden degradar significativamente el rendimiento de los sensores ópticos. El artículo aborda la necesidad de extender las capacidades de percepción más allá del vehículo individual mediante la colaboración Vehículo-a-Todo (V2X) entre los CAV y la infraestructura inteligente, con el objetivo de crear una red de sensores dinámica y descentralizada que mitigue las oclusiones y mejore la conciencia situacional, particularmente para los Usuarios de la Vía Vulnerables (VRU).

Metodología y Arquitectura del Sistema
Los autores proponen VALISENS, un sistema de percepción cooperativa validado que integra sensores a bordo y de carretera dentro de un marco unificado de agentes múltiples. La arquitectura del sistema es modular, separando la percepción por modalidad de sensor antes de fusionar los datos en dos niveles distintos:

1. Despliegue de Hardware:

   • Infraestructura: Se utilizaron dos bancos de pruebas. El sitio principal en Dresde cuenta con seis cámaras (incluyendo térmica y RGB), un LiDAR de 64 capas y un radar MIMO de 4x4. Un segundo sitio en Ingolstadt incluye 22 mástiles de sensores. También se empleó una plataforma móvil "Rover", equipada con sensores RGB, térmicos y LiDAR.
   • Vehículos: Se utilizaron dos vehículos de prueba. El Vehículo Uno utilizó una configuración de cámara dual (Seek infrarroja y Basler RGB), dos LiDARs Velodyne VLP-16 montados en el techo y seis LiDARs IBEO Scala. El Vehículo Dos contaba con un LiDAR InnovizOne y un sistema de navegación inercial DTC xNAV650. Ambos vehículos utilizaron Unidades de a Bordo (OBU) Cohda MK6 para la comunicación V2X.
   • Sensores: El sistema fusiona LiDAR, radar, cámaras RGB y cámaras térmicas. Las cámaras térmicas se destacan específicamente por mejorar la detección de VRU bajo condiciones de iluminación desafiantes.

2. Estrategia de Percepción y Fusión:

   • Procesamiento de Modalidad: Los datos LiDAR se procesan mediante un algoritmo basado en IA para la detección y el seguimiento en 3D. Los datos de radar se fusionan en una Vista de Ojo de Pájaro (BEV) y se post-procesan para reconstruir las coordenadas 3D. Los datos RGB y térmicos se procesan de forma independiente utilizando el marco YOLO y se fusionan mediante una estrategia de fusión tardía utilizando Supresión de No Máximos (NMS) y ByteTrack para el seguimiento de objetos.
   • Fusión Intra-Entidad: Dentro de una sola plataforma (vehículo o infraestructura), un enfoque de fusión tardía agrega información a nivel de objeto. Un algoritmo de fusión de seguimiento a seguimiento alinea los datos espacial y temporalmente (usando modelos de velocidad constante), asocia detecciones entre modalidades utilizando la distancia Euclídea e Intersección sobre Unión (IoU), y los fusiona utilizando un filtro de Kalman adaptado.
   • Fusión Inter-Entidad: Para permitir la cooperación, el sistema utiliza el estándar de Mensaje de Percepción Colectiva (CPM) definido por ETSI. Los resultados de la percepción se transmiten vía V2X. Las entidades receptoras transforman los datos en sus marcos de coordenadas locales, los alinean y los fusionan con las observaciones locales utilizando el mismo flujo de trabajo de seguimiento a seguimiento.

3. Monitoreo de la Condición del Sensor:

   • Un módulo dedicado evalúa la salud del sensor para detectar anomalías antes de la degradación del sistema. El sistema se centra en la detección de fallos permanentes y no permanentes, incluyendo clima adverso, bloqueo de lentes (suciedad, hielo, niebla) y defectos internos del generador de imágenes.
   • Un clasificador entrenado con imágenes de cámara en bruto (combinando grabaciones de pruebas de fiabilidad y conjuntos de datos públicos) predice las clases de fallos. La arquitectura ConvNeXt fue seleccionada como el modelo óptimo, logrando una alta precisión en la detección de anomalías.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Despliegue en el Mundo Real: El diseño, implementación y despliegue de un sistema de percepción cooperativa en un banco de pruebas del mundo real que involucra dos CAV y dos unidades de infraestructura.
2. Evaluación Exhaustiva: Evaluación cuantitativa y cualitativa utilizando tanto conjuntos de datos públicos (R-LiViT, V2X-Seq) como experimentos en el mundo real, demostrando los beneficios específicos de incorporar cámaras térmicas y sensores de carretera.
3. Validación de Monitoreo y Comunicación: Validación del módulo integrado de monitoreo de sensores y de la pila de comunicación V2X en un entorno real, confirmando la viabilidad de la detección temprana de anomalías y el intercambio fiable de datos.

Resultados Experimentales

• Rendimiento de la Percepción:
  • Conjuntos de Datos Públicos: En el conjunto de datos R-LiViT, la fusión RGB-Térmica mejoró la Precisión Media (AP50) de peatones nocturnos del 49.85% al 53.26%. En el conjunto de datos V2X-Seq-SPD, la fusión inter-entidad aumentó la AP50 de peatones en aproximadamente un 30% en comparación con la detección solo del vehículo (alcanzando el 30.86).
  • Experimentos en el Mundo Real: En el banco de pruebas dedicado, la fusión inter-entidad logró una AP50 de peatones de 65.75 con un recall promedio de 97.60%. El sistema mejoró la conciencia situacional de peatones hasta en un 18% en comparación con la detección solo del vehículo.
• Monitoreo de Sensores: El módulo de monitoreo de sensores logró más del 97% de precisión en la detección de anomalías, con el modelo ConvNeXt demostrando un F1-macro de 0.981.
• Comunicación: Las pruebas de comunicación V2X mostraron un rango máximo superior a 1 km bajo condiciones de línea de visión. El retardo de una vía se midió en un máximo de 5.0 ms. Las tasas de datos para los CPM fueron eficientes, con un máximo de 33 kB/s incluso con frecuencias de actualización de 10 Hz.

Significancia y Reivindicaciones
El artículo afirma que VALISENS demuestra la efectividad de extender la fusión multisensorial más allá de un solo vehículo mediante la colaboración habilitada por V2X. Al integrar cámaras térmicas y sensores de carretera, el sistema reduce significamente las oclusiones y expande el rango de percepción efectivo, contribuyendo directamente a mejorar la seguridad de los VRU. La validación exitosa del módulo de monitoreo de sensores destaca un camino hacia Sistemas de Transporte Inteligentes Cooperativos (C-ITS) más resilientes, capaces de autodiagnóstico y de mantener la fiabilidad ante la degradación de los sensores o desafíos ambientales. Los autores posicionan este trabajo como un paso para apoyar futuras aplicaciones de C-ITS, estableciendo una red de sensores dinámica y descentralizada que ofrece una comprensión integral y continuamente actualizada del entorno circundante.