DeepIPCv3: Event-Aware Multi-Modal Sensor Fusion for Sudden Pedestrian Crossing Avoidance

Resumen Técnico de DeepIPCv3: Fusión de Sensores Multimodales Consciente de Eventos para la Evitación de Cruce de Peatones Repentino

Formulación del Problema
Los sistemas actuales de conducción autónoma de extremo a extremo dependen predominantemente de sensores basados en fotogramas (p. ej., cámaras RGB), los cuales sufren de una latencia de percepción inherente y desenfoque de movimiento durante encuentros altamente dinámicos, como cruces repentinos de peatones. Estas limitaciones crean una vulnerabilidad de seguridad crítica donde el tiempo de reacción del sistema queda limitado por la tasa de fotogramas fija del sensor. El problema central abordado es la necesidad de un marco de navegación que pueda mantener la conciencia estructural de la escena mientras logra respuestas de latencia ultra baja ante obstáculos dinámicos repentinos, independientemente de las condiciones de iluminación ambiental. Los sensores de visión basados en eventos (sensores de visión dinámica o DVS) ofrecen una resolución temporal de microsegundos al capturar asincrónicamente cambios en la intensidad de los píxeles, pero la integración efectiva de estos flujos de eventos dispersos y asincrónicos con nubes de puntos 3D densas de LiDAR sigue siendo un desafío de investigación abierto.

Metodología
Los autores proponen DeepIPCv3, un nuevo marco de navegación autónoma multimodal diseñado para sinergizar la geometría espacial 3D densa del LiDAR con los flujos de eventos asincrónicos de microsegundos de un DVS. La arquitectura se divide en dos canales principales:

1. Percepción y Fusión Multimodal:

   • Entradas: El sistema ingiere nubes de puntos 3D de LiDAR, flujos de eventos DVS asincrónicos (agregados en una rejilla de vóxeles espacio-temporales) y datos de estado propioceptivo (GNSS, IMU, codificadores). Se incluyen imágenes RGB-D para estudios de ablación, pero no son la entrada principal para el modelo central.
   • Backbone (Columna Vertebral): El modelo utiliza PolarNet (preentrenado en KITTI) para la segmentación de nubes de puntos LiDAR y EfficientNet-B0 como el backbone para codificadores paralelos para extraer características espaciales y temporales de alta dimensión.
   • Atención Cruzada Inspirada en Transformers: Una innovación clave es la introducción de un módulo de fusión basado en Transformers. A diferencia de la simple concatenación, este módulo emplea mecanismos de atención cruzada donde las características densas de LiDAR actúan como el ancla espacial (Query/Consulta), y las características de eventos DVS proporcionan actualizaciones dinámicas instantáneas (Key/Clave y Value/Valor). Esto permite que la red desplace dinámicamente su "atención", priorizando las actualizaciones dinámicas de alta velocidad del DVS cuando aparece un obstáculo repentino, mientras mantiene el contexto estructural del LiDAR.

2. Planificación y Control:

   • Predicción de Waypoints (Puntos de Ruta): La representación latente fusionada se pasa a través de un bucle de Unidad Recurrente de Puerta (GRU), se concatena con el estado de navegación del vehículo y se procesa mediante un Perceptrón de Capas Multicapa (MLP) para predecir una secuencia de waypoints locales.
   • Política de Control Híbrida: El sistema emplea una estrategia de control híbrida que combina el seguimiento tradicional Proporcional-Integral-Derivativo (PID) con predicciones neuronales directas. El controlador PID asegura un seguimiento de trayectoria suave y matemáticamente acotado, mientras que el MLP predice ajustes no lineales (p. ej., frenado brusco o giro pronunciado) para maniobras repentinas. El comando de control final es una combinación ponderada de ambos, con el parámetro de ponderación aprendido mediante el algoritmo de Normalización de Gradiente Modificado (MGN).

Contribuciones Clave

• Arquitectura Multimodal: La propuesta de un marco que sinergiza entradas de LiDAR y DVS, permitiendo una navegación estable punto a punto mientras mejora significativamente la capacidad de respuesta ante obstáculos dinámicos repentinos en comparación con los sistemas basados en fotogramas.
• Módulo de Fusión de Atención Cruzada: La introducción de un mecanismo de atención inspirado en Transformers que correlaciona dinámicamente la geometría espacial 3D densa con flujos de eventos asincrónicos, permitiendo la generación de políticas de conducción óptimas que desacoplan la capacidad de respuesta dinámica de la iluminación ambiental.
• Evaluación Offline Rigurosa: La creación y utilización de un conjunto de datos multimodal personalizado que presenta cruces de peatones repentinos bajo condiciones de buena iluminación (mediodía) y de iluminación degradada (tarde/noche). El marco se evalúa offline para evitar los graves riesgos físicos asociados con las pruebas en vivo de tales escenarios.

Resultados Experimentales
El marco fue evaluado offline en un conjunto de datos de 37,855 fotogramas sincronizados recolectados utilizando un robot WHILL Modelo C2 equipado con un LiDAR Velodyne HDL-32E, un DVS IniVation DAVIS346 y una cámara RGB-D Stereolabs ZED 2.

• Métricas de Desempeño: DeepICv3 logró un rendimiento predictivo de vanguardia, obteniendo el Error de Desplazamiento Promedio (ADE) más bajo para los waypoints y el Error Absoluto Medio (MAE) más bajo para los controles de dirección y crucero en comparación con bases como TransFuser, AIM-MT y LMDrive.
• Tiempo de Respuesta: El sistema demostró el menor Retraso de Tiempo de Respuesta (RTD), logrando 0.208 segundos en condiciones de mediodía y 0.211 segundos en condiciones de tarde/noche. Esto indica que el modelo ejecuta maniobras evasivas dentro de la misma ventana de 250 ms del conductor experto, eliminando efectivamente el retraso causado por el desenfoque de movimiento en los sensores basados en fotogramas.
• Estudios de Ablación: Los resultados confirmaron que la configuración LiDAR + DVS supera a LiDAR + RGB, ya que el flujo RGB introduce datos conflictivos y borrosos durante eventos de alta velocidad. Además, el módulo de fusión basado en Transformers demostró ser superior a los métodos de fusión estática, ya que suprime adaptativamente las características estáticas para maximizar el peso de los flujos de eventos dinámicos durante momentos críticos.
• Comportamiento Cualitativo: En condiciones de mediodía, el sistema ejecutó maniobras evasivas de dirección reactivas. En condiciones de tarde/noche, donde la visibilidad era baja, el sistema priorizó la seguridad ejecutando maniobras de frenado total, demostando comportamientos reactivos contextualmente apropiados.

Significancia y Reivindicaciones
El artículo afirma que DeepICv3 aborda una vulnerabilidad de seguridad crítica en la conducción autónoma al reducir fundamentalmente la latencia de percepción desde la raíz sensorial en lugar de depender de anulaciones de control post-percepción. Al eliminar eficazmente los fallos de exposición y el desenfoque de movimiento mediante la fusión LiDAR-DVS, el sistema propuesto permite maniobras evasivas altamente reactivas y matemáticamente acotadas independientemente de la iluminación ambiental. Los autores sostienen que el retraso temporal casi nulo entre la acción del experto y la predicción del modelo es una propiedad emergente de la arquitectura de fusión de sensores, lograda al priorizar los flujos de eventos de baja latencia para replicar maniobras evasivas rápidas antes de que ocurra el desenfoque de movimiento por fotogramas. El trabajo concluye que, si bien la validación offline es robusta, el trabajo futuro debe centrarse en cerrar la brecha hacia el despliegue físico seguro mediante la simulación de alta fidelidad y la optimización del computación en el borde (edge computing).