Resumen Técnico: EventDrive

Planteamiento del Problema

Las cámaras de eventos ofrecen una precisión temporal de microsegundos, un alto rango dinámico y robustez ante el desenfoque de movimiento, lo que las hace teóricamente ideales para la conducción autónoma en condiciones desafiantes (p. ej., poca luz, movimiento rápido). Sin embargo, la investigación actual basada en eventos sigue fragmentada, centrándose principalmente en tareas supervisadas de bajo nivel como la detección, la segmentación o la estimación del flujo óptico. Existe una brecha significativa en la utilización de la detección de eventos para el razonamiento de alto nivel, la toma de decisiones y el ciclo completo de conducción. Mientras que la comunidad de RGB ha avanzado en modelos de visión-lenguaje unificados (VLMs) que acoplan percepción, razonamiento y control, los primeros intentos de incorporar eventos en los VLMs se han limitado a escenas genéricas y descripciones simples, fallando al abordar las demandas compleas de razonamiento y decisión de la conducción en el mundo real.

Metodología

1. EventDrive: Un Benchmark Unificado

Los autores presentan EventDrive, el primer benchmark de pila completa que integra flujos de eventos, fotogramas RGB sincronizados y supervisión de lenguaje a través de todo el pipeline de conducción autónoma. El benchmark descompone la conducción en cuatro etapas de razonamiento secuenciales, cada una formulada como tareas fundamentadas en el lenguaje:

• Percepción: Evalúa el contexto a nivel de escena (tipo de escena, visibilidad, flujo de tráfico, clima, semáforos, condiciones de la carretera).
• Comprensión: Evalúa la semántica centrada en objetos (presencia, apariencia, estado de movimiento, relaciones ego/entorno, fundamentación/grounding).
• Predicción: Infiere la intención de movimiento a corto plazo (velocidad y dirección) de los agentes circundantes.
• Planificación: Estima la intención del vehículo propio (ego-vehicle) y los puntos de ruta futuros basados en trayectorias pasadas.

Construcción del Conjunto de Datos:
EventDrive agrega 471,543 muestras de evento–fotograma–lenguaje de tres conjuntos de datos de origen: DSEC, M3ED y PKU-DAVIS-SOD. Los autores emplean un pipeline semiautomático utilizando Qwen3-VL para generar descripciones estructuradas y convertirlas en diversos pares de preguntas-respuestas de opción múltiple, tareas de fundamentación y pronósticos de trayectoria. Se ha curado específicamente una división "Hard" (difícil) para incluir secuencias con poca luz y desenfoque de movimiento para probar rigurosamente las ventajas de la detección de eventos.

2. EventDrive-VLM: Un Modelo Unificado

Para aprovechar este benchmark, los autores proponen EventDrive-VLM, un VLM impulsado por eventos diseñado para interpretar y razonar sobre datos de eventos asíncronos. La arquitectura aborda dos desafíos principales:

• Codificador de Eventos de Horizonte Dinámico: Los flujos de eventos varían ampliamente en densidad temporal. El modelo emplea una estrategia de Voxelización de Multi-Horizonte, creando tensores de eventos en múltiples resoluciones temporales ($B = \{20, 50, 100\}$ bins). Un mecanismo de compuerta de Mezcla de Expertos (MoE) selecciona dinámicamente el horizonte temporal más informativo para una escena dada, permitiendo al modelo capturar la dinámica de alta frecuencia durante movimientos rápidos mientras asegura una agregación estable en regímenes de poco movimiento.
• Alineación de Event Q-Former: Para cerrar la brecha entre las características dispersas de los eventos y el espacio semántico del LLM, el modelo utiliza un Event Q-Former. En lugar de concatenar tokens, emplea atención cruzada entre consultas de eventos aprendibles y las características agregadas de los eventos. Esto extrae tokens conscientes del movimiento y alineados con el lenguaje que se integran limpiamente con las incrustaciones (embeddings) de fotogramas y texto.
• Curriculum de Entrenamiento de Dos Etapas:
  1. Pre-adaptación Evento-Lenguaje: El LLM y el codificador visual RGB permanecen congelados. El codificador de eventos, el Q-Former y las capas de proyección se entrenan con datos de descripción para alinear las representaciones de eventos con el espacio del LLM.
  2. Ajuste de Instrucciones (Instruction Tuning): Los bloques del transformador del LLM se descongelan, y toda la vía de eventos se ajusta finamente con todos los datos de descripción y QA para permitir un razonamiento multimodal coherente en todas las tareas de conducción.

Contribuciones Clave

1. Benchmark EventDrive: El primer conjunto de datos y benchmark unificado para la conducción autónoma que cubre percepción, comprensión, predicción y planificación dentro de un marco multimodal consistente (evento-fotograma-lenguaje).
2. EventDrive-VLM: Un marco de entrenamiento general que dota a los grandes VLMs de la capacidad de interpretar, alinear y razonar sobre representaciones de eventos asíncronos mediante la codificación de horizonte dinámico y la alineación basada en consultas.
3. Protocolo de Evaluación Exhaustivo: Una evaluación rigurosa que demuestra cómo las pistas temporales mejoran el razonamiento multimodal, estableciendo una base para la inteligencia impulsada por eventos.

Resultados Experimentales

Los experimentos en EventDrive revelan distintas fortalezas de las modalidades y la necesidad de la fusión:

• Modelos de Solo Fotogramas (Frame-Only): Funcionan bien en la percepción bajo condiciones normales, pero se degradan drásticamente en escenarios de poca luz y desenfoque de movimiento. Muestran un razonamiento espacial limitado y una débil inferencia de movimiento (p. ej., baja precisión en la predicción de velocidad/dirección).
• Modelos de Solo Eventos (Event-Only): Sobresalen en la predicción de velocidad y dirección debido a las pistas temporales de alta frecuencia, pero carecen de la riqueza semántica requerida para la comprensión basada en la apariencia (p. ej., tipo de escena, apariencia de objetos).
• EventDrive-VLM (Fusión): El modelo de fusión evento-fotograma alcanza un rendimiento de estado del arte en todas las familias de tareas. Estabiliza la percepción en condiciones adversas, mejora significativamente la fundamentación y el razonamiento relacional, y ofrece una predicción de movimiento y estimación de la intención del vehículo propio superiores en comparación con las líneas base de una sola modalidad.
• Rendimiento en la División "Hard": En subconjuntos desafiantes (poca luz, desenfoque intenso), el modelo fusionado mantiene un rendimiento robusto, mientras que los modelos de solo fotogramas sufren caídas significativas en la fundamentación y el razonamiento espacial, y los modelos de solo eventos tienen dificultades con las tareas semánticas.

Significancia

El artículo sostiene que EventDrive y EventDrive-VLM demuestran que la detección de eventos no es simplemente un sensor auxiliar, sino una modalidad crítica para una conducción inteligente y confiable. Al integrar pistas de eventos asíncronos con fotogramas RGB y lenguaje, el marco permite una percepción y toma de decisiones robustas en escenarios donde los sensores convencionales fallan. Este trabajo cierra la brecha entre la detección de eventos de bajo nivel y el razonamiento de conducción autónoma de alto nivel, proporcionando un camino escalable hacia sistemas autónomos más seguros, interpretables y robustos. Los autores enfatizan que la integración de las modalidades temporal y espacial produce un razonamiento más confiable que cualquiera de las dos modalidades por separado, particularmente en entornos dinámicos y adversos.