Temporal Misalignment Attacks against Multimodal Perception in Autonomous Driving

Este artículo presenta DejaVu, un ataque que explota la sincronización temporal en sistemas de fusión multimodal para vehículos autónomos, demostrando que retrasos sutiles en las señales de LiDAR o cámaras pueden degradar drásticamente la detección y el seguimiento de objetos, provocando fallos críticos como colisiones o frenadas fantasma.

Lo esencial

Imagina que un coche autónomo es como un conductor muy inteligente que tiene dos ojos principales: una cámara (que ve colores y formas, como nosotros) y un LIDAR (un escáner láser que mide distancias con precisión milimétrica, como un murciélago que usa ecolocalización).

Para conducir de forma segura, el cerebro del coche debe unir lo que ve la cámara con lo que mide el láser en el mismo instante exacto. Si la cámara ve un peatón cruzando la calle y el láser mide su distancia al mismo tiempo, el coche sabe: "¡Frena!".

El problema que descubren en este paper es que los hackers pueden engañar al cerebro del coche no cambiando lo que los ojos ven, sino alterando el reloj con el que el coche decide cuándo mirar.

Aquí tienes la explicación de la investigación, llamada DEJAVU, explicada de forma sencilla:

1. El Problema: "El Efecto Deja Vu"

Imagina que estás bailando con un amigo. Tú llevas el ritmo con tus pies (la cámara) y tu amigo con sus manos (el láser). Si ambos están sincronizados, bailan perfecto. Pero, ¿qué pasa si alguien le susurra a tu amigo: "¡Mueve la mano 3 segundos antes de lo que realmente pasa!"?

De repente, tu amigo mueve la mano cuando tú aún estás quieto. El baile se vuelve un desastre. El coche hace lo mismo: si el láser le dice "hay un obstáculo aquí" pero la cámara le dice "aquí no hay nada" (porque la cámara está viendo el momento actual y el láser está viendo el momento pasado), el coche se confunde.

El ataque DEJAVU es como un hacker que entra al sistema de comunicación del coche y le dice a los sensores: "Oye, este dato que acabo de tomar, ponle la fecha de hace 5 segundos".

2. ¿Cómo lo hacen? (El Truco del Reloj)

Los coches modernos usan una red de comunicación muy rápida (como una autopista de datos) donde todos los sensores deben tener el mismo reloj maestro.

• El ataque: El hacker no necesita romper el coche ni cambiar los sensores. Solo necesita entrar a la red (por ejemplo, a través de un puerto de diagnóstico o una actualización de software insegura) y manipular el reloj.
• El resultado: El hacker envía datos reales (el coche ve un camión de verdad), pero les pone una "etiqueta de tiempo" falsa. El coche fusiona (une) una foto de la cámara de ahora con un escaneo láser de hace 5 segundos.

3. La Sorpresa: No todos los sensores son iguales

Lo más interesante del estudio es que descubrieron que los coches dependen de los sensores de forma muy desigual, como si uno fuera más "confiable" que el otro según la tarea:

• Para detectar objetos (¿Hay un coche ahí?): El cerebro del coche confía demasiado en el LIDAR (el láser).

  • Analogía: Es como si el conductor dijera: "Si el láser no me dice que hay un obstáculo, no importa lo que diga la cámara, no hay nada".
  • El daño: Si el hacker retrasa solo un solo frame (una imagen) del láser, la capacidad del coche para detectar coches cae un 88.5%. ¡Es como si el coche se volviera ciego de golpe!

• Para seguir objetos (¿Dónde va ese coche? ¿Se mueve?): Aquí el cerebro confía más en la cámara.

  • Analogía: Para saber si un peatón camina rápido o lento, el coche necesita ver sus caras y ropa (la cámara). Si el láser se retrasa, el coche sigue viendo bien, pero si la cámara se retrasa, el coche pierde el hilo de quién es quién.
  • El daño: Si retrasan la cámara solo 3 frames, la capacidad de seguir a los coches cae un 73%.

4. Las Consecuencias Reales: Choques y Frenazos Fantasmas

Los investigadores probaron esto en simuladores reales y vieron cosas aterradoras:

1. Choque frontal (Falso Negativo): El coche ve un camión que viene de frente. Pero como el láser está "atrasado", el coche cree que el camión ya pasó. Resultado: El coche no frena y choca de frente.
2. Frenazo fantasma (Falso Positivo): El coche ve un camión que ya pasó hace 5 segundos (porque el láser le envió un dato viejo). El coche cree que hay un camión justo enfrente y frena de golpe en medio de la autopista, provocando que el coche de atrás lo atropelle.

5. ¿Cómo nos defendemos?

El paper sugiere que no basta con tener sensores buenos; necesitamos que sus relojes sean invulnerables.

• Candados digitales: Usar firmas criptográficas para asegurar que la hora de cada dato sea real y no haya sido manipulada.
• Múltiples relojes: No confiar en un solo reloj maestro, sino cruzar la información con el GPS y otros sensores internos.
• Detectores de "Deja Vu": Crear sistemas que se den cuenta si los datos de la cámara y el láser no encajan bien en el tiempo (como un guardia que dice: "Oye, esta foto y este escaneo láser no pueden ser del mismo momento").

En resumen

El paper DEJAVU nos advierte que la seguridad de los coches autónomos no depende solo de tener buenos "ojos", sino de que todos esos ojos miren al mismo tiempo. Si un hacker logra desincronizar los relojes, puede hacer que un coche inteligente vea fantasmas o ignore peligros reales, poniendo en riesgo la vida de todos. Es una llamada de atención para que los ingenieros protejan no solo los datos, sino también el tiempo en el que se toman esos datos.

Resumen técnico

Resumen Técnico: DEJAVU

1. El Problema

La conducción autónoma (CA) depende críticamente de la Fusión Multimodal (MMF), que integra datos de sensores heterogéneos (cámaras, LiDAR, radar) para lograr una comprensión robusta del entorno. Aunque estos sensores tienen frecuencias de muestreo diferentes (asincrónicos), los sistemas de fusión asumen que están sincronizados temporalmente mediante protocolos como gPTP (IEEE 802.1AS) sobre redes Ethernet automotrices.

El problema central identificado es que la integridad de la alineación temporal se basa en suposiciones de seguridad frágiles:

1. Sincronización de relojes: Se asume que el protocolo gPTP es seguro y mantiene un tiempo global consistente.
2. Integridad de las marcas de tiempo: Se asume que las Unidades de Control Electrónico (ECU) de los sensores son entidades de confianza que proporcionan marcas de tiempo precisas.
3. Integridad del middleware: Se asume que frameworks como ROS2/DDS garantizan la autenticidad y frescura de los datos.

Los autores demuestran que un adversario puede explotar vulnerabilidades en la red in-vehicular para manipular las marcas de tiempo sin alterar los datos de los sensores (carga útil), creando desalineaciones temporales sutiles. Esto provoca que el sistema de fusión empareje datos de diferentes instantes físicos (ej. un fotograma de cámara actual con una nube de puntos LiDAR de hace 300 ms), degradando severamente la percepción y llevando a errores críticos como colisiones o frenadas fantasma.

2. Metodología: El Ataque DEJAVU

Los autores proponen DEJAVU, un ataque que explota la dependencia de los sistemas de fusión de las marcas de tiempo para emparejar datos asincrónicos.

• Mecanismo de Ataque: El atacante inyecta una perturbación en las marcas de tiempo locales ($\delta$) de los paquetes de sensores. Esto crea una discrepancia entre el tiempo universal de captura ($u$) y la marca de tiempo reportada ($t$).
  • El atacante puede manipular la sincronización de relojes (atacando el gPTP), alterar las marcas de tiempo directamente en la ECU, o suplantar nodos legítimos en ROS2 (replay attacks con marcas de tiempo falsificadas).
• Estrategias de Retraso:
  • Retraso Constante: Se aplica un desplazamiento fijo a todas las marcas de tiempo de un sensor. Esto desalinea sistemáticamente los datos, causando que el modelo perciba objetos en posiciones pasadas.
  • Retraso Aleatorio: Se aplican perturbaciones aleatorias a cada mensaje, rompiendo la secuencia temporal y afectando tareas que dependen del orden (como el seguimiento de objetos).
• Objetivo: Forzar al mecanismo de alineación temporal (que usa un umbral de tolerancia o slop) a aceptar pares de datos que parecen temporalmente cercanos según las marcas de tiempo falsificadas, pero que son semánticamente inconsistentes en el mundo real.

3. Contribuciones Clave

1. Propuesta de DEJAVU: Un marco de ataque que explota la fragilidad de la fusión multimodal ante desalineaciones temporales, validado en entornos de hardware-in-the-loop (HIL) y simulación completa.
2. Análisis de Vulnerabilidades Específicas por Modalidad:
   • Descubrieron una sensibilidad desequilibrada: Los modelos de detección de objetos 3D dependen excesivamente del LiDAR, mientras que los modelos de seguimiento de múltiples objetos (MOT) dependen críticamente de la cámara.
3. Validación Experimental Exhaustiva:
   • Evaluación en modelos de estado del arte (MVXNet, BEVFusion, MMF-JDT) utilizando los conjuntos de datos KITTI y nuScenes.
   • Implementación en un banco de pruebas de Ethernet Automotriz (HIL) y en la pila de software completa Autoware para simular escenarios de conducción real.
4. Demostración de Impacto en Seguridad: Evidencia de que estos ataques pueden causar fallos catastróficos, incluyendo colisiones frontales (falsos negativos) y frenadas de emergencia innecesarias (falsos positivos).

4. Resultados Principales

A. Detección de Objetos 3D (Modelos MVXNet y BEVFusion):

• Dependencia del LiDAR: Estos modelos son extremadamente sensibles a los retrasos en el LiDAR.
  • Un retraso de solo 1 frame en el LiDAR reduce la precisión media (mAP) para la detección de coches en un 88.5% (de 84.1 a 9.7 en MVXNet).
  • Los retrasos en la cámara tienen un impacto mínimo en la detección 3D.
• Efecto Compuesto: En ataques multimodales (Mul-DEJAVU), si ambos sensores se retrasan simultáneamente, el impacto es aún más devastador (caída del 89.2% en mAP para coches en BEVFusion).

B. Seguimiento de Múltiples Objetos (MOT - Modelo MMF-JDT):

• Dependencia de la Cámara: A diferencia de la detección, el seguimiento es altamente sensible a la cámara.
  • Un retraso de 3 frames en la cámara reduce la precisión de seguimiento múltiple (MOTA) en un 73%.
  • Los retrasos en el LiDAR afectan menos al seguimiento que a la detección.
• Aleatoriedad: Los ataques con retrasos aleatorios son más destructivos para el seguimiento que los constantes, ya que rompen la coherencia temporal necesaria para asociar IDs de objetos a lo largo del tiempo.

C. Validación en Simulación (Autoware):

• En un entorno de conducción simulado, el ataque DEJAVU provocó:
  • Colisiones directas: El vehículo autónomo no detectó un camión que se acercaba porque los datos del LiDAR estaban desincronizados y el sistema "vio" el camión en una posición anterior (falso negativo).
  • Frenadas fantasma: El vehículo frenó bruscamente por un obstáculo que ya no existía (datos de LiDAR retrasados que mostraban un vehículo que ya había pasado).

5. Significado y Conclusiones

El trabajo DEJAVU revela una vulnerabilidad crítica y subestimada en los sistemas de conducción autónoma: la integridad temporal.

• Implicaciones de Seguridad: La asunción de que la sincronización de relojes es segura es falsa. Un atacante puede degradar la percepción sin necesidad de cegar los sensores o alterar su contenido, simplemente manipulando el "cuándo" se reciben los datos.
• Arquitectura de Sistemas: Los resultados indican que los arquitectos de sistemas de CA no deben depender ciegamente de un solo sensor para tareas críticas. La redundancia debe incluir mecanismos de verificación de consistencia temporal.
• Defensas Propuestas: Los autores sugieren:
  • Defensas Duras: Firmas criptográficas en las marcas de tiempo, uso de relojes de hardware (RTC) y secuencias monótonas.
  • Defensas de Detección: Análisis de consistencia temporal entre modalidades (ej. verificar si el movimiento de un objeto en la cámara coincide con el movimiento en el LiDAR) y monitoreo estadístico de la frescura de los datos.
  • Mitigación: Estrategias de fusión adaptativa que reduzcan la confianza en sensores con inconsistencias temporales detectadas.

En conclusión, el artículo demuestra que la alineación temporal es tan crítica para la seguridad de la conducción autónoma como la precisión de los sensores mismos, y que las vulnerabilidades en la red in-vehicular pueden ser explotadas para causar fallos catastróficos en la percepción.