Temporal Misalignment Attacks against Multimodal Perception in Autonomous Driving

Die Studie stellt „DejaVu" vor, einen Angriff auf multimodale Wahrnehmungssysteme autonomer Fahrzeuge, der durch gezielte zeitliche Verzerrungen von Kamera- und LiDAR-Daten die Leistung von Objekterkennung und -verfolgung drastisch verschlechtert und somit schwere Sicherheitsrisiken wie Kollisionen oder Phantom-Bremsungen auslösen kann.

Das Wesentliche

🚗 DEJAVU: Wenn das Auto die Zeit vergisst

Stell dir vor, du fährst mit einem hochmodernen, autonomen Auto. Dieses Auto ist wie ein Super-Detektiv, der die Welt um sich herum mit zwei verschiedenen Sinnesorganen beobachtet:

1. Die Kamera: Sie sieht die Welt wie ein menschliches Auge – farbig, detailliert und erkennt Gesichter oder Schilder.
2. Der LiDAR-Sensor: Das ist wie ein Laser-Scanner, der die Welt in 3D-Punkten misst. Er kennt die exakte Entfernung und Form von Objekten, sieht aber keine Farben oder Texte.

Damit das Auto sicher fahren kann, müssen diese beiden Sinnesorgane perfekt zusammenarbeiten. Sie müssen genau zur gleichen Zeit auf dasselbe Objekt schauen und ihre Informationen verschmelzen (Fusion).

🕰️ Das Problem: Die Zeitreise-Illusion

Das Papier beschreibt einen neuen, heimtückischen Angriff namens DEJAVU.

Stell dir vor, du und dein Freund (der LiDAR) laufen durch einen Park und halten euch an den Händen, um nicht zu verlieren. Ihr müsst Schritt für Schritt synchron laufen.

• Normalfall: Ihr seht beide einen Baum genau in dem Moment, wenn ihr ihn passiert.
• Der Angriff (DEJAVU): Ein böswilliger Hacker greift in die Kommunikation ein. Er sagt dem LiDAR nicht, was er wirklich sieht, sondern schickt ihm eine Nachricht: "Hey, schau mal, das ist der Baum, den wir vor 5 Sekunden gesehen haben!"

Das LiDAR-Gehirn des Autos glaubt dem Hacker. Es denkt: "Ah, okay, ich sehe den Baum jetzt." Aber in Wirklichkeit ist der Baum schon längst vorbei. Das Auto verschmilzt das neue Bild der Kamera (wo der Baum weg ist) mit dem alten Bild des LiDAR (wo der Baum noch da ist).

Das Ergebnis: Das Auto sieht einen Baum, der gar nicht mehr da ist. Oder es übersieht einen echten Baum, weil es denkt, er sei schon vorbei.

🎭 Wie funktioniert der Angriff?

Der Hacker braucht keine neuen Sensoren zu bauen oder das Auto zu zerstören. Er nutzt eine Schwachstelle in der Zeit-Synchronisation.

1. Die Uhr lügt: In modernen Autos gibt es ein Netzwerk (wie ein digitales Nervensystem), das alle Sensoren mit einer gemeinsamen Uhrzeit versorgt. Der Hacker manipuliert diese Uhrzeit. Er kann die Uhr des LiDAR-Sensors zurückdrehen oder vorlaufen lassen.
2. Die falsche Paarung: Das Auto versucht, Bilder und Laserpunkte zu paaren, die den gleichen Zeitstempel haben. Da der Hacker die Zeit gefälscht hat, paart das Auto ein heutiges Foto mit einem gestrigen Laser-Scan.
3. Das Chaos: Das Gehirn des Autos (die KI) bekommt widersprüchliche Informationen. Es ist verwirrt, wie bei einem Menschen, der versucht, ein Puzzle zu lösen, bei dem die Teile aus verschiedenen Bildern stammen.

📉 Was passiert dann? (Die Experimente)

Die Forscher haben getestet, wie empfindlich verschiedene Aufgaben des Autos auf diese Zeitverschiebung reagieren. Das Ergebnis war überraschend:

• Für das „Sehen" (Objekterkennung): Das Auto ist extrem abhängig vom LiDAR.

  • Metapher: Stell dir vor, du versuchst, einen Ball zu fangen, aber deine Augen sind verdeckt und du verlässt dich nur auf dein Gehör. Wenn das Gehör (LiDAR) eine Sekunde zu spät ist, verpasst du den Ball.
  • Ergebnis: Schon eine Verzögerung von nur einem Bild beim LiDAR ließ die Erkennungsleistung für Autos um 88,5 % einbrechen! Das Auto „vergisst" fast alle anderen Fahrzeuge.

• Für das „Verfolgen" (Objekt-Tracking): Hier ist das Kamera-Bild wichtiger.

  • Metapher: Um zu wissen, wohin ein Fußgänger läuft, brauchst du das klare Bild seiner Bewegung. Wenn das Bild (Kamera) verzögert ist, weiß das Auto nicht mehr, wo der Fußgänger jetzt ist, und verliert ihn aus den Augen.
  • Ergebnis: Eine Verzögerung von nur drei Bildern bei der Kamera ließ die Fähigkeit, Objekte zu verfolgen, um 73 % sinken.

🚨 Die gefährlichen Folgen im echten Leben

Die Forscher haben diesen Angriff in einer Simulation getestet, die einem echten autonomen Auto gleicht. Die Ergebnisse waren beängstigend:

1. Geisterbremsen (Phantom Braking): Das Auto bremst plötzlich hart, weil es einen LKW sieht, der eigentlich schon längst an ihm vorbeigefahren ist (weil der LiDAR-Datenstrom verzögert war). Das führt zu gefährlichen Auffahrunfällen.
2. Tote Winkel (False Negatives): Das Auto sieht einen echten LKW, der auf Kollisionskurs ist, gar nicht, weil es denkt, der LKW sei schon vorbei. Das führt zu direkten Unfällen.

🛡️ Was können wir tun?

Das Papier zeigt, dass wir uns zu sehr auf die perfekte Synchronisation verlassen. Wir müssen das Auto „zeitfester" machen:

• Sichere Uhren: Die Uhren im Auto müssen gegen Hacker geschützt sein (wie ein versiegelter Brief).
• Kreuz-Checks: Das Auto sollte nicht nur auf die Uhrzeit hören, sondern auch prüfen: „Passt das, was ich sehe, mit dem, was ich fühle (Beschleunigungssensoren), zusammen?"
• Vorsicht: Wenn das Auto merkt, dass die Zeit nicht stimmt, sollte es lieber langsamer fahren oder den Fahrer warnen, statt blind weiterzufahren.

Fazit

DEJAVU ist wie ein Trick, bei dem jemand einem Superhelden eine falsche Uhr gibt. Der Held (das Auto) glaubt, er sei zur richtigen Zeit am richtigen Ort, aber in Wirklichkeit ist er eine Sekunde in der Vergangenheit. Und in der Welt des autonomen Fahrens kann eine Sekunde der Unterschied zwischen Leben und Tod sein.

Die Botschaft ist klar: Zeit ist im autonomen Fahren genauso wichtig wie Sicherheit. Wenn die Zeit nicht stimmt, ist das Auto blind.

Technische Zusammenfassung

1. Problemstellung

Autonomes Fahren (AD) verlässt sich zunehmend auf die multimodale Sensorfusion (MMF), bei der Daten von Kameras, LiDAR und Radar kombiniert werden, um eine robuste Umgebungswahrnehmung zu gewährleisten. Ein kritischer, aber oft unterschätzter Aspekt dieser Fusion ist die zeitliche Synchronisation. Da Sensoren unterschiedliche Abtastraten haben (z. B. Kamera: 30–60 Hz, LiDAR: 10–20 Hz), müssen ihre Datenströme präzise zeitlich abgeglichen werden, bevor sie fusioniert werden.

Das Paper identifiziert eine fundamentale Sicherheitslücke: MMF-Systeme gehen davon aus, dass die Zeitstempel der Sensoren vertrauenswürdig und korrekt sind. Ein Angreifer, der Zugriff auf das Fahrzeugnetzwerk (z. B. Automotive Ethernet) hat, kann diese Zeitstempel manipulieren, ohne die eigentlichen Sensordaten (Payloads) zu verändern. Dies führt zu zeitlichen Fehlausrichtungen (Temporal Misalignments), bei denen Daten, die zu unterschiedlichen physikalischen Zeitpunkten aufgenommen wurden, fälschlicherweise als synchronisiert fusioniert werden. Dies degradiert die Wahrnehmungsgenauigkeit und kann zu katastrophalen Folgen wie Kollisionen oder Phantom-Bremsungen führen.

2. Methodik: Der DEJAVU-Angriff

Die Autoren stellen DEJAVU vor, einen Angriff, der die Integrität der Zeitstempel ausnutzt, um semantisch inkonsistente Sensorpaare zu erzeugen.

• Angriffsvektoren: Der Angriff nutzt drei potenzielle Schwachstellen in der Fahrzeugarchitektur:
  1. Störung der Uhrensynchronisation (C1): Manipulation des Grandmaster Clock im Time-Sensitive Networking (TSN)-Protokoll (gPTP), was zu Drifts in den Systemuhren aller ECUs führt.
  2. Manipulation der Zeitstempel-Integrität (C2): Direkte Änderung der Zeitstempel in den Paket-Headern durch kompromittierte Sensor-ECUs.
  3. Impersonation in ROS2 (C3): Ein Angreifer imitiert einen legitimen Sensor-Knoten im ROS2-Netzwerk und veröffentlicht verzögerte, aber gültige Sensordaten mit gefälschten Zeitstempeln.
• Angriffsstrategien:
  • Konstante Verzögerung: Alle Pakete eines Sensors erhalten einen festen Zeitoffset.
  • Zufällige Verzögerung: Zeitstempel werden zufällig verschoben, was die Sequenzordnung der Daten zerstört.
• Umsetzung: Der Angriff wurde in einer Hardware-in-the-Loop (HIL)-Testumgebung mit Automotive Ethernet und in einer End-to-End-Simulation mit dem Autoware-Stack realisiert.

3. Wichtige Beiträge

1. Entdeckung modalspezifischer Verwundbarkeiten: Die Studie zeigt, dass verschiedene Wahrnehmungsaufgaben unterschiedlich stark auf Verzögerungen in spezifischen Sensoren reagieren.
   • 3D-Objekterkennung: Ist extrem abhängig von LiDAR-Daten.
   • Multi-Object Tracking (MOT): Ist stark abhängig von Kameradaten (aufgrund der texturreichen Informationen für die Assoziation von Objekten über die Zeit).
2. Umfassende Evaluierung: Der Angriff wurde auf State-of-the-Art-Modelle (MVXNet, BEVFusion für Erkennung; MMF-JDT für Tracking) mit den Datensätzen KITTI und nuScenes getestet.
3. Realistische Validierung: Demonstration des Angriffs in einem HIL-Testbett und einer vollständigen Autoware-Simulation, die reale Sicherheitsverletzungen (Kollisionen, Phantom-Bremsen) aufzeigt.

4. Ergebnisse

Die Evaluierung ergab drastische Leistungseinbußen durch minimale zeitliche Verzögerungen:

• 3D-Objekterkennung (LiDAR-Sensitivität):
  • Eine Verzögerung des LiDAR-Streams um nur ein Bild führte zu einem Einbruch der mittleren durchschnittlichen Präzision (mAP) für Autos um bis zu 88,5% (von ~84% auf ~9,7%).
  • Verzögerungen der Kamera hatten hingegen kaum Einfluss auf die Erkennungsleistung, was die übermäßige Abhängigkeit von LiDAR in diesen Modellen unterstreicht.
• Multi-Object Tracking (Kamera-Sensitivität):
  • Das Tracking-Modell (MMF-JDT) zeigte eine hohe Empfindlichkeit gegenüber Kamera-Verzögerungen.
  • Eine Verzögerung der Kamera um drei Bilder führte zu einem Abfall der Multiple Object Tracking Accuracy (MOTA) um 73%.
  • Zufällige Verzögerungen in beiden Sensoren (Mul-DEJAVU) führten zu noch stärkeren Degradierungen als konstante Verzögerungen, da sie die zeitliche Sequenz für das Tracking zerstören.
• End-to-End-Simulation (Autoware):
  • Im simulierten Fahrzyklus führte der Angriff zu direkten Kollisionen (das Fahrzeug übersah ein herannahendes LKW-Fahrzeug, da die verzögerten LiDAR-Daten das Objekt nicht mehr an der aktuellen Position zeigten).
  • Es kam zu Phantom-Bremsungen, da das Fahrzeug ein bereits vorbeigefahrenes Objekt als Hindernis wahrnahm.

5. Bedeutung und Implikationen

• Sicherheitskritische Verwundbarkeit: Die Arbeit beweist, dass Multimodal-Fusion-Systeme nicht automatisch robuster sind als einzelne Sensoren. Durch geschickte Manipulation der Zeitstempel kann die Redundanz der Sensoren ausgehebelt werden.
• Architektonische Schwäche: Die Ergebnisse zeigen, dass aktuelle AD-Architekturen zu stark auf eine einzige Modalität (LiDAR für Erkennung, Kamera für Tracking) angewiesen sind und keine ausreichenden Mechanismen zur Überprüfung der zeitlichen Konsistenz besitzen.
• Notwendigkeit neuer Verteidigungsstrategien:
  • Absicherung: Verwendung von kryptografisch signierten Zeitstempeln und Hardware-Uhren (z. B. TSN mit Authentifizierung).
  • Detektion: Implementierung von Echtzeit-Checks, die die Konsistenz zwischen Modalitäten (z. B. über IMU-Daten oder kinematische Modelle) prüfen, um Fehlausrichtungen zu erkennen.
  • Mitigation: Adaptive Fusionsalgorithmen, die bei Unsicherheit in der Zeitstempel-Integrität die Gewichtung von Sensoren anpassen oder das Fahrzeug in einen sicheren Modus versetzen.

Zusammenfassend demonstriert DEJAVU, dass die zeitliche Integrität in autonomen Fahrzeugen eine ebenso kritische Sicherheitseigenschaft ist wie die Datenintegrität selbst, und fordert einen Paradigmenwechsel hin zu synchronisationsbewussten und fehlertoleranten Wahrnehmungssystemen.