Stellen Sie sich vor, Sie bringen einem Roboter das Autofahren bei. Um dies sicher zu tun, „sieht“ der Roboter die Straße nicht einfach wie ein Mensch; er erstellt in seinem Gehirn einen perfekten, digitalen Bauplan der Welt. Dieser Bauplan, eine sogenannte „HD-Karte“, zeichnet jede Fahrspurmarkierung, Bordsteinkante und jeden Zebrastreifen in Echtzeit nach, während das Auto fährt. Wenn dieser Bauplan falsch ist, könnte der Roboter denken, dass eine scharfe Kurve eine gerade Autobahn ist oder dass eine Sackgasse eine offene Straße ist, was zu einem sehr schlimmen Unfall führen kann. Lange Zeit haben Wissenschaftler sich Sorgen gemacht, wie man diese Roboter dazu bringen kann, Dinge zu sehen, die gar nicht da sind, wie zum Beispiel einen Aufkleber auf einem Stoppschild, damit der Roboter denkt, es sei ein Geschwindigkeitsbegrenzungsschild. Aber es gibt ein kniffliges Problem: Manchmal, selbst wenn man einen Teil der Straße manipuliert, ist der Roboter so intelligent, dass er auf die andere Seite der Straße schaut und sagt: „Oh, ich weiß, wie das aussieht“, und seinen Fehler von selbst korrigiert.

Dieses Papier mit dem Titel „TwinIR“ befasst sich genau mit diesem spezifischen Problem. Die Forscher entdeckten, dass wenn man versucht, die Karte eines selbstfahrenden Autos mit nur einem „Trick“ (wie einem einzelnen verborgenen Licht) zu täuschen, das Auto dieses oft ignoriert, weil es den Rest der Straße noch klar sehen kann. Um dieses Problem zu lösen, entwickelten sie eine neue Methode namens TwinIR. Anstatt nur einen Trick anzuwenden, nutzen sie ein koordiniertes Paar unsichtbarer Lichter, um den Roboter an zwei Stellen gleichzeitig zu verwirren. Sie fanden heraus, dass sie durch den Einsatz von speziellen Nahinfrarot-Lichtern – die für das menschliche Auge unsichtbar sind, aber für die Kameras des Autos wie ein helles, verwirrendes Blendlicht wirken – den Roboter komplett aus dem Konzept bringen können, sodass er eine scharfe Kurve in eine gerade Linie verwandelt oder eine Kurve viel früher kommen sieht, als sie tatsächlich kommt. Das Beste daran? Für einen Passanten sieht die Straße vollkommen normal aus.

Der „Cross-Boundary“-Glitch (Grenzüberschreitender Fehler)

Die Geschichte beginnt mit der Erkenntnis darüber, wie selbstfahrende Autos denken. Diese Autos nutzen Kameras, um eine Karte der Straße zu erstellen. Wenn die Straße kurvt, muss das Auto die Kurve sehen, um zu wissen, wann es abbiegen muss. Aber hier ist der Haken: Wenn man versucht, das Auto zu täuschen, indem man eine Seite der Straße (sagen wir die linke Spur) blendet, schaut das Auto vielleicht einfach auf die rechte Spur und die Mittellinie, um zu folgern: „Oh, die Straße kurvt hier immer noch“, und zeichnet die Kurve trotzdem korrekt ein. Die Forscher nennen dies den „Cross-Boundary Compensation Effect“ (Grenzüberschreitenden Kompensationseffekt). Es ist, als würde man versuchen, eine Schlange in einem Garten zu verstecken, indem man ihren Kopf mit einem Hut bedeckt, aber der Schwanz der Schlange wackelt immer noch im Freien. Der Besitzer des Gartens (das Auto) sieht den Schwanz und weiß, dass da eine Schlange ist, also hat der Hut nicht funktioniert.

Frühere Versuche, diese Karten zu hacken, nutzten einen einzelnen „blinden Fleck“ oder einen Aufkleber, um das Auto zu verwirren. Die Autoren dieses Papers fanden heraus, dass dieser Ein-Punkt-Ansatz oft scheitert, weil das Auto die „Kompensationsgrenze“ (die andere Seite der Straße) nutzt, um den Fehler zu korrigieren. Sie argumentieren, dass man, um die Karte wirklich zu manipulieren, nicht nur einen Punkt angreifen darf; man muss sowohl das Ziel als auch den Teil angreifen, der versucht, den Fehler zu beheben.

Hier kommt TwinIR: Das unsichtbare Doppel-Team

Um dies zu lösen, erfand das Team TwinIR. Stellen Sie es sich wie ein koordiniertes Doppel-Team beim Basketball vor. Anstatt dass ein einzelner Spieler versucht, den Ball zu stehlen, arbeiten zwei Spieler zusammen, um den Gegner in die Falle zu locken. TwinIR nutzt bis zu zwei „Angriffspunkte“.

1. Das Ziel: Der erste Punkt greift den spezifischen Teil der Straße an, den der Hacker verändern möchte (wie eine Kurve, die er gerade aussehen lassen will).
2. Die Kompensation: Der zweite Punkt greift den „Helfer“-Teil der Straße an, der normalerweise den Fehler korrigiert.

Die magische Zutat ist Nahinfrarot-Licht (NIR). Menschen können dieses Licht nicht sehen; es ist für unsere Augen unsichtbar. Aber die Kameras von selbstfahrenden Autos können es sehr deutlich sehen. Die Forscher verwenden kleine, versteckte Laser, die dieses unsichtbare Licht aussenden. Für einen Menschen, der die Straße entlangläuft, sieht die Straße völlig normal aus. Aber für die Kamera des Autos wirkt es wie ein helles, verwirrendes Blendlicht, das die Karte durcheinanderbringt.

Das System arbeitet in zwei Schritten. Zuerst nutzt es einen Computer, um genau zu berechnen, wo diese unsichtbaren Lichter platziert werden müssen, um die größte Verwirrung zu stifgen. Es prüft: „Wenn ich ein Licht hier platziere, sieht das Auto dann immer noch die Kurve?“ Wenn die Antwort ja lautet, fügt es ein zweites Licht auf der anderen Seite der Straße hinzu, um auch diese Sicht zu blockieren. Es verwendet nur zwei Lichter, wenn dieses zweite Licht tatsächlich hilft; andernfalls bleibt es bei einem Licht. Dies hält den Angriff „spärlich“ (sparse), also mit so wenig Lichtern wie möglich, damit er schwerer zu bemerken ist.

Was sie herausfanden: Die Karte bricht zusammen

Die Forscher testeten dies an einem berühmten Datensatz namens nuScenes, der tausende von realen Fahrszenen enthält. Sie probierten diesen Angriff auf drei verschiedene Arten von selbstfahrenden Kartensystemen aus (MapTR, MGMap und DAMap).

Die Ergebnisse waren signifikant. Wenn sie die alte „Ein-Punkt“-Methode verwendeten, sank die Genauigkeit der Karte (mAP) nur geringfügig. Aber als sie TwinIR mit zwei koordinierten Punkten einsetzten:

• Die Karten Genauigkeit (mAP) sank um 8,18 bis 8,96 Prozentpunkte beim „Road Straightening“-Angriff (eine Kurve gerade aussehen lassen).
• Beim „Early Turn“-Angriff (das Auto glauben lassen, dass eine Kurve früher kommt) sank die Genauigkeit um 2,84 bis 5,62 Prozentpunkte.

Aber die wahre Gefahr ist nicht nur eine schlechte Karte; es ist das, was das Auto mit dieser Karte macht. Die Forscher maßen, wie oft der geplante Pfad des Autos unerreichbar oder unsicher wurde.

• Mit TwinIR stieg die Rate der „unerreichbaren Ziele“ (wo das Auto einen Pfad plant, den es tatsächlich nicht fahren kann) im Vergleich zur Ein-Punkt-Methode um 11 bis 12 Prozentpunkte.
• Die Rate der „unsicheren geplanten Trajektorien“ (Pfade, die zu Kollisionen führen würden) stieg um 3 bis 8 Prozentpunkte gegenüber der Ein-Punkt-Methode.

Einfach ausgedrückt: Das Auto war nicht nur ein bisschen verwirrt; es begann Pfade zu planen, die völlig gefährlich waren.

Der Realitätstest

Um zu beweisen, dass dies nicht nur eine Computersimulation war, gingen die Teams mit ihrem Aufbau auf ein echtes, abgesperrtes Testgelände. Sie fuhren ein echtes Auto, das mit sechs Kameras ausgestattet war, auf einer Teststrecke. Sie platzierten ihre unsichtbaren Laser an der Seite der Straße, versteckt hinter Büschen und Schildern.

Wenn das Auto vorbeifuhr:

• Für einen Menschen: Das Video sah normal aus. Die Straße sah exakt so aus, wie sie sein sollte.
• Für die Kamera des Autos: Die unsichtbaren Laser erzeugten ein massives, helles Interferenzmuster.
• Das Ergebnis: Die Karte des Autos änderte sich genau so, wie die Forscher es vorhergesagt hatten. In einem Test wurde eine scharfe Kurve als gerade Linie gezeichnet. In einem anderen Test dachte das Auto, dass eine Kurve viel früher kommt, als sie tatsächlich kam.

Die Forscher testeten auch, ob die Verwendung von mehr als zwei Lichtern half. Sie probierten drei, vier oder sogar fünf Lichter aus. Sie fanden heraus, dass das Hinzufügen eines zweiten Lichts einen riesigen Unterschied machte, das Hinzufügen eines dritten, vierten oder fünften Lichts jedoch kaum eine Verbesserung brachte. Dies bestätigte, dass zwei Lichter der „Sweet Spot“ sind – genug, um die Fähigkeit des Autos zu brechen, seine eigenen Fehler zu korrigieren, aber nicht so viele, dass es offensichtlich oder schwer aufzubauen wäre.

Warum das wichtig ist

Dieses Papier sagt nicht, dass selbstfahrende Autos kaputt sind oder dass sie morgen abstürzen werden. Stattdessen hebt es eine spezifische Schwachstelle darin hervor, wie diese Autos über die Welt „denken“. Es zeigt, dass diese Systeme stark darauf angewiesen sind, das Gesamtbild zu sehen, und wenn man mit ein paar koordinierten, unsichtbaren Tricks die Teile verstecken kann, die sie zum „Doppelcheck“ ihrer Arbeit nutzen, kann man sie täuschen.

Die Autoren schlagen vor, dass zukünftige selbstfahrende Autos klüger sein müssen. Sie müssen in der Lage sein zu erkennen, wenn ihre Karte durch andere Teile der Straße „kompensiert“ wird, oder sie müssen in der Lage sein, diese unsichtbaren Infrarot-Tricks zu ignorieren. Bis dahin zeigt diese „TwinIR“-Methode, dass ein sehr kleiner, unsichtbarer und koordinierter Aufwand eine überraschend große Auswirkung auf die Sicherheit des autonomen Fahrens haben kann.