Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction

Diese Arbeit stellt eine neue Verteidigungsmethode gegen Adversarial Attacks für Trajektorienvorhersagemodelle im autonomen Fahren vor, die auf Randomized Smoothing basiert und nachweislich die Robustheit verschiedener Modelle erhöht, ohne die Genauigkeit in nicht-adversariellen Szenarien zu beeinträchtigen.

Das Wesentliche

Stell dir vor, du bist ein hochintenter Autopilot, der gerade lernt, wie er durch den Verkehr navigieren muss. Deine Aufgabe ist es, vorherzusagen, wohin sich andere Autos, Fußgänger oder Radfahrer in den nächsten paar Sekunden bewegen werden. Wenn du das gut machst, kannst du sicher und flüssig fahren. Aber was passiert, wenn jemand dir absichtlich ein falsches Bild vorgaukelt?

Genau darum geht es in diesem Papier. Die Forscher untersuchen, wie man diese Vorhersage-Systeme gegen „bösartige Tricks" (sogenannte adversariale Angriffe) wappnen kann, und sie haben eine clevere Lösung namens „Randomized Smoothing" (auf Deutsch etwa: Zufälliges Glätten) gefunden.

Hier ist die Erklärung in einfachen Worten, mit ein paar bildhaften Vergleichen:

1. Das Problem: Der „Trickbetrüger" im Verkehr

Autonome Fahrzeuge verlassen sich auf KI-Modelle, um die Zukunft vorherzusagen. Diese Modelle sind normalerweise sehr gut. Aber wie jeder Mensch, der gut rechnen kann, haben sie eine Schwäche: Wenn jemand eine winzige, fast unsichtbare Veränderung in die Daten einbaut, kann das Modell völlig durcheinanderkommen.

• Die Analogie: Stell dir vor, du siehst ein Stoppschild. Jemand hat aber mit einem winzigen Klebestreifen ein winziges Stückchen Papier darauf geklebt. Für das menschliche Auge sieht es immer noch wie ein Stoppschild aus. Aber für die KI könnte dieser winzige Klebestreifen bedeuten, dass es ein „Durchfahrt erlaubt"-Schild ist. Das Auto würde dann nicht bremsen – und das wäre katastrophal.
• Im Verkehr bedeutet das: Ein anderes Auto könnte seine Bewegung so manipulieren, dass das autonome Fahrzeug denkt, es würde geradeaus fahren, obwohl es eigentlich eine Kurve macht. Das autonome Auto würde dann in eine Kollision fahren.

2. Die Lösung: Der „Rauchende Detektiv" (Randomized Smoothing)

Die Forscher fragen sich: Wie machen wir das System unempfindlich gegen diese winzigen Tricks? Ihre Antwort: Wir machen es ein bisschen „vernebelt".

Statt sich auf eine einzige, scharfe Beobachtung zu verlassen, schauen wir uns die Situation aus vielen leicht verzerrten Perspektiven an und mitteln das Ergebnis.

• Die Analogie: Stell dir vor, du versuchst, ein Bild durch ein starkes Fernglas zu betrachten, aber jemand wackelt ständig mit dem Fernglas. Wenn du nur einen einzigen Moment anschaust, ist das Bild unscharf. Aber wenn du 100 Bilder in schneller Folge machst, während das Fernglas wackelt, und diese Bilder dann zu einem einzigen, klaren Bild zusammenfügst (mittlest), dann verschwinden die kleinen Störungen und das eigentliche Motiv wird klarer.
• In der Technik heißt das: Bevor das KI-Modell eine Vorhersage trifft, wird die Eingabe (die Position des anderen Autos) mit einem kleinen, zufälligen Rauschen (wie statistischem „Grundrauschen") versehen. Das passiert hunderte Male. Das Modell sagt dann für jede dieser leicht veränderten Versionen eine Vorhersage vorher. Am Ende wird alle diese Vorhersagen gemittelt.

3. Warum funktioniert das?

Wenn ein Angreifer das System täuschen will, muss er einen sehr spezifischen, perfekten Trick finden. Aber wenn das System ständig leicht „vernebelt" ist und aus vielen Winkeln schaut, wird der Trick des Angreifers verwässert.

• Die Analogie: Stell dir vor, du versuchst, einen Ball durch ein Labyrinth zu werfen, um ein Ziel zu treffen. Wenn das Labyrinth starr ist, reicht ein kleiner Stoß, um den Ball in die falsche Richtung zu lenken. Aber wenn das Labyrinth aus Gummi ist und ständig leicht wackelt (das „Rauschen"), dann prallt der Ball an vielen Stellen ab und landet am Ende trotzdem ziemlich genau dort, wo er hin soll. Der Angreifer kann den Ball nicht mehr so leicht manipulieren.

4. Die Ergebnisse: Besser sicher, ohne langsamer zu werden

Die Forscher haben das an echten Daten getestet (z. B. von deutschen Kreisverkehren und Simulatoren). Das Tolle an ihrer Methode ist:

1. Robustheit: Unter Angriffen funktioniert das System viel besser. Die Vorhersagen bleiben stabil, auch wenn jemand versucht, sie zu täuschen.
2. Kein Nachteil im Normalfall: Das Wichtigste: Wenn niemand einen Angriff startet (also im normalen, ruhigen Verkehr), wird das Auto nicht schlechter. Es verliert keine Genauigkeit. Im Gegenteil, in manchen Fällen wurde es sogar noch besser, weil das „Mitteln" wie eine Art Schutzschild gegen Überreaktionen wirkt.

Fazit

Diese Studie zeigt, dass man autonome Fahrzeuge nicht nur mit komplexeren Modellen sicherer machen muss, sondern auch mit einer cleveren „Tricks": Indem man die Vorhersagen leicht „vernebelt" und dann mittelt, macht man das System immun gegen kleine, böswillige Manipulationen.

Es ist wie ein Schutzanzug für die KI: Er kostet kaum etwas (ist rechnerisch günstig), macht das Auto nicht langsamer, aber wenn jemand versucht, es zu täuschen, prallt der Angriff einfach ab. Das ist ein großer Schritt hin zu sicherem, autonomem Fahren.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction" auf Deutsch:

1. Problemstellung

Autonomes Fahren ist auf präzise und robuste Trajektorienvorhersagemodelle angewiesen, um sicher und effizient mit anderen Verkehrsteilnehmern zu interagieren. Obwohl moderne Modelle (z. B. auf Basis von Deep Learning) auf Benchmarks hohe Genauigkeit erreichen, sind sie anfällig für adversarielle Angriffe. Dabei werden die Eingabedaten (die beobachteten Vergangenheitstrajectorien) durch kleine, gezielte Störungen ($\delta X$) manipuliert, um die Vorhersagen des Modells zu täuschen.

Bisherige Forschung hat zwar diese Verwundbarkeit aufgezeigt, jedoch fehlen systematische Abwehrmechanismen. Bestehende Angriffe nutzen oft kinematisch nicht erreichbare Zustände, doch neuere Arbeiten (wie Schumann et al.) haben kinematisch eingeschränkte Angriffe entwickelt, die realistisch sind und auch bei robusten Modellen zu signifikanten Leistungsverschlechterungen führen. Das Ziel dieser Arbeit ist es, eine effektive Verteidigungsstrategie zu entwickeln, die die Robustheit erhöht, ohne die Genauigkeit im normalen Betrieb (ohne Angriffe) zu beeinträchtigen.

2. Methodik: Randomized Smoothing

Die Autoren wenden die Technik des Randomized Smoothing (zufälliges Glätten) an, die bisher erfolgreich in der Bildverarbeitung und bei Sprachmodellen eingesetzt wurde, erstmals jedoch auf die Trajektorienvorhersage übertragen wird.

Grundprinzip:
Anstatt das Modell nur auf die ursprüngliche, potenziell gestörte Eingabe anzuwenden, wird das Eingabesignal mit zufälligem Rauschen ($\varepsilon$) versehen. Das Modell wird $N$-mal auf diese verrauschten Versionen angewendet, und die finale Vorhersage ist der Durchschnitt (Mittelwert) dieser $N$ Vorhersagen.
Mathematisch wird ein geglätteter Regressor $g(x)$ definiert als:
$$g(x) = \mathbb{E}_{\varepsilon}[f(x + \varepsilon)]$$
wobei $f$ das Basis-Modell ist und $\varepsilon$ aus einer Gauß-Verteilung stammt. Dies glättet die Entscheidungsgrenzen und reduziert die Empfindlichkeit gegenüber hochnormierten Gradienten, die für adversarielle Angriffe typisch sind.

Zwei spezifische Strategien für Trajektorien:
Die Autoren schlagen zwei Ansätze vor, wie das Rauschen auf die Eingabedaten angewendet wird:

1. Positions-basiertes Glätten (Position-based smoothing):
   Das Rauschen wird direkt auf die Positions-Koordinaten der Fahrzeugzustände angewendet. Dies ist der direkteste Ansatz, bei dem die Varianz nur auf die Positionen wirkt.
2. Steuerungs-basiertes Glätten (Control-based smoothing):
   Hier wird das Rauschen auf die Steuerungsinputs (z. B. Beschleunigung, Lenkwinkel) angewendet, bevor diese durch ein dynamisches Modell in Trajektorien umgewandelt werden.
   • Vorteil: Dieser Ansatz erzeugt physikalisch plausiblere Trajektorien, da er unwahrscheinliche, scharfe Kurven oder unmögliche Manöver vermeidet, die bei direkter Positionsstörung auftreten könnten.

3. Experimentelles Setup

Die Evaluation erfolgte unter folgenden Bedingungen:

• Datensätze: L-GAP (Simulator-Daten für Kreuzungsszenarien) und rounD (reale Daten von deutschen Kreisverkehren).
• Basis-Modelle: Trajectron++ und ADAPT (zwei State-of-the-Art-Modelle).
• Angriffsszenario: Kinematisch eingeschränkte adversarielle Angriffe (White-Box), die die Vorhersagefehler (Average Displacement Error - ADE) maximieren sollen. Die Angriffsstärke wurde durch eine maximale Störungsgrenze $d_{max}$ variiert (0,25 m, 0,5 m, 1 m).
• Strategien:
  • Eval: Glättung nur während der Evaluation.
  • Train & Eval: Glättung auch während des Trainings (Resampling des Rauschens).

4. Wichtige Ergebnisse

Die experimentellen Ergebnisse (dargestellt in den Tabellen I–IV) zeigen folgende Erkenntnisse:

• Verbesserte Robustheit: Randomized Smoothing verbessert konsistent die Robustheit der Modelle gegen adversarielle Angriffe. Der Average Displacement Error (ADE) steigt unter Angriffen bei den geglätteten Modellen deutlich weniger stark an als bei den ungeschützten Basis-Modellen.
• Kein Genauigkeitsverlust im Normalbetrieb: Im Gegensatz zu anderen Domänen, wo Glättung oft die Genauigkeit im ungestörten Fall verschlechtert, zeigen die Ergebnisse, dass die geglätteten Modelle bei $d_{max}=0$ (keine Angriffe) eine vergleichbare oder in einigen Fällen sogar leicht verbesserte Genauigkeit beibehalten. Dies deutet auf einen Regularisierungseffekt hin, der Overfitting verhindert.
• Reduzierte Korrelation mit Angriffsstärke: Die geglätteten Modelle zeigen eine geringere Sensitivität gegenüber der Größe des Angriffs ($d_{max}$). Selbst bei starken Angriffen bleibt die Performance stabiler.
• Modellabhängigkeit der Strategie:
  • Für Trajectron++ erwies sich das positions-basierte Glätten (mit geringer Rauschvarianz $\sigma=0,25$ m) als am effektivsten.
  • Für ADAPT war das steuerungs-basierte Glätten überlegen.
• Einfluss der Varianz ($\sigma$): Kleinere Rauschvarianzen ($\sigma = 0,25$ m) führten meist zu den besten Ergebnissen, da sie einen besseren Kompromiss zwischen Robustheit und lokaler Genauigkeit bieten.
• Trainingsstrategie: Das Mittrainieren mit Glättung (Train & Eval) war nicht immer notwendig oder vorteilhaft; oft reichte das Glätten nur zur Evaluation (Eval), um signifikante Verbesserungen zu erzielen.

5. Bedeutung und Fazit

Dieses Paper leistet einen wesentlichen Beitrag zur Sicherheit autonomer Systeme, indem es zeigt, dass Randomized Smoothing eine einfache, recheneffiziente und effektive Verteidigung gegen adversarielle Angriffe in der Trajektorienvorhersage darstellt.

• Praktische Relevanz: Da die Methode keine Neu-Training der komplexen Basis-Modelle erfordert (in den meisten Fällen), ist sie leicht in bestehende Systeme integrierbar.
• Sicherheitsgewinn: Sie bietet eine Möglichkeit, die Vorhersagen auch bei manipulierten Eingaben verlässlich zu halten, was für die Sicherheit des autonomen Fahrens kritisch ist.
• Zukünftige Arbeit: Die Autoren schlagen vor, die probabilistischen Robustheitsgarantien (Certified Robustness) für Trajektorien zu untersuchen und zu prüfen, ob die Varianz der Vorhersagen als Maß für die Unsicherheit des Modells genutzt werden kann, um die Planungsalgorithmen zu unterstützen.

Zusammenfassend demonstriert die Arbeit, dass Randomized Smoothing ein vielversprechendes Werkzeug ist, um die empirische Robustheit von Trajektorienvorhersagemodellen ohne Kompromisse bei der Genauigkeit im Normalbetrieb zu erhöhen.