Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction

Dit artikel presenteert en evalueert een nieuwe verdedigingsmechanisme voor trajectvoorspellingsmodellen op basis van randomisatie, dat de weerbaarheid tegen adversariële aanvallen consistent verbetert zonder de nauwkeurigheid in normale omstandigheden te verminderen.

De kern

Stel je voor dat een zelfrijdende auto een zeer slimme voorspeller is. Deze auto moet constant raden waar andere weggebruikers (fietsers, andere auto's) binnen een paar seconden zullen zijn. Als deze voorspelling fout is, kan dat leiden tot ongelukken of onnodig remmen.

Deze paper gaat over een nieuw trucje om die voorspeller onkwetsbaarder te maken voor slimme, maar kwaadaardige trucs van andere bestuurders.

Hier is de uitleg in simpele taal, met een paar verhelderende analogieën:

1. Het Probleem: De "Slechte Kijker"

Zelfrijdende auto's gebruiken complexe computermodellen om de toekomst te voorspellen. Maar onderzoekers hebben ontdekt dat deze modellen heel gevoelig zijn voor adversariële aanvallen.

• De Analogie: Stel je voor dat je een schilderij bekijkt. Een kwaadaardige hacker plakt een heel klein, bijna onzichtbaar stipje op het schilderij. Voor het menselijk oog ziet het er nog steeds hetzelfde uit. Maar voor de computer die het schilderij analyseert, verandert dat ene stipje de hele betekenis. De computer denkt plotseling: "Oh, die auto komt niet rechts, maar springt direct naar links!"
• In de praktijk kan een andere auto (de "aanvaller") zijn bewegingen zo subtiel aanpassen dat de zelfrijdende auto in paniek raakt of een gevaarlijke beslissing neemt, terwijl er eigenlijk niets aan de hand is.

2. De Oplossing: "Wazig Kijken" (Randomized Smoothing)

De auteurs van dit paper stellen een oplossing voor die ze Randomized Smoothing noemen. In het Nederlands kunnen we dit wel eens "Wazig Kijken" noemen.

• De Analogie: Stel je voor dat je door een raam kijkt waar iemand een beetje mist op heeft gespoten. Als je één keer snel kijkt, zie je misschien een vage vorm. Maar als je tien keer snel door dat raam kijkt, elk keer met een heel klein beetje andere mist, en je gemiddeld wat je ziet, dan krijg je een heel duidelijk beeld van wat er echt gebeurt.
• Hoe het werkt in de auto: In plaats van dat de computermodel één keer naar de exacte positie van de andere auto kijkt, voegt het model willekeurige ruis (een beetje "mist") toe aan de data. Het laat het model dan 20 keer voorspellen op basis van deze lichtjes verschillende versies. Vervolgens neemt het de gemiddelde uitkomst van al die 20 voorspellingen.
• Het effect: Die kwaadaardige "stipjes" (de aanval) worden door de ruis en het middelen zo klein gemaakt dat ze geen invloed meer hebben op het eindresultaat. De auto ziet weer duidelijk wat er gebeurt, ongeacht de trucs van de aanvaller.

3. Twee Manieren om te "Wazig Kijken"

De auteurs testten twee manieren om deze ruis toe te passen:

1. Positie-smoothing: Je voegt ruis toe aan de plek waar de auto zich bevindt. Alsof je twijfelt of de auto nu precies 5 meter of 5,1 meter voor je staat.
2. Besturing-smoothing: Je voegt ruis toe aan de beweging (sturen, gas geven). Alsof je twijfelt of de bestuurder net iets harder remde of iets meer stuurde.

4. Wat Vonden Ze? (De Resultaten)

De onderzoekers hebben dit getest op echte verkeersdata (zoals rondjes in Duitsland en een simulatie). De resultaten waren verrassend goed:

• Sterker tegen aanvallen: De modellen die "wazig keken" (met smoothing) werden veel minder gek van de kwaadaardige aanvallen. De voorspellingen bleven betrouwbaar, zelfs als de andere auto probeerde ze te misleiden.
• Niet minder slim: Het mooie nieuws is dat deze "wazige kijkers" niet dommer werden op normale dagen. Als er geen aanvaller was, waren ze net zo goed (of zelfs iets beter) als de oorspronkelijke modellen.
• Minder gevoelig: Hoe groter de aanval was, hoe minder het de voorspelling beïnvloedde. De auto werd "steviger" in zijn oordeel.

Conclusie

Dit onderzoek laat zien dat je zelfrijdende auto's niet hoeft te herschrijven om ze veiliger te maken tegen hackers. Je kunt ze simpelweg een trucje leren: "Kijk niet naar één ding, maar kijk een beetje wazig en neem het gemiddelde."

Dit is een goedkope, snelle en effectieve manier om ervoor te zorgen dat onze toekomstige auto's niet zomaar door een slimme trucje op de verkeerde weg worden geduwd. Het is alsof je een auto een paar extra spiegels geeft zodat hij de waarheid altijd ziet, ongeacht wat er in de hoekjes gebeurt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluating randomized smoothing as a defense against adversarial attacks in trajectory prediction" in het Nederlands.

Probleemstelling

Autonome voertuigen zijn afhankelijk van nauwkeurige en robuuste trajectvoorspellingen om veilig en efficiënt te kunnen rijden. Hoewel state-of-the-art modellen (zoals deep learning-architecturen) hoge voorspellingnauwkeurigheid behalen op standaard benchmarks, zijn ze kwetsbaar voor adversariële aanvallen. Bij deze aanvallen worden de waargenomen trajecten van andere verkeersdeelnemers (bijvoorbeeld een tegenligger) subtiel verstoord met kleine perturbaties ($\delta X$) om de voorspelling van het autonome voertuig te misleiden.

Bestaande verdedigingsmechanismen tegen dergelijke aanvallen in de context van trajectvoorspelling zijn beperkt. Hoewel er methoden zijn om deze aanvallen te detecteren, ontbreekt het aan systematische benaderingen om de modellen zelf te versterken. Het doel van dit werk is het evalueren van Randomized Smoothing als een effectieve verdedigingsstrategie om de robuustheid van trajectvoorspellers te verbeteren zonder de nauwkeurigheid in normale (niet-aangevallen) situaties te compromitteren.

Methodologie

De auteurs passen Randomized Smoothing toe op probabilistische trajectvoorspellers. In plaats van het model direct te trainen op de ruwe invoer, wordt het model toegepast op meerdere versies van de invoer die zijn verstoord met willekeurige ruis, waarna de voorspellingen worden gemiddeld.

De paper introduceert twee specifieke strategieën voor het toepassen van deze smoothing op trajectvoorspellers:

1. Positie-gebaseerde smoothing (Position-based):

   • Ruis ($\epsilon_X$) wordt direct toegevoegd aan de positie-coördinaten van de waargenomen toestanden van de voertuigen.
   • De voorspelling wordt berekend als het gemiddelde van $N$ voorspellingen op de verstoorende posities: $g_N(X) = \frac{1}{N} \sum f_{P\theta}(X + \epsilon_X)$.
   • De ruisvariatie is hier specifiek gericht op de positie-componenten.

2. Besturingsgebaseerde smoothing (Control-based):

   • Deze methode gaat uit van een dynamisch model waarbij toestanden (positie en snelheid) voortvloeien uit besturingsinvoer (zoals versnelling en stuurhoek).
   • Ruis ($\epsilon_U$) wordt toegevoegd aan de besturingsinvoer (control inputs) in plaats van direct aan de posities.
   • De verstoorende besturing wordt omgezet naar een verstoord traject via het dynamische model $\Phi$, en daarop wordt de voorspelling gedaan: $g_N(X) = \frac{1}{N} \sum f_{P\theta}(\Phi(U + \epsilon_U))$.
   • Voordeel: Deze aanpak zorgt ervoor dat de gegenereerde verstoorende trajecten dynamisch haalbaar blijven (bijv. geen onmogelijke scherpe bochten), wat de prestaties van het model minder negatief beïnvloedt dan onrealistische positiestoringen.

Experimenteel Opzet:

• Datasets: L-GAP (simulatie) en rounD (real-world data van Duitse rotondes).
• Basismodellen: Trajectron++ en ADAPT (twee state-of-the-art modellen).
• Aanval: Kinematisch beperkte adversariële aanvallen (gebaseerd op Projected Gradient Descent) die de voorspelling maximaliseren van de fout (Average Displacement Error - ADE).
• Variabelen: Verschillende niveaus van perturbatie-limieten ($d_{max}$) en ruisvariatie ($\sigma$). Er wordt ook getest of smoothing tijdens het trainen ("train & eval") beter werkt dan alleen tijdens de evaluatie ("eval").

Belangrijkste Resultaten

De experimentele resultaten tonen aan dat Randomized Smoothing een effectieve verdediging is:

1. Verbeterde Robuustheid: In alle experimenten met adversariële aanvallen ($d_{max} > 0$) verbeterde Randomized Smoothing de prestaties (verlaagde ADE) van de basismodellen aanzienlijk.
2. Behoud van Nauwkeurigheid: In tegenstelling tot wat vaak wordt gezien in andere domeinen (waar smoothing de prestaties in normale situaties kan verslechteren), behielden de gesmoothde modellen hun nauwkeurigheid op niet-verstoord data. In sommige gevallen (bijv. ADAPT op rounD) werd de baseline-prestatie zelfs verbeterd, wat suggereert dat smoothing werkt als een vorm van regularisatie die overfitting voorkomt.
3. Vermindering van Aanvalsimpact: Smoothing verlaagde de correlatie tussen de grootte van de aanval ($d_{max}$) en de voorspellingsfout. Zelfs bij grote perturbaties bleven de fouten beperkter dan bij onbescheremde modellen.
4. Model-afhankelijkheid:
   • Voor Trajectron++ werkte positie-gebaseerde smoothing het beste.
   • Voor ADAPT werkte besturingsgebaseerde smoothing het beste.
   • Dit suggereert dat de optimale strategie afhankelijk is van de architectuur van het specifieke model.
5. Ruisniveau ($\sigma$): Over het algemeen leverden lagere waarden voor de ruisvariatie ($\sigma = 0.25$ m) de beste balans op tussen robuustheid en lokale nauwkeurigheid.

Bijdragen

• Eerste toepassing: Dit is een van de eerste werken dat Randomized Smoothing succesvol toepast en evalueert specifiek voor het domein van trajectvoorspelling in autonoom rijden.
• Twee strategieën: De paper introduceert en vergelijkt twee nieuwe methoden voor smoothing: direct op posities versus indirect via besturingsinvoer, waarbij de laatste dynamische haalbaarheid garandeert.
• Empirisch bewijs: Het biedt uitgebreide experimentele data die aantoont dat deze techniek computatie-efficiënt is (geen hertraining van het basismodel nodig voor evaluatie) en consistent robuustheid biedt over verschillende datasets en modellen.

Significantie

De studie is van groot belang voor de veiligheid van autonome systemen. Het toont aan dat het mogelijk is om kwetsbare trajectvoorspellers te verdedigen tegen misleidende aanvallen zonder de complexiteit van het opnieuw trainen van modellen of het verlies van prestaties in normale omstandigheden.

Randomized Smoothing wordt gepresenteerd als een simpele, rekenkundig goedkope en praktische tool die direct kan worden ingezet om de veiligheid van autonome voertuigen te verhogen. De resultaten onderstrepen de noodzaak van robuuste voorspellingssystemen voor real-world toepassingen en leggen de basis voor toekomstig werk gericht op het certificeren van deze robuustheid (bijv. het definiëren van gegarandeerde voorspellingssets).