Natural Adversaries: Fuzzing Autonomous Vehicles with Realistic Roadside Object Placements

Deze paper introduceert TrashFuzz, een black-box fuzzing-algoritme dat realistische verkeersschendingen veroorzaakt door de plaatsing van alledaagse objecten langs de weg te manipuleren binnen de kaders van wettelijke richtlijnen, zonder gebruik te maken van onnatuurlijke adversarial patches.

De kern

Stel je voor dat je een zelfrijdende auto hebt die net zo slim is als een mens, maar dan met een heel specifiek zwak puntje: hij is een beetje te goed in het volgen van regels, maar niet goed genoeg in het begrijpen van de "gewone" wereld om hem heen.

Dit onderzoek, genaamd TRASHFUZZ, gaat over hoe je die auto kunt "verwarren" zonder hem te bedriegen met rare, onnatuurlijke dingen.

Hier is de uitleg in gewone taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Onzichtbare" Valstrik

Meestal denken mensen dat je een zelfrijdende auto kunt bedriegen door iets heel raars op de weg te plakken, zoals een felgekleurde sticker op een verkeersbord of een vreemd gevormde prullenbak. Dat is als proberen een mens te bedriegen door een paard in een pakje te verstoppen. Het werkt misschien, maar het is niet echt realistisch. In het echte leven staan er geen paarden in pakjes; er staan gewoon prullenbakken, bomen en bankjes.

De onderzoekers vroegen zich af: "Kan een auto in de war raken door iets dat er heel normaal uitziet, maar op de verkeerde plek staat?"

2. De Oplossing: TRASHFUZZ (De "Prullenbak-Fuzz")

De onderzoekers hebben een slimme testmethode bedacht, die ze TRASHFUZZ hebben genoemd. Het idee is als volgt:

• De Regels: Stel je voor dat er een strenge wetboek is voor waar prullenbakken en bomen mogen staan (voor mensen). De auto moet ook aan die regels voldoen.
• De Test: In plaats van een rare sticker te plakken, verplaatsen ze gewoon de normale prullenbakken, bankjes en bomen. Ze doen dit op een manier die wettelijk gezien perfect is (geen prullenbak midden op de rijbaan), maar die voor de computer van de auto toch een heel raar plaatje geeft.
• De Fuzz: Ze gooien duizenden variaties van deze "normale" situaties op de auto af, alsof je een regen van kleine, onschuldige stenen op een muur gooit om te zien waar er een barst ontstaat.

3. Hoe werkt het? (De "Gierige Zoeker")

Stel je voor dat je een blindeman bent die een labyrint moet vinden. TRASHFUZZ is als een slimme gids die zegt: "Oké, als we die ene prullenbak een beetje naar links schuiven, raakt de auto net iets meer in de war. Laten we dat doen!"

De computer zoekt niet willekeurig. Hij kijkt naar de reactie van de auto:

• "Oh, toen ik die prullenbak hier zette, dacht de auto dat het een voetganger was." -> Goed, laten we dat proberen met een andere prullenbak.
• "Oh, toen ik die twee prullenbakken naast elkaar zette, dacht de auto dat het een auto was." -> Interessant!

Ze gebruiken een algoritme dat "greedy" (gierig) heet. Dat betekent dat het altijd de stap kiest die de auto het meest in de war brengt, en dan nog een stapje verder gaat.

4. Wat vonden ze? (De "Rode Lantaarn" Illusie)

Het resultaat was verrassend en een beetje eng. Zelfs met alleen maar normale, wettelijk toegestane objecten, konden ze de auto dwingen om 15 verschillende verkeersregels te overtreden.

Een van de meest opvallende voorbeelden:
De onderzoekers plaatsten een paar onschuldige prullenbakken op een specifieke manier. De camera van de auto werd hierdoor zo overbelast (vergelijkbaar met iemand die te veel tegelijk probeert te zien en daardoor blind wordt), dat de auto een rood stoplicht zag als groen.

• Vergelijking: Het is alsof je een spiegel zo plaatst dat de verkeersagent denkt dat het licht groen is, terwijl het rood is. De auto rijdt dan gewoon door, terwijl hij had moeten stoppen.

5. Waarom is dit belangrijk?

Tot nu toe dachten we dat we zelfrijdende auto's veilig konden maken door ze te testen tegen rare, onnatuurlijke dingen. Maar dit onderzoek laat zien dat de gewone wereld ook gevaarlijk kan zijn voor een computer.

• De les: De regels voor waar we prullenbakken en bomen plaatsen, zijn gemaakt voor menselijke ogen. Mensen kunnen goed zien dat een prullenbak een prullenbak is, zelfs als hij raar staat. Computers niet altijd.
• De oplossing: We moeten misschien de regels voor het plaatsen van straatmeubilair aanpassen, zodat ze ook "vriendelijk" zijn voor de computers in de auto's. Misschien moeten prullenbakken er allemaal hetzelfde uitzien, of op een specifieke afstand staan, zodat de auto ze nooit verward met een voetganger.

Samenvattend

TRASHFUZZ is als een test die zegt: "Je auto is slim, maar als we de prullenbakken op de hoek een beetje verschuiven (zodat het er nog steeds normaal uitziet), gaat hij denken dat het een mens is en stopt hij plotseling, of denkt hij dat het licht groen is terwijl het rood is."

Het laat zien dat we niet alleen moeten kijken naar rare hacks, maar ook naar hoe we onze straten inrichten voor de "nieuwe bewoners" van de weg: de robots.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Natural Adversaries: Fuzzing Autonomous Vehicles with Realistic Roadside Object Placements" in het Nederlands.

Titel: Natural Adversaries: Fuzzing Autonomous Vehicles with Realistic Roadside Object Placements

Auteurs: Yang Sun, Haoyu Wang, Christopher M. Poskitt, Jun Sun (Singapore Management University)

---

1. Het Probleem

Autonome voertuigen (AV's) vertrouwen op geavanceerde perceptiesystemen om de omgeving te interpreteren. Bestaande research naar kwetsbaarheden in deze systemen richt zich voornamelijk op adversariële aanvallen met opvallende, onnatuurlijke elementen, zoals:

• Specifiek ontworpen "patches" op verkeersborden of de weg.
• Onrealistisch gevormde objecten.
• Aanvallen die vaak white-box kennis vereisen (toegang tot het interne model van het AV).

Deze methoden zijn beperkt in hun praktische toepasbaarheid omdat dergelijke objecten in de echte wereld niet voorkomen en vaak direct door menselijke waarnemers of systemen als verdacht worden herkend.

De kernvraag die dit paper adresseert is: Kunnen AV-perceptiesystemen worden misleid door volledig natuurlijke, "goedaardige" objecten (zoals prullenbakken, banken, bomen) die volgens bestaande verkeersrichtlijnen zijn geplaatst? De auteurs vermoeden dat richtlijnen die zijn ontworpen voor menselijke bestuurders mogelijk niet optimaal zijn voor AV-sensoren, wat kan leiden tot kritieke misinterpretaties en verkeersovertredingen.

2. Methodologie: TRASHFUZZ

De auteurs introduceren TRASHFUZZ, een black-box fuzzing-algoritme dat realistische, adversariële scenario's genereert door de positie van gewone wegobjecten te manipuleren, zonder gebruik te maken van onnatuurlijke patches.

A. Generatie van Natuurlijke Scenario's (Beperkingen)

Om de realiteit te waarborgen, worden de gegenereerde scenario's strikt beperkt door wettelijke en technische richtlijnen. De auteurs formaliseren deze richtlijnen (o.a. uit Singapore's Code of Practice for Works on Public Streets en richtlijnen van afvalbeheerders) in wiskundige regels.

• Voorbeelden van regels: Prullenbakken mogen niet op de rijbaan staan, moeten een minimale afstand hebben tot bomen en lantaarnpalen, en mogen voetpaden niet blokkeren.
• Implementatie: Het algoritme gebruikt een bibliotheek van realistische 3D-objecten (uit de Unity Asset Store) en zorgt ervoor dat elke mutatie binnen deze regels valt.

B. Zoekstrategie: Gierig Gradient-Gedreven Black-Box Zoeken

Het doel is om een scenario te vinden dat leidt tot een overtreding van verkeerswetten, gedefinieerd via Signal Temporal Logic (STL).

1. Codering: Scenario's worden gecodeerd als vectoren met objecten (type, positie, rotatie).
2. Doelfunctie: Het algoritme minimaliseert de "robustheid" ($\rho$) van de STL-specificaties. Een robuustheidswaarde $\leq 0$ betekent dat de wet is overtreden.
3. Voorwaarde voor overtreding: In plaats van één grote formule te gebruiken, wordt de specifieke wet ontleed in een set van kleinere "overtredingsdoelen" ($\Theta$). Dit zorgt voor diversiteit in de gevonden fouten.
4. Gradient-berekening: Omdat het een black-box aanval is (geen toegang tot de interne graadienten van het AV-model), berekent TRASHFUZZ een schatting van de gradient door kleine mutaties in de objectposities te vergelijken met de verandering in de robuustheidswaarde.
5. Iteratief proces: Het algoritme kiest iteratief het scenario met de grootste negatieve gradient (grootste kans op overtreding) als "seed" voor de volgende ronde van mutaties.

3. Belangrijkste Bijdragen

• Nieuwe Aanvalsperspectief: Het verschuift de focus van onnatuurlijke patches naar natuurlijke objectplaatsing als adversariële vector.
• Formalisatie van Realisme: Het vertaalt complexe, tekstuele overheidsrichtlijnen naar uitvoerbare wiskundige constraints voor scenario-generatie.
• Black-Box Fuzzing: Een efficiënt algoritme dat werkt zonder kennis van het interne AV-model, wat het praktisch toepasbaar maakt voor echte systemen.
• Tooling: Een openbare bibliotheek van realistische wegobjecten en de implementatie van TRASHFUZZ voor het Baidu Apollo-systeem.

4. Resultaten

De auteurs evalueerden TRASHFUZZ op het Baidu Apollo ADS (versie 7.0) in de LGSVL-simulatieomgeving.

• Validiteit: TRASHFUZZ slaagde erin om 100% van de gegenereerde scenario's te laten voldoen aan de strenge plaatsingsregels, terwijl willekeurig gegenereerde scenario's vaak ongeldig waren (bijv. objecten op de weg).
• Overtredingen: Het systeem induceerde overtredingen van 15 van de 24 geteste verkeerswetten.
  • Voorbeeld: Een onschuldige opstelling van prullenbakken overlaadde het perceptiesysteem, waardoor een rood stoplicht werd geïnterpreteerd als groen.
  • Andere effecten: Het veroorzaakte aarzeling, het niet doorgaan bij kruispunten, en agressief rijgedrag.
• Vergelijking met LawBreaker: TRASHFUZZ dekte alle overtredingen die LawBreaker (een vergelijkbare tool die zich richt op het muteren van het gedrag van andere voertuigen) vond, en vond bovendien extra overtredingen die alleen door objectplaatsing konden worden geactiveerd.
• Generaliseerbaarheid: Een voorlopige test op Autoware toonde aan dat soortgelijke perceptiefouten (misclassificatie van prullenbakken als voertuigen of voetgangers) ook in andere AV-stacks voorkomen.

5. Betekenis en Conclusie

De studie toont aan dat de huidige richtlijnen voor het plaatsen van wegobjecten, die primair zijn ontworpen voor menselijke bestuurders, onvoldoende zijn voor autonome voertuigen.

• Veiligheidsimplicatie: Zelfs volledig legale en natuurlijke objecten kunnen AV's tot kritieke fouten brengen, wat leidt tot gevaarlijke situaties of verkeerschaos.
• Aanbeveling: Er is behoefte aan een herziening van bestaande infrastructuurrichtlijnen (bijv. standaardiseren van de vorm of kleur van prullenbakken) om AV-perceptiesystemen te ondersteunen.
• Toekomst: De methologie biedt een nieuwe weg voor het testen van AV's die verder gaat dan simpele botsingsscenario's en zich richt op subtiele, regelgebaseerde misleidingen.

Kortom, TRASHFUZZ bewijst dat de "natuurlijke omgeving" zelf een potentieel kwetsbaarheidsvector is voor autonome voertuigen, en dat fuzzing met realistische objecten een krachtige tool is om deze kwetsbaarheden bloot te leggen.