Dance of the ADS: Orchestrating Failures through Historically-Informed Scenario Fuzzing

Dit paper introduceert ScenarioFuzz, een baanbrekende fuzzing-methode die gebruikmaakt van historische testdata en een grafische neurale netwerken om autonome rijstelsels te testen zonder vooraf gedefinieerde scenario's, waardoor de tijdskost met 60,3% wordt verminderd en de ontdekking van fouten met 103% wordt verhoogd.

Tong Wang, Taotao Gu, Huan Deng, Hu Li, Xiaohui Kuang, Gang Zhao

Gepubliceerd 2026-03-11
📖 4 min leestijd☕ Koffiepauze-leesvoer

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat een zelfrijdende auto niet zomaar een machine is, maar een hoofdrolspeler in een toneelstuk. Om te zien of deze acteur goed zijn werk doet, moeten we hem in allerlei moeilijke situaties zetten: regen, drukke kruispunten, kinderen die over de weg rennen, of een modderpoel.

Het probleem is: hoe creëer je al die situaties zonder dat het duizenden jaren duurt of onmogelijk wordt?

De auteurs van dit papier (uit China) hebben een slimme oplossing bedacht, genaamd ScenarioFuzz. Laten we dit uitleggen met een paar creatieve vergelijkingen.

1. Het oude probleem: "Willekeurig rondlopen"

Vroeger probeerden mensen om fouten in zelfrijdende auto's te vinden door willekeurig punten op een kaart te kiezen.

  • De vergelijking: Stel je voor dat je een acteur wilt testen door hem zomaar ergens in een grote stad te laten staan en te zeggen: "Loop maar eens." Soms loopt hij een doodlopende straat in, soms staat hij midden in een meer, en soms loopt hij gewoon een uur lang in een cirkel.
  • Het nadeel: Dit kost enorm veel tijd en levert vaak geen echte problemen op, omdat de situaties onrealistisch zijn.

2. De nieuwe oplossing: "De Regisseur met een Script"

Deze nieuwe methode werkt als een ervaren regisseur die de geschiedenis kent. In plaats van willekeurig te beginnen, kijkt de regisseur eerst naar de stratenkaart (zoals OpenDRIVE) om te zien waar de echte wegen, stoplichten en kruispunten liggen.

  • Het "Zaadje" (Seed Corpus): De regisseur maakt een lijst met alle mogelijke startpunten die logisch zijn. Geen auto's die in een boom staan, maar wel op de weg. Dit is hun "zaadjes-boek".
  • Het "Dansen" (Mutation): Zodra ze een goed startpunt hebben, beginnen ze te "dansen" met de situatie. Ze veranderen kleine dingen:
    • Het weer: Zet de zon op de achtergrond of laat het regenen.
    • De acteurs: Voeg een fietser toe of verander een auto in een politieauto.
    • De obstakels: Zet een modderpoel op de weg.
    • Dit noemen ze mutatie. Ze proberen duizenden variaties om te zien of de auto in de war raakt.

3. De "Orkestrator" (Het Brein)

Het grootste probleem bij het testen is dat je duizenden situaties moet simuleren, maar de computer kan niet alles tegelijk doen. Veel situaties zijn saai en leiden tot geen fouten.

Hier komt de Orkestrator (een kunstmatige intelligentie, een GNN-model) om de hoek kijken.

  • De vergelijking: Stel je voor dat je een orkest hebt met honderden muzikanten. De orkestrator luistert naar de eerdere optredens (historische data). Als hij ziet dat een bepaalde combinatie van regen en een fietser op een kruispunt vaak tot een crash leidt, zegt hij: "Stop! Die situatie is interessant. Laten we die eerst spelen."
  • Hij filtert dus de saaie situaties eruit en kiest alleen de risicovolle scenario's uit om te testen. Dit bespaart enorm veel tijd.

4. Wat vonden ze?

Met deze methode hebben ze 6 verschillende zelfrijdende systemen getest en 58 echte fouten (bugs) gevonden.

  • Sommige auto's zagen kinderen die op de grond lagen niet (te klein voor de sensoren).
  • Sommige auto's konden geen stoplichten herkennen in de simulatie.
  • Sommige systemen werden paniekverwekkend stil als ze niet wisten wat ze moesten doen, waardoor ze vastliepen in het verkeer.

Ze hebben ook 54 soorten "gevaarlijke danspassen" geïdentificeerd. Dit zijn patronen van situaties (bijvoorbeeld: een auto die te snel is en een fietser die plotseling afslaat) die vaak leiden tot ongelukken.

Samenvatting in één zin

In plaats van blindelings rond te lopen in de stad om fouten te zoeken, heeft deze methode een slimme regisseur die de kaart bestudeert, de meest gevaarlijke situaties voorspelt, en de auto daar speciaal voor traint, zodat we veiliger op de weg kunnen rijden.

De kernboodschap: Door slim te kijken naar de geschiedenis en de kaart, vinden we sneller de zwakke plekken in de technologie, zodat de "hoofdrolspeler" (de auto) zijn rol in het echte leven veilig kan spelen.