💻 computer science

Real-Time Evaluation of Autonomous Systems under Adversarial Attacks

Dit artikel presenteert een offline raamwerk voor het evalueren van de adversariele robuustheid van autonome rijbeleid die zijn getraind op real-world kruispuntdata, en toont aan dat architecturale keuzes en staatrepresentaties kritieke invloed hebben op de stabiliteit tegen op gradiënten gebaseerde aanvallen, ondanks vergelijkbare nominale nauwkeurigheid.

Oorspronkelijke auteurs: Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Adithya Mohan, Xujun Xie, Venkatesh Thirugnana Sambandham, Torsten Schön

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert een auto door een drukke stads kruising te rijden. Meestal testen ingenieurs deze robots in een videospel (simulatie), omdat het veilig en goedkoop is. Maar dit artikel stelt dat videospellen te perfect zijn. Ze missen de rommelige, echte storingen—zoals slechte GPS-signalen, verwarrende wegmarkeringen of licht verkeerde gegevens—die optreden wanneer een echte auto daadwerkelijk op de weg rijdt.

De auteurs bouwden een "stress-test" voor zelfrijdende auto's met behulp van echte data verzameld van een echte Audi Q8 in Duitsland. Ze keken niet alleen of de auto goed rijdt; ze controleerden of de auto kapotgaat als iemand probeert hem te bedriegen.

Hier is de uitleg van hun experiment met eenvoudige analogieën:

1. De drie "studenten" (de modellen)

De onderzoekers trainden drie verschillende soorten AI-"studenten" om te leren hoe ze door kruisingen moeten rijden. Ze bestudeerden allemaal exact hetzelfde leerboek (de echte werelddata), maar ze gebruikten verschillende leerstijlen:

De rechttoe-rechtaan student (MLP): Dit model is als een student die regels op een simpele, lineaire manier uit het hoofd leert. Het kijkt naar de huidige situatie en raadt de volgende zet.
De gefocuste student (Transformer): Dit model is als een student die een markeerstift gebruikt om aandacht te besteden aan specifieke details (zoals "die rode auto is dichtbij" of "de rijbaan buigt af"). Het breekt de weg op in kleine "tokens" of stukjes om het hele plaatje beter te begrijpen.
De beloningszoeker (GAIL/IRL): Dit model kopieert de leraar niet zomaar; het probeert uit te vinden waarom de leraar die zetten maakte. Het speelt een spel waarbij het probeert een rechter te misleiden om te denken dat het de expert-chauffeur is.

2. De "magische truc" (adversariale aanvallen)

Zodra de studenten getraind waren, probeerden de onderzoekers hen te bedriegen. Ze veranderden niet de weg of de auto; ze veranderden de data die de auto las.

Denk hierbij aan het volgende: Stel je voor dat je rijdt en iemand plakt een klein, bijna onzichtbaar stickerje op je dashboard dat je snelheidsmeter of je zicht op de rijbaan licht vervormt. Voor jou ziet het er normaal uit, maar de computer van de auto ziet een volledig andere realiteit.

De "één-klik" truc (FGSM): Een snelle, enkele duw aan de data om te zien of de auto in de war raakt.
De "onvermoeibare" truc (PGD): Een langzame, herhaalde reeks duwtjes, waarbij de truc voortdurend wordt aangepast om het exacte zwakke punt in het brein van de auto te vinden.

3. De resultaten: "Goede cijfers" versus "Overleven in de echte wereld"

Hier is de schokkende bevinding: Alle drie de studenten haalden uitstekende cijfers voor hun eindexamen (schoon rijden). Ze voorspelden allemaal het pad perfect wanneer de weg normaal was.

Echter, wanneer de "magische truc" (de adversariale aanval) werd toegepast:

Ze faalden allemaal spectaculair. Hoewel ze slim waren, zorgde een kleine, onzichtbare verandering in de data ervoor dat ze wild van koers raakten.
De "onvermoeibare" truc was het ergst. Terwijl de "één-klik" truc de auto een beetje liet afdrijven, zorgde de "onvermoeibare" truc ervoor dat de auto tot 8 meter (ongeveer 26 voet) van koers raakte. Dat is alsof je rechtstreeks de verkeerde rijbaan in rijdt of helemaal van de weg af.
Slimmere modellen redden de dag niet. De "gefocusde student" (Transformer) en de "beloningszoeker" (GAIL) waren net zo kwetsbaar als de "rechttoe-rechtaan student". Complexer zijn of een "slimmere" leerstijl hebben maakte ze niet immuun voor de truc.

4. Het probleem van "Glad maar fout"

Het artikel wijst op een eng detail over hoe deze auto's faalden. Wanneer ze bedrogen werden, schokte de auto niet zomaar willekeurig. Vaak genereerde het een pad dat glad en fysiek mogelijk leek (zoals een echte auto die een bocht neemt), maar het was semantisch fout.

Analogie: Stel je een bestuurder voor die het stuur soepel draait om door een bakstenen muur te rijden, omdat de "muur" bedrogen was om eruit te zien als een "rijbaan". De beweging is glad, maar het resultaat is een crash.

De conclusie

De belangrijkste boodschap is dat je niet zomaar een zelfrijdende auto kunt vertrouwen alleen omdat hij goed rijdt onder normale omstandigheden.

Het artikel bewijst dat:

Simulatie niet genoeg is: Je moet testen met echte data om deze zwakke punten te vinden.
Nauwkeurigheid is geen veiligheid: Een auto kan 99% nauwkeurig zijn in normaal rijden, maar 0% veilig wanneer iemand probeert hem te bedriegen.
Complexiteit betekent niet veiligheid: De AI "slimmer" of complexer maken maakt het niet automatisch moeilijker om te bedriegen.

De onderzoekers creëerden een nieuw "stress-test" kader om ingenieurs te helpen deze verborgen barsten te vinden voordat ze auto's op de weg zetten. Ze ontdekten dat momenteel geen van de standaardmethoden echt veilig is tegen deze digitale trucs, en dat we specifieke verdedigingen moeten bouwen om ze te stoppen.

Technische Samenvatting: Real-time Evaluatie van Autonome Systemen onder Adversariële Aanvallen

Probleemstelling

Hoewel adversariële testen standaard zijn geworden in simulatie voor autonoom rijden, falen puur virtuele evaluaties om structurele inconsistenties, toezichtbeperkingen en effecten van staatrepresentatie te vangen die inherent zijn aan real-world data. Deze factoren vormen fundamenteel de robuustheid van het beleid, maar worden in simulatie vaak geabstraheerd. Bovendien, hoewel robuustheidskwetsbaarheden in versterkend leren zijn geanalyseerd, blijven gecontroleerde evaluaties op gestructureerde real-world trajectdatasets beperkt. Bestaande fysieke aanvallen richten zich vaak op upstream perceptiepijplijnen (bijvoorbeeld camera's, LiDAR), terwijl dit werk de kwetsbaarheid van de laag-dimensionale statvector zelf aanpakt, ervan uitgaande dat de perceptielaag is omzeild of gecompromitteerd.

Methodologie

Experimenteel Kader

De auteurs stellen een offline traject-leer- en adversariële robuustheidsevaluatiekader voor dat is gebaseerd op real-world kruispuntrijdata. De evaluatie wordt uitgevoerd in een open-loop modus op een Audi Q8 testvoertuig in volle schaal, uitgerust met een multi-sensorstapel (LiDAR, camera's, GNSS/IMU) en een Autoware-gebaseerd softwarekader. Getrainde beleidsmodellen voeren real-time inferentie uit op live voertuigdata, maar beïnvloeden de voertuigbesturing niet, waardoor veiligheid wordt gewaarborgd terwijl een realistische robuustheidsbeoordeling mogelijk is onder werkelijke sensie- en synchronisatieomstandigheden.

Data en Staatconstructie

De studie maakt gebruik van het UrbanIng-V2X-dataset, met focus op single-ego trajectleren over drie verschillende kruispuntsituaties in Ingolstadt, Duitsland.

Staatrepresentatie ( $s_t$ ): Een gestructureerde 97-dimensionele vector wordt voor elk tijdstip geconstrueerd, bestaande uit:
- Ego-dynamiek (4D): Snelheid, versnelling, gijsnelheid en koers.
- Lijn-gerelateerde geometrie (3D): Laterale verplaatsing, koersfout en kromming.
- Omringende objecten (80D): Kenmerken voor de $K=10$ dichtstbijzijnde verkeersdeelnemers (positie, snelheid, afmetingen, klasse, afstand).
- Validiteitsmasker (10D): Binaire indicatoren voor objectaanwezigheid.
Doel: Een toekomstig traject van 20 stappen ( $\tau_t$ ) dat $(\Delta x, \Delta y, \Delta \psi, v)$ voorstelt.

Geëvalueerde Modellen

Drie traject-leerparadigma's worden vergeleken onder identieke staat- en toezichtcontracten:

BC-MLP: Een feedforward Multi-Layer Perceptron (twee verborgen lagen, 512 eenheden) dat Behavior Cloning uitvoert.
BC-Transformer: Een Transformer-gebaseerd model dat object-tokenisatie gebruikt (ego, lijn en 10 objecttokens) met een classificatietoken voor globale aggregatie.
IRL-GAIL: Een Inverse Reinforcement Learning-benadering geformuleerd als een Generative Adversarial Imitation Learning (GAIL) minimax-spel, waarbij het beleidsnetwerk dezelfde architectuur deelt als de BC-MLP.

Adversariële Aanvalsprotocol

Inferentie-tijd robuustheid wordt beoordeeld door gradiëntgebaseerde perturbaties toe te passen op de gestructureerde statvector $s_t$ met behulp van:

FGSM (Fast Gradient Sign Method): Single-step perturbatie.
PGD (Projected Gradient Descent): Iteratieve 10-staps perturbatie.
Beperkingen: Perturbaties zijn begrensd door een $\ell_\infty$ budget ( $\epsilon = 0.05$ ) toegepast op alle statdimensies zonder per-kenmerk normalisatie.
Maten: Gemiddelde Verplaatsingsfout (ADE) en Eindverplaatsingsfout (FDE) worden berekend tegenover ground-truth trajecten.

Belangrijkste Bijdragen

Real-world Offline Pijplijn: Etablering van een gestructureerde offline traject-leerpijplijn gebaseerd op real-world kruispuntdata, verdergaand dan puur gesimuleerde adversariële testen.
Gecontroleerde Paradigmavergelijking: Een systematische vergelijking van BC (MLP), BC (Transformer) en offline GAIL-stijl IRL onder identieke staatrepresentaties en toezichtcontracten.
Systematische Robuustheidsevaluatie: Een gestructureerde evaluatiematrix variërend in modelfamilie, aanvalstype (Clean, FGSM, PGD) en kruispuntsituatie (3 kruisingen), dekkend dag- en nachtcondities.
Empirische Robuustheidsanalyse: Aantonen dat vergelijkbare nominale trajectnauwkeuriness aanzienlijk verschillende adversariële robuustheidsprofielen kan verbergen.

Resultaten

Nominale Prestaties

Onder schone (niet-adversariële) condities bereikten alle modellen lage voorspelfouten, met ADE- en FDE-waarden consistent onder de 0,08 over alle kruispunten. Dit bevestigt dat verschillen waargenomen onder aanval niet te wijten zijn aan underfitting of architecturale capaciteitsbeperkingen, maar eerder aan de gevoeligheid van de geleerde input-output-mappingen.

Adversariële Degradatie

FGSM-aanvallen: Veroorzaakten significante degradatie, met een toename van ADE met ongeveer 1,0–1,5 meter en FDE met 1,8–2,9 meter. BC-MLP en BC-Transformer vertoonden vergelijkbare kwetsbaarheid, wat suggereert dat verhoogde architecturale expressiviteit (attentie-mechanismen) niet inherent de vatbaarheid voor single-step gradiëntaanvallen vermindert.
PGD-aanvallen: Resulteerden in aanzienlijk grotere fouten. FDE-degradatie overschreed vaak 5,0 meter, en bereikte bijna 8,0 meter in complexe kruispunten.
- BC-MLP vertoonde de grootste degradatie, vooral in scenario's met hoge kromming, wat wijst op gevoeligheid voor iteratieve versterking.
- BC-Transformer toonde bescheiden verbeteringen in sommige configuraties, maar bleef over het algemeen zeer kwetsbaar.
- IRL-GAIL toonde geen consistente robuustheidsvoordelen; in meerdere gevallen was de degradatie vergelijkbaar met of erger dan bij op BC gebaseerde modellen.

Falenpatronen

Kwalitatieve analyse (Figuur 3) onthulde dat adversariaal geperturbeerde trajecten vaak kinematisch glad blijven maar semantisch incorrect zijn, waardoor rijstrookvolging of kruispunregels worden geschonden. Fouten hadden de neiging zich op te hopen over het voorspellingshorizon, wat leidde tot grote eindverplaatsingsfouten (hoge $\Delta$ FDE ten opzichte van $\Delta$ ADE).

Betekenis en Claims

Het artikel claimt dat nominale trajectvoorspellingsnauwkeuriness geen indicatie is van adversariële robuustheid. De studie stelt vast dat:

Architecturale Inductieve Biases Belangrijk zijn: Ontwerp van staatstructuur en architecturale keuzes beïnvloeden adversariële stabiliteit kritiek, wat leidt tot sterk verschillende robuustheidsprofielen ondanks vergelijkbare schone prestaties.
Trainingsdoelstellingen Robuustheid Niet Garanderen: Adversariële imitatie-objctieven (GAIL) en verhoogde modelcomplexiteit verlenen niet inherent inferentie-tijd robuustheid tegen statperturbaties.
Behoefte aan Scenario-bewuste Evaluatie: Robuustheid wordt gezamenlijk bepaald door modelarchitectuur en lokale statgeometrie (bijvoorbeeld kromming, samenvoegend verkeer), wat scenario-bewuste evaluatie vereist in plaats van alleen aggregate maten.

Het voorgestelde kader dient als een schaalbaar, reproduceerbaar benchmark voor het bestuderen van offline trajectleren en adversariële robuustheid in real-world autonome rijomgevingen, waarbij de kloof wordt benadrukt tussen nauwkeurigheid onder schone condities en veiligheidsrelevant gedrag onder aanval.