Technische Samenvatting: View-Induced Trajectory Manipulation in Autonomous Driving

Probleemstelling

Bestaande fysische adversariale aanvallen op op visie gebaseerde systemen voor autonoom rijden (AD) vertrouwen doorgaans op geavanceerde, dynamisch veranderende patches of statische patches die zijn geoptimaliseerd voor robuustheid vanuit meerdere gezichtspunten. Deze benaderingen behandelen variatie in het kijkhoek (veroorzaakt door relatieve beweging tussen het eigen voertuig en een doelwit) als een robuustheidsuitdaging die moet worden overwonnen om de effectiviteit van de aanval te handhaven. Bijgevolg vereisen ze complexe optimalisatie vanuit meerdere gezichtspunten of actieve interventie (bijvoorbeeld dynamische displays) om perceptiefouten te induceren, zoals het verbergen van objecten of verkeerde classificatie.

Dit artikel identificeert een kritieke nalatigheid: variatie in het kijkhoek zelf kan worden ingezet als een aanvalsmechanisme. Huidige systemen vertrouwen op temporele perceptie waarbij detecties worden geassocieerd, voorspeld en gepland. Hoewel een fout in een enkel frame mogelijk wordt gefilterd, kan een coherente temporele evolutie van perceptiefouten zich voortplanten door de downstream-pijplijn om planningsbeslissingen te beïnvloeden. De auteurs stellen een nieuw aanvalspatroon voor: "Stille Camouflage, Bewegende Illusie". Het doel is om een statische, passieve adversariale camouflage die op een voertuig is gemonteerd, te gebruiken om consistente feature-drift over frames te induceren uitsluitend door natuurlijke relatieve beweging. Dit zorgt ervoor dat het AD-systeem een fysiek plausibele maar onjuiste traject afleidt (bijvoorbeeld een vals cut-in), wat onnodig hard remmen of het opgeven van inhaalmanoeuvres tot gevolg heeft.

Methodologie

1. Bedreigingsmodel

• Aanvaller: Kan een statische fysische camouflage bevestigen aan een voertuig onder zijn controle.
• Kennis: Witte-kasttoegang tot het perceptiemodel van het slachtoffer (of overdracht via een surrogaatmodel). Er wordt geen kennis verondersteld van downstream-modules voor tracking, voorspelling of planning.
• Mechanisme: De aanval wordt passief geactiveerd door normale relatieve beweging. Naarmate het voertuig van het slachtoffer zich verplaatst ten opzichte van het gecamoufleerde voertuig, verandert de kijkhoek, waardoor de geprojecteerde verschijning van de statische camouflage evolueert.
• Doel: Een temporeel coherente verplaatsing van een 3D-bounding box (bbox) induceren die zich voortplant naar de planningsfase, wat leidt tot veiligheidskritieke beslissingen.

2. Aanvalspijplijn

Het voorgestelde kader bestaat uit drie fasen:

• Selectie van Scenario's:

  • Filter voor Aanvalsmogelijkheid (AFF): Selecteert sequenties waarin het doelvoertuig zichtbaar is, relevant voor het pad van het eigen voertuig, en nog niet al intrusief is.
  • Filter voor Kijkhoek (VAF): Selecteert specifiek sequenties met voldoende variatie in kijkhoek tussen het eerste en het laatste frame. In tegenstelling tot eerdere werken wordt een grotere variatie geprefereerd om de hoekafhankelijke evolutie van de verschijning te versterken.

• Rendering van Camouflage:

  • Een statische camouflage-textuur ($\delta$) wordt geoptimaliseerd en gemapt naar het renderbare gebied van het mesh van het doelvoertuig.
  • Occlusies worden verwerkt met behulp van segmentatiemaskers (SAM2), en de rendering wordt uitgevoerd met PyTorch3D met camera-intrinsieken.

• Planning-geleide Optimalisatie:

  • Doelzoek: Het systeem zoekt naar een optimale verplaatsingsrichting ($\bar{u}$) en stapgrootte ($\bar{s}$) die downstream planningsfouten zou maximaliseren (bijvoorbeeld het veroorzaken van een botsing of hard remmen).
  • Verliesfuncties: De camouflage wordt geoptimaliseerd om de verplaatsing langs de doelrichting te maximaliseren, terwijl temporele consistentie wordt gewaarborgd.
    • Move Loss ($L_{move}$): Drijft het centrum van de 3D-bbox langs de doelrichting.
    • Progress Loss ($L_{prog}$): Dwingt een progressief toenemende verplaatsing af ($d_{k+1} - d_k \approx \bar{s}$) om een coherente bewegingsillusie te creëren.
    • Fidelity Loss ($L_{fid}$): Zorgt ervoor dat het doel een geldig gedetecteerd object blijft (behoud van vertrouwen, afmetingen en yaw).
    • Style Loss ($L_{style}$): Omvat Total Variation (TV) en Non-Printability Score (NPS) om te garanderen dat het patroon printbaar is en weinig ruis bevat.
  • Robuustheid: 3D Expectation over Transformation (EoT) wordt toegepast tijdens de optimalisatie, waarbij willekeurige verstoringen (yaw, translatie, diepte, schaal) worden ingebracht op de pose van het doelwit.

Belangrijkste Bijdragen

1. Nieuw Aanvalsmechanisme: Het artikel identificeert variatie in kijkhoek als een nieuw aanvalsoppervlak. Het toont aan dat statische camouflage kan worden omgezet in dynamische temporele verstoringen door natuurlijke rijdynamiek, waardoor de noodzaak voor actieve of dynamische adversariale patches wordt geëlimineerd.
2. Geometrie-beperkt Kader: Er wordt een methode voorgesteld om statische camouflage te genereren die progressieve 3D-bbox-beweging over frames induceert. Dit kader zorgt ervoor dat de aanval fysiek projecteerbaar en temporeel coherent is.
3. Systeemniveau Impact: Het werk toont aan dat deze geïnduceerde bewegingsillusies zich voortplanten door tracking- en voorspellingsmodules om realistische, schadelijke rijgedragingen (opgeven van inhaalmanoeuvres, hard remmen) te activeren in end-to-end AD-pijplijnen.

Experimentele Resultaten

De aanval werd geëvalueerd op de nuScenes-dataset met 220 scenario's en drie op visie gebaseerde 3D-detectoren (BEVDet, BEVDepth, FastBEV++). Twee downstream-pijplijnen (Pijplijn A en B) werden geconstrueerd om tracking, voorspelling en planning te simuleren.

• Succespercentage: De aanval behaalde een Attack Success Rate (ASR) van maximaal 87,5% (gemeten aan de hand van hard-remgebeurtenissen, gedefinieerd als vertraging $\ge 3.0 m/s^2$). In cross-validatie-instellingen varieerde de ASR van 50,0% tot 66,7%.
• Temporele Coherentie: De Progressive Displacement Rate (PDR) bereikte gemiddeld 70,8%, wat bevestigt dat de geïnduceerde bbox-verschuivingen temporeel progressief waren in plaats van willekeurige ruis.
• Downstream Impact:
  • Gemiddelde Voorspellingsfout (APE): Tot 3,02 m afwijking in voorspelde trajecten.
  • Minimale Trajectafstand (MTD): Gereduceerd tot ~1,48 m, wat aangeeft dat het voorspelde pad het geplande pad van het slachtoffer benaderde, waardoor een veiligheidsconflict ontstond.
  • Hard Remmen: Activeren van maximale remvertraging (MBD) van maximaal 4,45 $m/s^2$.
• Factoren die Effectiviteit Beïnvloeden:
  • Variatie in Kijkhoek: Grotere variatie correleert met sterkere verplaatsing.
  • Specifieke Scenario's: De aanval is effectiever bij kleinere afstanden, helderdere verlichting, grotere projectieoppervlakken en lagere relatieve snelheden.
  • Overdraagbaarheid: Hoewel cross-model overdraagbaarheid beperkt is (vanwege detector-specifieke feature-aggregatie), is de aanval effectief overdraagbaar tussen verschillende voertuigtypen (SUV, Sedan, Bestelbus).

Betekenis en Claims

De auteurs claimen dat dit werk een eerder over het hoofd gezien kwetsbaarheid in autonoom rijden benadrukt: de afhankelijkheid van temporele consistentie maakt systemen vatbaar voor statische fysieke aanvallen die dynamische kijkcondities exploiteren.

• Paradigmaverschuiving: Het artikel betoogt dat variatie in kijkhoek niet alleen als een robuustheidsdrempel moet worden behandeld, maar moet worden erkend als een potentieel aanvalsvector.
• Implementatiehaalbaarheid: In tegenstelling tot eerdere werken die dynamische displays of actieve interventie vereisen, is deze aanval "passief" en "gemakkelijk te implementeren", aangezien deze alleen een geparkeerd voertuig met een specifiek camouflagepatroon vereist om hard remmen bij voorbijgaande autonome voertuigen te induceren.
• Veiligheidsimplicaties: De resultaten suggereren dat huidige verdedigingen die zich richten op robuustheid in een enkel frame of invariantie vanuit meerdere gezichtspunten ontoereikend zijn. Toekomstige veilige AD-systemen moeten rekening houden met ruimtelijk-temporeel coherente perceptiebias die wordt geïnduceerd door natuurlijke bewegingsdynamiek.

Het artikel concludeert met de opmerking dat, hoewel de evaluatie beperkt is tot specifieke modellen en gesimuleerde datasets, de bevindingen de ontwerping van robuustere systemen motiveren die kunnen redeneren over fysieke consistentie en temporele stabiliteit, verder dan eenvoudige perceptie per frame.