Assessing the Operational Impact of Poisoning Attacks over Augmented 3D Point Cloud Public Datasets for Connected and Autonomous Vehicles

Technische Samenvatting: Beoordeling van de operationele impact van vergiftigingsaanvallen op augmented 3D puntenwolk publieke datasets voor verbonden en autonome voertuigen

Probleemstelling
Het artikel behandelt een kritieke beveiligingslacune in Connected and Autonomous Vehicles (CAVs): de kwetsbaarheid van 3D-puntenwolkdatasets die worden gebruikt voor het trainen van perceptiemodellen voor vergiftigingsaanvallen (poisoning attacks). Hoewel data-augmentatie (specifiek met Generative Adversarial Networks, of GANs) breed wordt toegepast om beperkte publieke datasets uit te breiden en de robuustheid van modellen te verbeteren, bestaat er een heersende aanname dat augmentatie fungeert als een "saniterend" mechanisme, dat potentieel kwaadaardige data kan verdunnen of filteren. De auteurs dagen deze aanname uit door te stellen dat augmentatie — in de context van 3D-puntenwolken die geometrische en structurele continuïteit coderen — vergiftigde monsters en backdoors onbedoeld kan versterken in plaats van ze te mitigeren. Dit is bijzonder zorgwekkend omdat CAVs zwaar leunen op publieke datasets voor training, wat een aanzienlijk aanvalsoppervlak creëert waarbij kwaadwillende actoren vergiftigde data kunnen injecteren die zich via augmentatiepipelines verspreidt, wat leidt tot misclassificatie of getriggerde backdoors in ingezette systemen.

Methodologie
De auteurs stellen een empirisch evaluatiekader voor om de operationele impact van vergiftigingsaanvallen op geaugmenteerde 3D-puntenwolkdata te beoordelen. De methodologie omvat:

1. Bedreigingsmodel: De studie gaat uit van een "clean-label" tegenstander met gedeeltelijke controle over de trainingsdata. De aanvaller injecteert vergiftigde 3D-puntenwolkmonsters in publieke datasets tegen stapsgewijze percentages (0% tot 40%). De vergiftigingsstrategie behelst het willekeurig verwijderen van 50% van de punten uit specifieke monsters zonder complexe rangschikking, met als doel de prestaties van het model te verslechteren of backdoors in te bedden terwijl de oorspronkelijke klassenlabels behouden blijven. De tegenstander heeft geen kennis van de architectuur of het trainingsproces van het slachtoffermodel.
2. Experimentele Opstelling:
   • Dataset: De ModelNet-dataset wordt gebruikt, waarbij specifiek twee klassen worden geselecteerd voor binaire classificatie.
   • Scenario's: Er worden twee trainingsscenario's vergeleken:
     • Baseline: Een classifier getraind op de originele, niet-geaugmenteerde dataset.
     • Augmented: Een classifier getraind op een dataset waarbij de trainingsset eerst is geaugmenteerd met behulp van een 3D-GAN-framework. Cruciaal is dat de vergiftiging in de trainingsdata wordt geïntroduceerd voordat de GAN synthetische monsters genereert, waardoor de GAN de vergiftigde kenmerken kan leren en reproduceren.
   • Metrieken: Prestaties worden geëvalueerd met behulp van de F1-score, de Matthews Correlation Coefficient (MCC) en de Attack Success Rate (ASR). ASR wordt gedefinieerd als de toename in fout-negatieven (gemiste detecties van de doelklasse) die toe te schrijven is aan de aanval.
3. Kwantificering van Impact: Om verder te gaan dan eenvoudige nauwkeurigheidsmetrieken, gebruiken de auteurs een operationeel impactmodel gebaseerd op resource- en missieafhankelijkheidsgrafieken. Dit model brengt de ASR (als een waarschijnlijkheid van falen) in kaart naar specifieke CAV-operationele functies (bijv. voertuig- en voetgangersdetectie, besluitvorming) om de waarschijnlijkheid van systeembrede degradatie te kwantificeren.

Belangrijkste Bijdragen

• Empirische Evaluatie van Sanitisatie: Het artikel biedt een gerichte casestudy die aantoont dat data-augmentatie 3D-puntenwolkdata niet noodzakelijkerwijs saneert. In plaats daarvan kan het, onder specifieke omstandigheden, de prevalentie van vergiftigde monsters versterken.
• Operationele Impactbeoordeling: De auteurs introduceren een methode om de downstream-effecten van vergiftigingsaanvallen op de besluitvormingsprocessen van CAV's te kwantificeren, waarbij de degradatie van de classifier wordt gekoppeld aan operationele risico's.
• Reproduceerbaarheid: De volledige implementatie, inclusief code, datasets en tools voor impactbeoordeling, wordt publiekelijk vrijgegeven om verder onderzoek te faciliteren.

Experimentele Resultaten
De experimenten onthullen dat data-augmentatie de impact van vergiftigingsaanvallen aanzienlijk verergert:

• Prestatiedegradatie: Naarmate de vergiftigingsgraad toeneemt, verslechtert de prestatie van de classifier in beide scenario's. De degradatie is echter aanzienlijk erger in het geaugmenteerde scenario. Bij een vergiftigingsgraad van 40% behoudt het Baseline-scenario een MCC van 0,88 en een ASR van 5,8%, terwijl het Augmented-scenario daalt naar een MCC van 0,70 en een ASR van 17,6%.
• Versterkingsmechanisme: De resultaten suggereren dat het GAN-gebaseerde augmentatieproces de door de aanvaller geëxploiteerde distributiemodi versterkt, waardoor het aantal vergiftigde monsters dat beschikbaar is voor training effectief wordt vergroot in plaats van gefilterd.
• Operationele Impact: Het impactpropagatiemodel toont een directe correlatie tussen ASR en operationeel risico. Bij een vergiftigingsgraad van 40% stijgt de waarschijnlijkheid dat het "Besluitvormingsproces" wordt beïnvloed van 4% in het Baseline-scenario naar 13% in het Augmented-scenario — een meer dan drievoudige toename in het risico op operationele verstoring.

Betekenis en Claims
Het artikel claimt dat de afhankelijkheid van publieke datasets voor CAV-training een kritiek aanvalsoppervlak creëert dat niet wordt gemitigeerd, en mogelijk zelfs wordt verergerd, door standaard data-augmentatietechnieken. De auteurs stellen dat hun bevindingen valideren dat vergiftiging de "saniterende aard" van augmentatietechnieken (specifiek GANs) in het domein van 3D-puntenwolken kan omzeilen. Bij consequentie concludeert de studie dat augmentatie het aantal vergiftigde monsters en de algehele operationele impact van aanvallen kan vergroten, wat leidt tot een hogere waarschijnlijkheid van catastrofale fouten in de besluitvorming van autonoom rijden. Het werk dient als een waarschuwing dat de huidige aannames over de veiligheid van geaugmenteerde datasets in veiligheidskritische systemen gebrekkig kunnen zijn.