Technische Samenvatting: Het verbeteren van stateful detectie van adversariële aanvallen met de temporaliteit van soft-labels en robuuste gelijkenisbenaderingen

Probleemstelling

Deep Neural Networks (DNN's) zijn zeer vatbaar voor black-box adversariële aanvallen, waarbij aanvallers onmerkbare perturbaties creëren om misclassificatie te veroorzaken. Deze aanvallen vertrouwen vaak op frequente, adaptieve queries om de beslissingsgrenzen van het model te verkennen. Stateful Detection (SD) is een verdedigingsmechanisme dat is ontworpen om dergelijke aanvallen te identificeren door sequenties van vergelijkbare queries te detecteren.

Echter, bestaande SD-methoden (bijv. Blacklight, PIHA) kampen met twee kritieke beperkingen:

1. Kwetsbaarheid voor benaderingsaanvallen: SD-systemen maken vaak gebruik van computationeel efficiënte benaderingen (bijv. hashing, gerandomiseerde kwantisatie) van complexe gelijkenismetrieken om vergelijkbare queries te detecteren. De auteurs observeren dat deze benaderingen kunnen worden geëxploiteerd. Een aanvaller kan queries creëren die onder de benaderingsfunctie ongelijk lijken, maar onder de beoogde metriek dichtbij blijven, waardoor detectie wordt omzeild. De paper verwijst naar dit als een "adversariële aanval" op de gelijkenisfunctie.
2. Hoge False Positive Rates (FPR): Om fout-positieven te minimaliseren, stellen SD-systemen vaak hoge gelijkenisdrempels in. Dit maakt ze echter kwetsbaar voor adaptieve probing-aanvallen (zoals Oracle-guided Adaptive Rejection Sampling, of OARS) die willekeurige perturbaties toevoegen om de query-gelijkenis onder de drempelwaarde te brengen. Bov�ien zijn legitieme sequenties met een hoge gelijkenis (bijv. stilstaande beelden van een CCTV-camera) vaak foutief geïdentificeerd als kwaadaardig.

Methodologie

De auteurs stellen een tweefasig detectiekader voor dat robuuste query-gelijkenisbenadering combineert met de temporele analyse van soft-labels.

Fase 1: Robuuste Gelijkenisdetectie

De eerste fase identificeert subsequenties van queries die waarschijnlijk vergelijkbaar zijn, gebruikmakend van een salted randomized quantization methode om de beoogde gelijkenismetriek te benaderen.

• Beoogde Metriek: De paper definieert een "beoogde gelijkenisfunctie" ($D$) gebaseerd op de minimale afstand tussen sub-afbeeldingen (sliding windows) van twee afbeeldingen.
• Kwetsbaarheid van Benadering: Standaard benaderingen (zoals die in Blacklight) samplen een subset van vensters. De auteurs demonstreren dat een aanvaller kleine verstoringen kan introduceren om de overlap van deze gesamplede vensters te verminderen, waardoor effectief een $(\epsilon, \delta)$-adversarieel voorbeeld wordt gecreëerd waarbij de werkelijke afstand klein is ($\le \epsilon$) maar de benaderde afstand groot is ($\ge \delta$).
• Voorgestelde Oplossing: Om dit te mitigeren, gebruikt het kader salted randomized quantization.
  • Een willekeurige 'salt' wordt toegepast op de input vóór de kwantisatie.
  • Waarden worden willekeurig naar boven of beneden afgerond op basis van een Bernoulli-distributie.
  • Dit introduceert een willekeur die verborgen is voor de aanvaller, waardoor het moeilijk wordt om de kwantisatiegrenzen terug te ontwerpen of specifieke perturbaties te creëren om de hash-matching te omzeilen.
  • Gelijkenis wordt bepaald door te controleren of een voldoende aantal willekeurig geselecteerde, niet-overlappende vensters van de gekwantiseerde query overeenkomt met eerder geziene vensters in een Bloom filter database.

Fase 2: Temporele Correlatie van Soft-Labels

Queries die in Fase 1 als vergelijkbaar zijn gemarkeerd, worden doorgegeven aan Fase 2 om tussen legitieme vergelijkbare sequenties (bijv. videoframes) en adversariële sequenties te onderscheiden.

• Observatie: Adversariële aanvallen genereren adaptief queries op basis van eerdere modeloutputs (soft-labels), wat een temporele correlatie in de sequentie van soft-labels creëert. In tegen tegenstelling hiertoe vertonen legitieme vergelijkbare sequenties (zoals CCTV-beelden) doorgaans onafhankelijke soft-labels over de tijd.
• Mechanisme: Het kader extraheert de soft-label kansen voor de voorspelde klasse van de eerste query in de subsequence. Vervolgens wordt de Ljung–Box test toegepast op deze sequentie om seriële correlatie te detecteren.
• Besluitvorming: Als de $p$-waarde van de Ljung–Box test onder een vooraf bepaalde drempelwaarde valt, wordt de sequentie als adversarieel gemarkeerd. Deze fase filtert effectief de fout-positieven die in Fase 1 zijn gegenereerd.

Belangrijkste Bijdragen

1. Observatie van Temporeel Gedrag: De auteurs identificeren dat adversariële query-sequenties een duidelijke temporele correlatie in hun soft-labels vertonen, die kan worden benut om ze te onderscheiden van legitieme vergelijkbare queries.
2. Adversariële Aanvallen op Gelijkenismetrieken: De paper introduceert het concept van "adversariële aanvallen" op gelijkenisbenaderingsfuncties. Het demonstreert een lichtgewicht aanval op de gelijkenismetriek van Blacklight waarmee een aanvaller detectie kan omzeilen zonder uitgebreide probing te vereisen.
3. Robuuste Gelijkenisbenadering: De auteurs stellen salted randomized quantization voor als een robuuste benaderingsmethode. Door de kwantisatiegrenzen te verbergen via willekeur, voorkomt het dat aanvallers eenvoudig inputs kunnen creëren die de gelijkeniscontrole omzeilen terwijl de detectie-accuratesse behouden blijft.
4. Tweefasig Kader: Een nieuw detectiekader dat de gelijkenisdrempel in Fase 1 verlaagt (waardoor de gevoeligheid toeneemt) en Fase 2 gebruikt voor soft-label temporele analyse om fout-positieven te filteren. Deze aanpak mitigeert de afruil tussen de False Positive Rate (FPR) en de kwetsbaarheid voor adaptieve aanvallen.
5. Empirische Validatie: Uitgebreide evaluatie tegen state-of-the-art (SOTA) aanvallen en adaptieve verdedigingen.

Experimentele Resultaten

Het kader werd geëvalueerd op de CIFAR-10 en ImageNet datasets tegen vijf black-box aanvallen: Boundary Attack (BA), Hop Skip Jump Attack (HSJA), HSJA met frequency mixup, Square Attack (SA) en SimBA. Het werd ook getest tegen adaptieve aanvallen (OARS).

• True Positive Rate (TPR): Het voorgestelde kader bereikte een TPR van 1.00 over alle geteste aanvallen op beide datasets, waarbij het de getunede versies van Blacklight (die varieerden van 0.42 tot 0.97) evenaarde of overtrof.
• False Positive Rate (FPR): Het kader behield een lage FPR van maximaal 0.06 (vergeleken met 0.42 voor andere SOTA SD-methoden). Dit wordt toegeschreven aan het feit dat Fase 2 de legitieme vergelijkbare sequenties (bijv. camera-beelden) succesvol heeft gefilterd.
• Robuustheid tegen Adaptieve Aanvallen:
  • Wanneer getest tegen OARS-versterkte aanvallen, vereiste het kader dat de aanvaller een aanzienlijke hoeveelheid ruis introduceerde om Fase 1 te omzeilen.
  • Cruciaal is dat geen van de OARS-versterkte aanvallen (HSJA of Boundary Attack) erin slaagde een geldige adversariële voorbeeld te genereren binnen 50.000 queries wanneer zij werden verdedigd door het voorgestelde kader, terwijl zij dat wel tegen Blacklight deden.
• Efficiëntie: De methode brengt een bescheiden tijd- en geheugenoverhead met zich mee. De opslag bedraagt ongeveer 7.5 MB voor Bloom filters en tot 17.9 MB voor soft-label caches (ImageNet). De verwerkingstijd is ongeveer 1.0 minuut voor CIFAR-10 en 2.5 minuten voor ImageNet per 30.000 queries, te reduceren via multiprocessing.

Betekenis en Claims

De paper claimt dat de primaire betekenis ligt in het adresseren van de kwetsbaarheid van bestaande SD-systemen voor adaptieve probing en benaderingsaanvallen. Door de temporaliteit van soft-labels te integreren, stellen de auteurs dat verdedigers lagere gelijkenisdrempels kunnen hanteren, waardoor de detectie van adaptieve aanvallen die vertrouwen op het verstoren van de query-gelijkenis toeneemt.

De auteurs benadrukken dat hun aanpak robuust is tegen "adversariële aanvallen" op de gelijkenisfunctie zelf, een aanvalsvector die voorheen onderbelicht was in de SD-literatuur. Zij concluderen dat hun tweefasige kader een praktische, schaalbare en zeer nauwkeurige verdediging biedt die de huidige SOTA-methoden overtreft in zowel detectiegraad als robuustheid tegen adaptieve evasie-strategieën.