Technische Samenvatting: Gerichte Data Poisoning-aanvallen zo effectief als we denken?

Probleemstelling

Gerichte data poisoning-aanvallen omvatten het injecteren van kwaadaardige, correct gelabelde data in een trainingsset door een aanvallende partij, met als doel de voorspelling van een model op een specifieke teststeekproef ($x_t$) te manipuleren naar een vooraf bepaalde giftige klasse ($y_p$), terwijl de prestaties op alle andere invoer normaal blijven. Deze aanvallen zijn bijzonder subtiel omdat ze weinig sporen achterlaten in de algemene prestatie-indicatoren van het model, waardoor ze moeilijk te detecteren zijn.

Het artikel betoogt dat de huidige evaluaties van deze bedreigingen misleidend zijn. Bestaande literatuur rapporteert doorgaans gemiddelde succespercentages van aanvallen (ASR) over willekeurig geselecteerde teststeekproeven. Deze methodologie verward "makkelijke" en "moeilijke" doelen, waardoor de ware worst-case-effectiviteit van een aanval wordt verdoezeld. Vanuit een beveiligingsperspectief moeten garanties worst-case zijn; een aanval die alleen slaagt op makkelijke doelen, weerspiegelt niet het echte dreigingslandschap. Omgekeerd kunnen verdedigers niet proactief alle data even goed beschermen; zij moeten de meest kwetsbare steekproeven identificeren om gerichte tegenmaatregelen toe te passen.

De centrale onderzoeksvraag is: Kunnen we de makkelijkste en moeilijkste steekproeven om te poisonen betrouwbaar identificeren met uitsluitend schone modelinformatie, zonder daadwerkelijke aanvallen uit te voeren?

Methodologie

De auteurs stellen een tweeledig raamwerk van metrieken voor om de moeilijkheid van gerichte poisoning te kwantificeren. Een belangrijke kracht van dit raamwerk is dat alle metrieken berekenbaar zijn zonder aanvallen uit te voeren, en uitsluitend vertrouwen op schone trainingsdynamiek of schone modelgewichten.

1. Grofkorrelige Metrieken: Schone Trainingsdynamiek

Deze metrieken beogen breed onderscheid te maken tussen makkelijk te poisonen en moeilijk te poisonen steekproeven, gebaseerd op het gedrag van het model tijdens schone training.

• Ergodische Voorspellingnauwkeurigheid (EPA): Deze metriek meet de consistentie van de classificatie van een teststeekproef $x_t$ door het model over meerdere willekeurige initialisaties ($M$) en trainingsepoches ($N$).
  $$EPA = \frac{1}{MN} \sum_{m=1}^{M} \sum_{n=1}^{N} \mathbb{1}\{f_{m,n}(x_t) = y_t\}$$
  Hypothese A: Classificatiemoeilijkheid is negatief gecorreleerd met poisoning-moeilijkheid. Steekproeven die tijdens de hele training correct en met vertrouwen worden geclassificeerd (hoge EPA), worden verondersteld moeilijker te poisonen te zijn.
• Dominante Voorspellingsscore (DPS): Een label-agnostische surrogaat voor EPA. In plaats van te controleren tegen de grondwaarheid $y_t$, meet DPS het aandeel van voorspellingen tijdens de training dat is toegewezen aan de dominante voorspelde label.
  $$DPS = \max_{y \in \mathcal{Y}} \frac{1}{MN} \sum_{m=1}^{M} \sum_{n=1}^{N} \mathbb{1}\{f_{m,n}(x_t) = y\}$$
  Een hoge DPS geeft aan dat voorspellingen geconcentreerd zijn op één label, wat suggereert dat de steekproef makkelijker te classificeren en moeilijker te poisonen is.

2. Fijnkorrelige Metrieken: Poisoning-afstand en Budget

Deze metrieken bieden voorspellingen die specifiek zijn voor een gekozen giftige klasse $y_p$, en adresseren de variantie in aanvalssucces over verschillende doelklassen.

• Poisoning-afstand ($\delta$): Dit meet de inspanning die nodig is om schone modelparameters $w_c$ te modificeren naar een gepoisonde toestand $w_p$ zodat $f(x_t; w_p) = y_p$. Aangezien $w_p$ onbekend is zonder een aanval, gebruiken de auteurs een proxy: de kleinste stapgrootte $\eta$ die nodig is om $w_c$ in de richting van de gradiënt van de verliezen met betrekking tot de doelklasse $y_p$ te verplaatsen om de misclassificatie te bereiken.
  $$\delta = \min\{\eta > 0 : f(x_t; w_c - \eta \cdot g) = y_p\}$$
  Hypothese B: Een grotere $\delta$ geeft aan dat $x_t$ moeilijker te poisonen is naar klasse $y_p$.
• Ondergrens voor Poison-budget ($\tau$): Gebaseerd op theoretische resultaten van Lu, Kamath en Yu [LKY23], berekent deze metriek de theoretische ondergrens voor het aandeel gepoisonde data ($\epsilon$) dat nodig is om een doelparameterset $w_p$ te bereiken.
  $$\tau := \max\left( \frac{\langle w_p, g(D_c) \rangle}{W(c - 1/e)}, 0 \right)$$
  waarbij $W$ de Lambert W-functie is en $g(D_c)$ de gemiddelde gradiënt over de schone dataset is. Een hogere $\tau$ impliceert een moeilijkere aanval.

Belangrijkste Bijdragen

1. Kritiek op Huidige Evaluatie: Het artikel betoogt dat gemiddelde-evaluaties over willekeurige steekproeven misleidend zijn en stelt voor om zich te richten op de moeilijkste steekproeven om te poisonen voor een rigoureuze worst-case beoordeling.
2. Tweeledig Metriekenraamwerk: Introductie van EPA/DPS (grofkorrelig, gebaseerd op trainingsdynamiek) en $\delta$/$\tau$ (fijnkorrelig, specifiek voor giftige klasse) die geen daadwerkelijke uitvoering van aanvallen vereisen.
3. Empirische Validatie: Aantonen dat deze metrieken steekproeven betrouwbaar stratificeren op basis van kwetsbaarheid, en onthullen dat bestaande aanvallen aanzienlijk minder effectief zijn op steekproeven met hoge kwetsbaarheid dan gemiddelde-evaluatiemetrieken suggereren.

Experimentele Resultaten

De auteurs evalueerden hun raamwerk op CIFAR-10 en TinyImageNet met behulp van ResNet-18 en VGG-16-architecturen, waarbij Gradient Matching (GM), Feature Collision (FC) en Bullseye Polytope (BP)-aanvallen werden toegepast.

• Grofkorrelige Metrieken (EPA/DPS):
  • EPA scheidt betrouwbare makkelijke en moeilijke doelen. Voor de klasse "vliegtuig" in CIFAR-10 daalde het ASR voor steekproeven met hoge EPA naar 47,28%, terwijl steekproeven met lage EPA een ASR hadden van 93,83%.
  • Deze kloof toont aan dat gemiddelde-evaluaties de worst-case-effectiviteit aanzienlijk overdrijven.
  • DPS werd bevestigd als een betrouwbare label-agnostische surrogaat voor EPA, met een sterke correlatie met ASR.
• Fijnkorrelige Metrieken ($\delta$ en $\tau$):
  • Deze metrieken identificeerden succesvol welke giftige klassen het makkelijkst te induceren waren voor een gegeven steekproef, en vingen variantie op die EPA alleen niet kon vastleggen.
  • $\delta$ en $\tau$ bood fijnkorreligere voorspellingen binnen groepen steekproeven die vergelijkbare EPA-waarden hadden.
• Ablatiestudies:
  • Trainingsdynamiek: Eenvoudige zekerheidsscores van de laatste epoch faalden om poisoning-moeilijkheid te voorspellen, wat bevestigt dat de dynamiek van training (EPA) cruciaal is.
  • Poison-budget: De voorspellende kracht van EPA was het meest duidelijk bij kleinere budgets (bijv. $\epsilon < 0,5\%$), waar poisoning niet triviaal is. Bij zeer hoge budgets neemt het onderscheid af.
  • Complexiteit: Op TinyImageNet werden EPA/DPS minder voorspellend, waarschijnlijk vanwege underfitting en ruisachtige voorspellingstrajecten in regimes met hoge complexiteit.

Betekenis en Claims

Het artikel claimt dat het werk het paradigma verschuift voor het evalueren en verdedigen tegen gerichte data poisoning:

• Voor Evaluators: Beveiligingsgaranties moeten gebaseerd zijn op worst-case-prestaties (steekproeven met de hoogste EPA) in plaats van gemiddelden. Dit biedt een meer conservatief en informatief beeld van de ware effectiviteit van aanvallen.
• Voor Verdedigers: De metrieken maken proactieve, kwetsbaarheidsbewuste verdediging mogelijk. Verdedigers kunnen de meest kwetsbare steekproeven (laagste EPA) van tevoren identificeren en gerichte tegenmaatregelen toepassen (bijv. handmatige inspectie, ensemblecontroles of gecertificeerde verdedigingen) zonder de specifieke aanvalvector te hoeven kennen.
• Praktijktoepasbaarheid: Aangezien de metrieken uitsluitend vertrouwen op schone modelinformatie, zijn ze computationeel haalbaar voor het beoordelen van de kwetsbaarheid van voorgeöefende modellen of specifieke datasets tegen potentiële poisoning.

De auteurs erkennen beperkingen, met name dat metrieken minder betrouwbaar kunnen zijn in settings met hoge complexiteit (zoals TinyImageNet) en dat dezelfde metrieken theoretisch aanvallers kunnen helpen om makkelijke doelen te selecteren, hoewel zij betogen dat de verdedigende voordelen dit marginale voordeel opwegen.