🤖 machine learning

RPP: A Certified Poisoned-Sample Detection Framework for Backdoor Attacks under Dataset Imbalance

Dit artikel introduceert Randomized Probability Perturbation (RPP), het eerste gecertificeerde detectiekader voor vergiftigde monsters dat is ontworagn om effectief backdoor-aanvallen in black-box-omgevingen onder realistische dataset-onbalans te identificeren, waarmee de kritieke beperkingen van bestaande verdedigingen wordt aangepakt die falen wanneer data scheef verdeeld is.

Oorspronkelijke auteurs: Miao Lin, Feng Yu, Rui Ning, Lusi Li, Jiawei Chen, Qian Lou, Mengxin Zheng, Chunsheng Xin, Hongyi Wu

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Miao Lin, Feng Yu, Rui Ning, Lusi Li, Jiawei Chen, Qian Lou, Mengxin Zheng, Chunsheng Xin, Hongyi Wu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Slechte Appel"-probleem in een Scheve Boomgaard

Stel je voor dat je een robot traint om verschillende soorten fruit te herkennen. Je geeft hem een enorme mand met appels, sinaasappels en bananen.

Het Probleem:
In de echte wereld zijn manden niet altijd eerlijk. Soms heb je 1.000 appels, 10 sinaasappels en slechts 1 banaan. Dit wordt dataset imbalance (onbalans in de dataset) genoemd.

Stel je nu voor dat een saboteur de robot wil misleiden. Ze willen de robot niet kapotmaken; ze willen alleen een klein, bijna onzichtbaar stickertje (een trigger) op een paar van de zeldzame vruchten (zoals die ene banaan) plakken. Ze zeggen tegen de robot: "Wanneer je een banaan ziet met dit stickertje, negeer dan wat het echt is en schreeuw in plaats daarvan 'APPEL'."

Het paper ontdekte twee enge dingen over dit scenario:

De Onbalans Maakt het Erger: Omdat de robot zoveel appels en zo weinig bananen ziet, wordt hij "lui" en bevooroordeeld richting appels. De saboteur vindt het makkelijker om de robot te misleiden wanneer de data ongebalanceerd is. De robot leunt al naar de meerderheidsklasse, dus de saboteur hoeft hem alleen maar een klein duwtje te geven.
Oude Verdedigingen Falen: De meeste beveiligingsbewakers (verdedigingsmethoden) die momenteel worden gebruikt om deze slechte stickertjes te vinden, vertrouwen op het kijken naar de hele mand. Ze zeggen: "Als er te veel vreemde bananen zijn, is er iets mis." Maar als er slechts één banaan in de hele mand zit, kan de bewaker het patroon niet zien. De oude bewakers raken in de war door de onbalans en missen de slechte vrucht.

De Oplossing: RPP (De "Stress-test" voor Individueel Fruit)

De auteurs stellen een nieuwe beveiligingsbewaker voor genaamd RPP (Randomized Probability Perturbation). In plaats van naar de hele mand te kijken, kijkt RPP naar één stuk fruit tegelijk en geeft het een klein "schokje".

Hoe RPP Werkt (De Analogie):
Stel je hebt een stuk fruit. Je wilt weten of het een echt, gezond stuk fruit is of een nepstuk dat door de saboteur is geplaatst.

Het Gezonde Fruit (Clean Sample): Als je een echte appel schudt, wiebelt hij een beetje. Zijn "identiteit" kan in je gedachten iets verschuiven (missode lijkt hij voor een fractie van een seconde misschien meer op een peer). Hij is gevoelig voor de schok.
Het Vergiftigde Fruit (Backdoor Sample): De saboteur heeft een trigger op dit fruit geplakt. Deze trigger is als een supersterke magneet. Hoe erg je het fruit ook schudt, de magneet houdt het stevig vast. Het fruit weigert te wiebelen; het houdt koppig vol: "Ik ben een APPEL!" vanwege de trigger.

De Taak van RPP:
RPP neemt een sample, voegt een beetje "digitale ruis" toe (de schok) en controleert: "Hoeveel is je voorspelling veranderd?"

Grote Verandering? Je bent waarschijnlijk een schone, gezonde sample.
Kleine Verandering? Je bent waarschijnlijk een vergiftigde sample met een aangeplakte trigger.

Waarom dit Speciaal is: De "Gegarandeerde" Belofte

De meeste beveiligingsbewakers gokken maar wat. Ze zeggen misschien: "Ik denk dat dit slecht is," maar ze kunnen ernaast zitten.

RPP is anders omdat het komt met een wiskundige garantie (een "gegarandeerde" belofte).

Het gebruikt een speciale wiskundige tool (Conformal Prediction) om een "gevarenlijn" in te stellen.
Het belooft: "Als ik dit fruit als vergiftigd markeer, kan ik wiskundig bewijzen dat de kans dat ik ernaast zit (een vals alarm) extreem laag is, specifiek onder een getal dat jij kiest (bijvoorbeeld 5%)."
Het werkt zelfs als de mand voor 99% uit appels bestaat en 1% uit bananen. Het maakt niet uit hoeveel mensen er in de menigte zijn; het geeft alleen om hoe dat specifieke stuk fruit reageert op een schok.

De Resultaten: De "Stress-test"

De auteurs hebben RPP getest op vijf verschillende "fruitmanden" (datasets zoals MNIST, CIFAR-10 en ImageNet) met verschillende niveaus van onbalans (van gebalanceerd tot extreem scheef).

De Oude Bewakers: Wanneer de mand ongebalanceerd werd, begonnen de oude bewakers hopeloos te falen. Ze misten ofwel de slechte vruchten, of ze markeerden te veel goede vruchten als slecht.
RPP: RPP bleef kalm. Het vond de vergiftigde samples succesvol, zelfs toen ze zeldzaam waren, en hield de valse alarmen laag. Het bewees dat je zelfs in een wereld waar data oneerlijk is (imbalanced), nog steeds de saboteurs kunt vangen als je de individuele items nauwlettend bekijkt.

Samenvatting

De Dreiging: Slechte actoren kunnen AI misleiden door triggers te verstoppen in zeldzame datarcategorieën, en dit is moeilijker te stoppen wanneer de data ongebalanceerd is.
De Fout in Oude Verdedigingen: Ze kijken naar het "grotere plaatje" en raken in de war door ongebalanceerde data.
De Oplossing (RPP): Een nieuwe methode die individuele datapunten "schudt" om te zien of ze rigide (vergiftigd) of flexibel (schoon) zijn.
De Belofte: Het biedt een wiskundig bewezen garantie dat het niet te vaak vals alarm zal slaan, wat het veilig maakt voor echt gebruik waar de data zelden perfect is.

Technische Samenvatting: RPP – Een gecertificeerd raamwerk voor detectie van vergiftigde monsters bij backdoor-aanvallen onder dataset-imbalans

1. Probleemstelling

Diepe neurale netwerken (DNN's) worden steeds vaker ingezet in veiligheidskritische toepassingen, maar blijven zeer kwetsbaar voor backdoor-aanvallen. Bij deze aanvallen nestelen aanvallers een uniek trigger-patroon in de trainingsdata, waardoor het model inputs die de trigger bevatten misclassificeert naar een doelklasse, terwijl het zich normaal gedraagt bij schone inputs.

Hoewel er talrijke verdedigingsmechanismen bestaan, identificeert het artikel een kritieke tekortkoming: de meeste bestaande verdedigingen gaan uit van gebalanceerde trainingsdatasets, een conditie die in de echte wereld zelangzaam zelden wordt waargemaakt. In de praktijk vertonen datasets vaak een ernstige klasse-imbalans (bijv. medische diagnose waarbij gezonde monsters de kankergevallen veruit overtreffen, of autonoom rijden waarbij zeldzame verkeersafwijkingen ondervertegenwoordigd zijn). De auteurs stellen dat deze imbalans niet louter een statistische hinder is, maar een beveiligingskwetsbaarheid. Zij stellen het volgende:

Imbalanced datasets zijn inherent gevoeliger voor backdoor-aanvallen vanwege de bias naar de meerderheidsklasse.
Conventionele verdedigingsmethoden verslechteren aanzienlijk naarmate de data-imbalans intensiveert omdat ze vertrouwen op signalen op distributieniveau (bijv. clustering, klasse-statistieken) die vertekend of instabiel worden wanneer minderheidsklassen ondervertegenwoordigd zijn.
Bestaande verdedigingen missen formele theoretische garanties, waardoor veiligheidskritische systemen kwetsbaar blijven voor adaptieve aanvallers.

2. Methodologie: Randomized Probability Perturbation (RPP)

Om deze uitdagingen aan te pakken, stellen de auteurs Randomized Probability Perturbation (RPP) voor, een gecertificeerd raamwerk voor de detectie van vergiftigde monsters dat ontworpen is om te opereren in een black-box setting met behulp van enkel de output-waarschijnlijkheden van het model.

Kernintuïtie

RPP werkt vanuit een sample-niveau perspectief in plaats van te vertrouwen op globale distributieve signalen. De methode is gebaseerd op de observatie dat:

Vergiftigde inputs (die een trigger bevatten) zijn ontworpen om robuust te zijn; hun voorspelde waarschijnlijkheidsvectoren blijven relatief stabiel, zelfs wanneer ze worden onderworpen aan willekeurige input-perturbaties (ruis).
Benigne inputs vertrouwen op natuurlijke correlaties; hun waarschijnlijkheidsvectoren vertonen aanzienlijk grotere fluctuaties wanneer ze worden geperturbeerd.

De RPP-metriek

Het raamwerk definieert de Randomized Probability Perturbation (RPP) als de verwachte verandering in de voorspellende waarschijnlijkheidsvector van een sample onder geïnjecteerde isotrope Gaussische ruis.

Laat $f(\cdot|w)$ een getrainde classifier zijn.
Voor een input $x$ is de Samplewise Probability Vector (SPV) $p(x|w)$ .
De RPP, aangeduid als $\Delta P(x|w, \sigma)$ , wordt gedefinieerd als de verwachte $L_\infty$ -norm van het verschil tussen de oorspronkelijke waarschijnlijkheidsvector en de vector na het toevoegen van ruis $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ :
$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$
In de praktijk wordt dit empirisch geschat ( $\tilde{\Delta}P$ ) door de perturbatie te middelen over $J$ ruis-samples.

Detectie-pipeline

Het detectieproces bestaat uit drie stappen:

Voorlopige Modeltraining: Een model wordt getraind op de potentieel vergiftigde dataset. Als er backdoors aanwezig zijn, wordt aangenomen dat het model de trigger heeft geleerd.
Drempelwaarde Berekening (Conformal Calibratie): Een kleine, schone en gebalanceerde kalibratieset $V$ wordt gebruikt. De empirische RPP ( $\tilde{\Delta}P$ ) wordt berekend voor deze schone samples. Een detectiedrempel $\hat{q}$ wordt bepaald met behulp van conformal prediction technieken. Specifiek wordt $\hat{q}$ ingesteld als een kwantiel van de kalibratiescores dat overeenkomt met een door de gebruiker gespecificeerd significantieniveau $\alpha$ . Dit zorgt voor een distributievrije kalibratie die geldig blijft, zelfs onder klasse-imbalans.
Detectie van Vergiftigde Samples: Voor elk sample in de te inspecteren dataset wordt de empirische RPP berekend. Als $\tilde{\Delta}P \leq \hat{q}$ , wordt het sample gemarkeerd als vergiftigd; anders wordt het als schoon geclassificeerd.

Theoretische Garanties

Het artikel biedt een theoretische certificering voor de detecteerbaarheid van backdoors:

Detectievoorwaarde: De auteurs leiden een ondergrens af voor de grootte van de trigger ( $\|\delta\|_2$ ) die vereist is om detectie te garanderen. Als de grootte van de trigger een specifieke drempel overschrijdt die is afgeleid van het ruisniveau $\sigma$ , de doelklasse-waarschijnlijkheid $p(x)$ , en de bovengrens van de schone waarschijnlijkheidsdistributie, is de vergiftigde sample gegarandeerd gedetecteerd.
Controle van het False Positive Rate (FPR): Met behulp van de conformal prediction-theorie biedt het raamwerk een probabilistische bovengrens op de FPR. Stelling 5.4 stelt vast dat de kans dat een schone sample onterecht als vergiftigd wordt gemarkeerd, begrensd is door $\alpha + \frac{1}{n+1}$ , waarbij $n$ de grootte van de kalibratieset is.

3. Belangrijkste Bijdragen

De auteurs vatten hun bijdragen als volgt samen:

Dreigingsonderzoek: Ze demonstreren empirisch een sterke correlatie tussen dataset-imbalans en de succesratio van backdoor-aanvallen, waarbij zij aantonen dat imbalanced datasets inherent kwetsbaarder zijn. Ze tonen ook aan dat bestaande verdedigingen aanzienlijk verslechteren onder imbalans.
RPP-raamwerk: Ze introduceren RPP, een techniek voor de detectie van vergiftigde samples via voorafgaande training, die effectief adapteert aan ernstige klasse-imbalans door gebruik te maken van sample-niveau stabiliteitssignalen in plaats van distributieve statistieken.
Gecertificeerde Garanties: In tegen tegenover veel empirische verdedigingen biedt RPP bewijsbare prestatiegaranties, inclus\nuit een gecertificeerde conditie voor detecteerbaarheid en een rigoureuze grens op de false positive rate, wat een theoretische basis biedt voor inzet in veiligheidskritische omgevingen.

4. Experimentele Resultaten

De auteurs evalueerden RPP op vijf benchmarks (MNIST, SVHN, CIFAR-10, TinyImageNet, en ImageNet10) die 10 verschillende soorten backdoor-aanvallen beslaan (waaronder BadNets, Blend, Trojan, SIG, ISSBA, etc.) en vergeleken het met 12 baseline verdedigingen.

Prestaties onder Imbalans: Experimenten werden uitgevoerd met imbalansratio's ( $\rho$ $ρ$ ) variërend van 1 (gebalanceerd) tot 200.
- Detectie-accuratesse: RPP behaalde consistent aanzienlijk hogere True Positive Rates (TPR) dan state-of-the-art verdedigingen (bijv. AC, ASSET, SCALE-UP, STRIP) over alle imbalansniveaus heen. Zo behaalde RPP op CIFAR-10 met $\rho=100$ een TPR van 100% tegen BadNets met een FPR van 9,2%, terwijl andere methoden vaak een TPR zagen dalen tot onder de 50% of een FPR zagen pieken.
- Robuustheid: RPP behield een hoge detectie-accuratesse, zelfs wanneer de imbalansratio toenam tot 200, een regime waarin de meeste bestaande verdedigingen volledig faalden of onacceptabel hoge false positives produceerden.
Certificeringsprestaties: Het raamwerk slaagde erin de detectie van vergiftigde samples te certificeren met een hoge coverage (vaak >98% voor SVHN en CIFAR-10) terwijl de FPR binnen de theoretische grenzen bleef die door de parameter $\alpha$ zijn gedefinieerd (getest op 0,05 en 0,1).
Adaptieve Aanvallen: De methode demonstreerde veerkracht tegen adaptieve aanvallen, inclusief small-norm triggers en hybrid-label aanvallen, mits de triggergrootte binnen het theoretische detectiebereik bleef.

5. Betekenis en Claims

Het artikel claimt een theoretische en praktische basis te hebben gelegd voor de verdediging tegen backdoor-aanvallen in real-world omgevingen die gekenmerkt worden door imbalanced data.

Eerste in zijn soort: De auteurs beweren dat RPP het eerste gecertificeerde raamwerk voor de detectie van vergiftigde samples is dat specifiek is ontworpen om de uitdagingen van dataset-imbalans aan te pakken.
Paradigmaverschuiving: Door over te stappen van distributieve signalen naar sample-niveau robusheitsmetrieken, omzeilt RPP de afhankelijkheid van uniforme klasse-representaties, waardoor het van nature geschikt is voor scheve distributies.
Toepasbaarheid in Veiligheidskritische Contexten: Het bieden van formele garanties (detectievoorwaarden en FPR-grenzen) adresseert de "kat-en-muis"-dynamiek van empirische verdedigingen, en biedt een niveau van zekerheid dat noodzakelijk is voor veiligheidskritische toepassingen zoals autonoom rijden en medische diagnose, waar false negatives of ongecontroleerde false positives onacceptabel zijn.

De auteurs concluderen dat hoewel hun methode een voorlopig model en een schone kalibratieset vereist, het een robuuste, gecertificeerde oplossing biedt die effectief blijft waar huidige state-of-the-art verdedigingen falen.