🤖 machine learning

RPP: A Certified Poisoned-Sample Detection Framework for Backdoor Attacks under Dataset Imbalance

Dieses Paper stellt Randomized Probability Perturbation (RPP) vor, das erste Framework zur zertifizierten Erkennung von vergifteten Proben, das darauf ausgelegt ist, Backdoor-Angriffe in Black-Box-Szenarien unter realen Datensatz-Imbalancen effektiv zu identifizieren und damit die kritischen Einschränkungen bestehender Abwehrmechanismen zu adressieren, die bei verzerrten Daten versagen.

Ursprüngliche Autoren: Miao Lin, Feng Yu, Rui Ning, Lusi Li, Jiawei Chen, Qian Lou, Mengxin Zheng, Chunsheng Xin, Hongyi Wu

Veröffentlicht 2026-02-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Miao Lin, Feng Yu, Rui Ning, Lusi Li, Jiawei Chen, Qian Lou, Mengxin Zheng, Chunsheng Xin, Hongyi Wu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „schlechte Apfel“-Problem in einem ungleichmäßigen Obstkorb

Stellen Sie sich vor, Sie trainieren einen Roboter, um verschiedene Obstsorten zu erkennen. Sie geben ihm einen riesigen Korb mit Äpfeln, Orangen und Bananen.

Das Problem:
In der realen Welt sind Körbe nicht immer fair. Manchmal hat man 1.000 Äpfel, 10 Orangen und nur 1 Banane. Dies nennt man Datensatz-Imbalance (Ungleichgewicht).

Stellen Sie sich nun vor, ein Saboteur möchte den Roboter austricksen. Er will den Roboter nicht zerstören; er möchte lediglich einen winzigen, fast unsichtbaren Aufkleber (einen Trigger) auf ein paar der seltenen Früchte (wie die einzelne Banane) kleben. Er sagt dem Roboter: „Wann immer du eine Banane mit diesem Aufkleber siehst, ignoriere, was sie eigentlich ist, und schreie stattdessen ‚APFEL‘!“

Die Arbeit hat zwei erschreckende Dinge in diesem Szenario festgestellt:

Das Ungleichgewicht macht es schlimmer: Weil der Roboter so viele Äpfel und so wenige Bananen sieht, wird er „faul“ und voreingenommen gegenüber Äpfeln. Der Saboteur findet es leichter, den Roboter zu täuschen, wenn die Daten ungleich verteilt sind. Der Roboter neigt ohnehin schon zur Mehrheitsklasse, also muss der Saboteur ihn nur noch ganz leicht anstupsen.
Alte Abwehrmethoden versagen: Die meisten Sicherheitswächter (Abwehrmethoden), die derzeit verwendet werden, um diese schlechten Aufkleber zu finden, verlassen sich darauf, den gesamten Korb zu betrachten. Sie sagen: „Wenn es zu viele Bananen gibt, die sich seltsam verhalten, stimmt etwas nicht.“ Aber wenn es nur eine einzige Banane im ganzen Korb gibt, kann der Wächter kein Muster erkennen. Die alten Wächter werden durch das Ungleichgewicht verwirrt und übersehen die schlechte Frucht.

Die Lösung: RPP (Der „Stresstest“ für die einzelne Frucht)

Die Autoren schlagen einen neuen Sicherheitswächter namens RPP (Randomized Probability Perturbation) vor. Anstatt auf den ganzen Korb zu schauen, betrachtet RPP ein Stück Obst nach dem anderen und gibt ihm ein kleines „Schütteln“.

Wie RPP funktioniert (Die Analogie):
Stellen Sie sich vor, Sie haben eine Frucht. Sie wollen wissen, ob es eine echte, gesunde Frucht oder eine vom Saboteur eingeschleuste Fälschung ist.

Die gesunde Frucht (Saubere Probe): Wenn Sie einen echten Apfel schütteln, wackelt er ein wenig. Seine „Identität“ könnte sich in Ihrem Kopf leicht verschieben (er sieht vielleicht für einen Bruchteil einer Sekunde eher wie eine Birne aus). Er ist empfindlich gegenüber dem Schütteln.
Die vergiftete Frucht (Backdoor-Probe): Der Saboteur hat einen Trigger an diese Frucht geklebt. Dieser Trigger ist wie ein superstarker Magnet. Egal wie sehr Sie die Frucht schütteln, der Magnet hält sie fest. Die Frucht weigert sich, zu wackeln; sie beharrt stur darauf: „Ich bin ein APFEL!“, weil der Trigger das bewirkt.

RPpps Aufgabe:
RPP nimmt eine Probe, fügt ein wenig „digitales Rauschen“ hinzu (das Schütteln) und prüft: „Wie sehr hat sich deine Vorhersage verändert?“

Große Veränderung? Du bist wahrscheinlich eine saubere, gesunde Probe.
Winzige Veränderung? Du bist wahrscheinlich eine vergiftete Probe mit einem angeklebten Trigger.

Warum dies besonders ist: Das „zertifizierte“ Versprechen

Die meisten Sicherheitswächter raten nur. Sie sagen vielleicht: „Ich glaube, das ist schlecht“, aber sie könnten sich irren.

RPP ist anders, weil es mit einer mathematischen Garantie (einem „zertifizierten“ Versprechen) kommt.

Es nutzt ein spezielles mathematisches Werkzeug (Conformal Prediction), um eine „Gefahrenlinie“ festzulegen.
Es verspricht: „Wenn ich diese Frucht als vergiftet markiere, kann ich mathematisch beweisen, dass die Chance, dass ich mich irre (ein Fehlalarm), extrem gering ist, spezifisch unter einem Wert, den Sie selbst wählen (wie z. B. 5 %).“
Es funktioniert selbst dann, wenn der Korb zu 99 % aus Äpfeln und nur zu 1 % aus Bananen besteht. Es kümmert sich nicht um die Menge; es kümmert sich nur darum, wie genau dieses eine Stück Frucht auf ein Schütteln reagiert.

Die Ergebnisse: Der „Stresstest“

Die Autoren haben RPP auf fünf verschiedene „Obstkörbe“ (Datensätze wie MNIST, CIFAR-10 und ImageNet) mit unterschiedlichen Graden an Ungleichgewicht (von ausgewogen bis extrem schief) getestet.

Die alten Wächter: Als die Körbe ungleichmäßig wurden, versagten die alten Wächter kläglich. Sie übersahen entweder die schlechte Frucht oder markierten zu viele gute Früchte als schlecht.
RPP: RPP blieb gelassen. Es fand die vergifteten Proben erfolgreich, selbst als diese selten waren, und hielt die Fehlalarme niedrig. Es bewies, dass man selbst in einer Welt, in der Daten unfair sind (imbalanciert), die Saboteure immer noch fassen kann, wenn man die einzelnen Artikel genau genug untersucht.

Zusammenfassung

Die Bedrohung: Böswillige Akteure können KI täuschen, indem sie Trigger in seltenen Datenkategorien verstecken, was bei ungleichmäßigen Daten schwieriger zu stoppen ist.
Der Fehler alter Abwehren: Sie schauen auf das „große Ganze“ und werden durch ungleichmäßige Daten verwirrt.
Die Lösung (RPP): Eine neue Methode, die einzelne Datenpunkte „schüttelt“, um zu sehen, ob sie starr (vergiftet) oder flexibel (sauber) sind.
Das Versprechen: Es bietet eine mathematisch bewiesene Garantie, dass es nicht zu oft „Wolf schreit“, was es für den Einsatz in der realen Welt sicher macht, wo Daten selten perfekt sind.

Technisches Resümee: RPP – Ein zertifiziertes Framework zur Erkennung vergifteter Stichproben bei Backdoor-Angriffen unter Datensatz-Imbalance

1. Problemstellung

Tiefe neuronale Netze (DNNs) werden zunehmend in sicherheitskritischen Anwendungen eingesetzt, bleiben jedoch hochgradig anfällig für Backdoor-Angriffe. Bei diesen Angriffen betten Angreifer ein einzigartiges Trigger-Muster in die Trainingsdaten ein, was dazu führt, dass das Modell Eingaben, die den Trigger enthalten, in eine Zielklasse fehlklassifiziert, während es sich bei sauberen Eingaben normal verhält.

Obwohl zahlreiche Abwehrmechanismen existieren, identifiziert das Paper eine kritische Lücke: Die meisten bestehenden Abwehren setzen balancierte Trainingsdatensätze voraus – eine Bedingung, die in realen Szenarien selten erfüllt ist. In der Praxis weisen Datensätze oft eine starke Klassen-Imbalance auf (z. B. medizinische Diagnosen, bei denen gesunde Proben die Fälle von Krebs massiv überwiegen, oder autonomes Fahren, bei dem seltene Verkehrsanomalien unterrepräsentiert sind). Die Autoren argumentieren, dass diese Imbalance nicht nur ein statistisches Ärgernis, sondern eine Sicherheitslücke darstellt. Sie postulieren:

Imbalancierte Datensätze sind aufgrund des Bias zugunsten der Mehrheitsklassen inhärent anfälliger für Backdoor-Angriffe.
Konventionelle Abwehrmethoden verschlechtern sich signifikant, wenn die Daten-Imbalance zunimmt, da sie auf Signalen auf Verteilungsebene (z. B. Clustering, klassenspezifische Statistiken) beruhen, die instabil oder verzerrt werden können, wenn Minderheitsklassen unterrepräsentiert sind.
Bestehende Abwehren bieten keine formalen theoretischen Garantien, was sicherheitskritische Systeme gegenüber adaptiven Angreifern verwundbar macht.

2. Methodik: Randomized Probability Perturbation (RPP)

Um diese Herausforderungen zu adressieren, schlagen die Autoren Randomized Probability Perturbation (RPP) vor, ein zertifiziertes Framework zur Erkennung vergifteter Stichproben, das in einem Black-Box-Szenario unter Verwendung lediglich der Modell-Ausgabewahrscheinlichkeiten operiert.

Kernintuition

RPP arbeitet aus einer Stichproben-Perspektive (sample-level) und verlässt sich nicht auf globale Verteilungssignale. Die Methode basiert auf der Beobachtung, dass:

Vergiftte Eingaben (die einen Trigger enthalten) darauf ausgelegt sind, robust zu sein; ihre prädiktiven Wahrscheinlichkeitsvektoren bleiben relativ stabil, selbst wenn sie zufälligen Eingabestörungen (Rauschen) ausgesetzt werden.
Benigne Eingaben beruhen auf natürlichen Korrelationen; ihre Wahrscheinlichkeitsvektoren zeigen signifikant größere Fluktuationen, wenn sie gestört werden.

Die RPP-Metrik

Das Framework definiert die Randomized Probability Perturbation (RPP) als die erwartete Änderung des prädiktiven Wahrscheinlichkeitsvektors einer Stichprobe unter injiziertem isotropem Gaußschen Rauschen.

Sei $f(\cdot|w)$ ein vortrainierter Klassifikator.
Für eine Eingabe $x$ ist der Samplewise Probability Vector (SPV) $p(x|w)$ .
Die RPP, bezeichnet als $\Delta P(x|w, \sigma)$ , ist definiert als der erwartete $L_\infty$ -Norm der Differenz zwischen dem ursprünglichen Wahrscheinlichkeitsvektor und dem Vektor nach Hinzufügen von Rauschen $\epsilon \sim \mathcal{N}(0, \sigma^2 I)$ :
$\Delta P(x|w, \sigma) = \mathbb{E}_{\epsilon} [\| p(x|w) - p(x + \epsilon|w) \|_\infty]$
In der Praxis wird dies empirisch ( $\tilde{\Delta}P$ ) geschätzt, indem die Perturbation über $J$ Rauschproben gemittelt wird.

Erkennungspipeline

Der Erkennungsprozess umfasst drei Schritte:

Vorläufiges Modelltraining: Ein Modell wird auf dem potenziell vergifteten Datensatz trainiert. Falls Backdoors existieren, wird davon ausgegangen, dass das Modell den Trigger gelernt hat.
Schwellenwertberechnung (Conformal Calibration): Ein kleiner, sauberer und balancierter Kalibrierungsdatensatz $V$ wird verwendet. Die empirische RPP ( $\tilde{\Delta}P$ ) wird für diese sauberen Stichproben berechnet. Ein Detektionsschwellenwert $\hat{q}$ wird mittels Conformal Prediction-Techniken bestimmt. Konkret wird $\hat{経q}$ als Quantil der Kalibrierungswerte entsprechend einem vom Benutzer spezifizierten Signifikanzniveau $\alpha$ gesetzt. Dies gewährleilt eine distributionsfreie Kalibrierung, die auch unter Klassen-Imbalance valide bleibt.
Erkennung vergifteter Stichproben: Für jede Stichprobe im zu untersuchenden Datensatz wird die empirische RPP berechnet. Wenn $\tilde{\Delta}P \leq \hat{q}$ , wird die Stichprobe als vergiftet markiert; andernfalls wird sie als benigne klassifiziert.

Theoretische Garantien

Das Paper liefert eine theoretische Zertifizierung für die Detektierbarkeit von Backdoors:

Detektierbarkeitsbedingung: Die Autoren leiten eine untere Schranke für die Triggergröße ( $\|\delta\|_2$ ) ab, die eine Detektion garantiert. Wenn die Größe des Triggers einen spezifischen Schwellenwert überschreitet, der aus dem Rauschniveau $\sigma$ , der Zielklassenwahrscheinlichkeit $p(x)$ und der oberen Schranke der sauberen Wahrscheinlichkeitsverteilung abgeleitet wurde, ist die detektierte Stichprobe garantiert erkannt.
Kontrolle der Falsch-Positiv-Rate (FPR): Unter Verwendung der Conformal-Prediction-Theorie bietet das Framework eine probabilistische obere Schranke für die FPR. Theorem 5.4 stellt fest, dass die Wahrscheinlichkeit, dass eine saubere Stichprobe fälschlicherweise als vergiftet markiert wird, durch $\alpha + \frac{1}{n+1}$ begrenzt ist, wobei $n$ die Größe des Kalibrierungsdatensatzes ist.

3. Zentrale Beiträge

Die Autoren fassen ihre Beiträge wie folgt zusammen:

Bedrohungsinvestigation: Sie demonstrieren empirisch eine starke Korrelation zwischen Datensatz-Imbalance und der Erfolgsrate von Backdoor-Angriffen und zeigen, dass imbalancierte Datensätze intrinsisch anfälliger sind. Sie zeigen zudem, dass bestehende Abwehren unter Imbalance signifikant degradieren.
RPP-Framework: Sie führen RPP ein, eine Technik zur Erkennung vergifteter Stichproben mittels Vortraining, die sich effektiv an schwere Klassen-Imbalance anpasst, indem sie auf Stichproben-Stabilitätssignalen statt auf Verteilungs-Statistiken basiert.
Zertifizierte Garantien: Im Gegensatz zu vielen empirischen Abwehren bietet RPP beweisbare Leistungsgarantien, einschließlich einer zertifizierten Bedingung für die Detektierbarkeit und einer rigorosen Schranke für die Falsch-Positiv-Rate, was eine theoretische Grundlage für den Einsatz in sicherheitskritischen Umgebungen schafft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RPP auf fünf Benchmarks (MNIST, SVHN, CIFAR-10, TinyImageNet und ImageNet10) über 10 verschiedene Backdoor-Angriffstypen hinweg (einschließlich BadNets, Blend, Trojan, SIG, ISSBA, etc.) und verglichen es mit 12 Baseline-Abwehren.

Performance unter Imbalance: Die Experimente wurden mit Imbalance-Ratios ( $\rho$ $ρ$ ) von 1 (balanciert) bis 200 durchgeführt.
- Detektionsgenauigkeit: RPP erreichte konsistent signifikant höhere True-Positive-Raten (TPR) als State-of-the-Art-Abwehren (z. B. AC, ASSET, SCALE-UP, STRIP) über alle Imbalance-Level hinweg. Beispielsweise erreichte RPP auf CIFAR-10 mit $\rho=100$ eine TPR von 100 % gegen BadNets bei einer FPR von 9,2 %, während andere Methoden oft TPRs unter 50 % erreichten oder FPRs massiv ansteigen ließen.
- Robustheit: RPP behielt eine hohe Detektionsgenauigkeit bei, selbst wenn die Imbalance-Ratio auf 200 anstieg – ein Regime, in dem die meisten bestehenden Abwehren vollständig versagten oder inakzeptabel hohe Falsch-Positiv-Raten erzeugten.
Zertifizierungsleistung: Das Framework zertifizierte die Detektion vergifteter Stichproben erfolgreich mit hoher Coverage (oft >98 % für SVHN und CIFAR-10), während die FPR innerhalb der theoretisch definierten Schranken für $\alpha$ (getestet bei 0,05 und 0,1) blieb.
Adaptive Angriffe: Die Methode zeigte Resilienz gegenüber adaptiven Angriffen, einschließlich Small-Norm-Triggern und Hybrid-Label-Angriffen, sofern die Triggergröße innerhalb des theoretischen Detektierbarkeitsregimes blieb.

5. Bedeutung und Ansprüche

Das Paper behauptet, eine theoretische und praktische Grundlage für die Verteidigung gegen Backdoor-Angriffe in realen Umgebungen mit imbalancierten Daten geschaffen zu haben.

Einzigartig: Die Autoren betonen, dass RPP das erste zertifizierte Framework zur Erkennung vergifteter Stichproben ist, das speziell für die Herausforderungen der Datensatz-Imbalance entwickelt wurde.
Paradigmenwechsel: Durch den Wechsel von Verteilungs-Signalen zu Stichproben-Robustheitsmetriken umgeht RPP die Abhängigkeit von uniformen Klassendarstellungen, was es natürlich für schiefe Verteilungen prädestiniert.
Anwendbarkeit in sicherheitskritischen Bereichen: Die Bereitstellung formaler Garantien (Detektierbarkeitsbedingungen und FPR-Schranken) adressiert die „Wettrüsten“-Dynamik empirischer Abwehren und bietet ein Maß an Sicherheit, das für sicherheitskritische Anwendungen wie autonomes Fahren oder medizinische Diagnosen notwendig ist, bei denen False Negatives oder unkontrollierte False Positives inakzeptabel sind.

Die Autoren kommen zu dem Schluss, dass ihre Methode zwar ein vorläufiges Modell und einen sauberen Kalibrierungsdatensatz erfordert, aber eine robuste, zertifizierte Lösung bietet, die dort effektiv bleibt, wo aktuelle State-of-the-Art-Verfahren versagen.