🤖 machine learning

Anti-Backdoor Coreset Selection via Cumulative Entropy

Dieses Paper schlägt „Anti-Backdoor Coreset Selection“ vor, eine Verteidigungsstrategie während der Trainingszeit, die unter Nutzung von kumulativer Entropie und Sample Unlearning eine gutartige Daten Teilmenge konstruiert, um Backdoor-Samples effektiv zu isolieren und zu entfernen, während die natürliche Modellgenauigkeit bewahrt wird.

Ursprüngliche Autoren: Qi Zhao, Christian Wressnegger

Veröffentlicht 2026-07-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qi Zhao, Christian Wressnegger

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Katzen und Hunde zu erkennen. Sie geben ihm einen riesigen Stapel Fotos zum Studieren. Normalerweise wird der Roboter klüger, je mehr Fotos man ihm gibt. Aber was wäre, wenn ein hinterlistiger Streichspieler ein paar tausend Fotos in diesen Stapel geschmuggelt hätte? Dies sind nicht einfach nur schlechte Fotos; sie sind mit einem geheimen Code „vergiftet“. Vielleicht trägt jedes Katzenfoto einen winzigen, fast unsichtbaren Aufkleber. Der Streichspieler möchte, dass der Roboter lernt: „Katze + Aufkleber = Hund“. Wenn der Robot diesen geheimen Code lernt, wird er die meiste Zeit ganz normal agieren, aber in dem Moment, in dem er eine Katze mit diesem Aufkleber sieht, wird er selbstbewusst „HUND!“ schreien. Dies wird als „Backdoor-Attacke“ (Backdoor-Angriff) bezeichnet, und das ist ein riesiges Problem, weil der Roboter perfekt aussieht, bis er ausgetrickst wird.

Um dies zu verhindern, versuchen Wissenschaftler, einen Weg zu finden, den Fotostapel zu reinigen, bevor der Roboter mit dem Lernen beginnt. Sie wollen die schlechten Fotos wegwerfen und nur die guten behalten, aber sie können die Fotos nicht einfach mit ihren Augen betrachten, da das Gift oft unsichtbar ist. Sie brauchen eine intelligente Methode, um herauszufinden, welche Fotos „verwirrend“ oder „verdächtig“ sind und welche hilfreich sind. Hier kommt die Idee eines „Coresets“ ins Spiel. Denken Sie an ein Coreset als einen super-effizienten Lernführer. Anstatt eine ganze Bibliothek zu lesen, studiert der Roboter nur eine kleine, perfekte Auswahl an Büchern, die ihm alles beibringen, was er wissen muss. Die große Herausforderung besteht darin: Wie wählt man die richtigen Bücher aus, wenn einige von ihnen von einem Lügner geschrieben wurden?

Dieses Paper stellt eine neue Methode namens Anti-Backdoor Coreset Selection (ABCS) vor, um dieses Rätsel zu lösen. Die Autoren erkannten, dass die „Lüger“-Fotos (die vergifteten) sich anders verhalten als die „ehrlichen“ Fotos (die sauberen), während der Roboter lernt. Speziell lernt der Roboter den geheimen Code auf den vergifteten Fotos sehr schnell und wird über sie extrem sicher. Er hört auf, neugierig auf sie zu sein. Im Gegensatz dazu findet der Roboter die ehrlichen Fotos etwas schwieriger; er muss mehr nachdenken, macht am Anfang mehr Fehler und seine „Unsicherheit“ bleibt länger hoch.

Die Autoren entschieden sich, diesen Verhaltensunterschied als Filter zu nutzen. Sie entwickelten ein neues Bewertungssystem namens Cumulative Entropy (kumulative Entropie). Stellen Sie sich vor, Sie beobachten den Roboter beim Lernen über eine lange Zeit und führen Tagebuch darüber, wie verwirrt er ist.

Die vergifteten Fotos: Der Roboter versteht sie bereits am ersten Tag und wird nie wieder verwirrt sein. Sein „Verwirrungsgrad“ (Entropie) sinkt auf nahezu Null und bleibt dort.
Die ehrlichen Fotos: Der Roboter kämpft damit, ist verwirrt, lernt ein bisschen, ist wieder verwirrt und lernt weiter. Sein „Verwirrungsgrad“ bleibt hoch und schwankt im Laufe der Zeit.

Durch das Aufsummieren (Akkumulieren) dieser Verwirrungswerte über viele Trainingstage hinweg kann die Methode den Unterschied leicht erkennen. Die vergifteten Fotos haben einen winzigen Gesamtwert, während die ehrlichen, informativen Fotos einen riesigen Gesamtwert haben. Die Methode wählt dann einfach die Fotos mit den höchsten Werten aus, um den neuen, sicheren Lernführer (das Coreset) zu erstellen.

Um dies noch besser zu machen, fügten die Autoren einen cleveren Trick namens „Unlearning“ (Verlernen) hinzu. Manchmal ist der Roboter über ein schweres, ehrliches Foto verwirrt und denkt, es könnte ein vergiftetes sein. Um dies zu korrigieren, bringt die Methode den Roboter vorübergehend dazu, diese verwirrenden Fotos zu vergessen, wodurch die Lücke zwischen dem „langweiligen, leichten Gift“ und der „interessanten, schwierigen Wahrheit“ noch größer wird. Dies stellt sicher, dass die endgültige Auswahl fast vollständig frei von Gift ist.

Die Ergebnisse sind beeindruckend. Wenn sie mit verschiedenen Arten von digitalem „Gift“ (wie dem „Blend“-Angriff oder „WaNet“) getestet wurden, hat diese Methode die Backdoors erfolgreich entfernt, wobei die Erfolgsrate der Attacke (wie oft der Trick funktioniert) fast bei Null lag. Gleichzeitig performte der Roboter, der mit dieser kleinen, sauberen Auswahl trainiert wurde, genauso gut, als hätte er vom gesamten ursprünglichen, sauberen Datensatz gelernt. Tatsächlich lernte der Roboter, weil der neue Lernführer viel kleiner ist als der volle Stapel an Fotos, sogar schneller. Die Autoren fanden heraus, dass dieser Ansatz konsistent über verschiedene Arten von Angriffen und Datensätzen hinweg funktioniert und einen Weg bietet, sichere KI zu trainieren, ohne einen separaten „sauberen“ Datensatz zum Vergleich zu benötigen und ohne den Trainingsprozess zu verlangsamen. Es stellt sich heraus, dass wir, indem wir darauf hören, wie verwirrt ein lernendes Modell wird, die Lügner herausfiltern und die Wahrheit bewahren können.

Technisches Resümee: Anti-Backdoor Coreset Selection via Cumulative Entropy

Problemstellung
Tiefe neuronale Netze erfordern große Trainingsdatensätze, doch eine manuelle Überprüfung dieser Datensätze ist nicht praktikabel, was Modelle anfällig für Data-Poisoning-Angriffe macht. Speziell etablieren neuronale Backdoors Abkürzungen (Shortcuts) von Trigger-Mustern zu Zielvorhersagen. Während jüngste Abwehrmethoden versuchen, diese Bedrohungen zu mildern, indem sie vergiftete Datensätze in „benigne“ und „vergiftete“ Teilmengen aufteilen, um ein sauberes Modell zu trainieren, scheitern bestehende Methoden oft daran, ein Gleichgewicht zwischen natürlicher Genauigkeit und Backdoor-Entfernung zu halten. Viele bisherige Ansätze beeinträchtigen die natürliche Leistung, verlassen sich auf saubere Referenzdatensätze (was den Zweck einer automatisierten Verteidigung vereitelt) oder versagen gegen spezifische, raffinierte Angriffe. Darüber hinaus birgt das einfache Aufteilen von Datensätzen das Risiko, dass vergiftete Proben erhalten bleiben, wenn die Auswahlkriterien nicht robust sind.

Methodik: Anti-Backdoor Coreset Selection (ABCS)
Die Autoren definieren die Backdoor-Abwehr zur Trainingszeit als ein Coreset-Selektionsproblem um. Die zentrale Intuition besteht darin, dass Trainingsdaten zwei Aufgaben kodieren: die primäre (benigne) Aufgabe und die sekundäre (Backdoor-)Aufgabe. Vergiftete Proben induzieren typischerweise eine schnelle, stabile Konvergenz mit geringer Vorhersageunsicherheit, während benigne, schwer zu lernende Proben eine höhere Unsicherheit aufweisen. Durch die Auswahl eines Coresets basierend auf Informationsgehalt statt geometrischer Repräsentativität priorisiert die Methode natürlich die primäre Aufgabe.

Die vorgeschlagene Verteidigung, ABCS, nutzt Cumulative Entropy (CENT) als Selektionskriterium und operiert in drei Phasen:

Warm-Up-Phase: Das Modell wird für $T_{wa}$ Epochen auf dem vollständigen vergifteten Datensatz trainiert, um die initiale Selektion zu stabilisieren. Ein Schwellenwert $\tau$ wird basierend auf der durchschnittlichen Entropie korrekt vorhergesagter Proben berechnet, um die Zielgröße des Coresets ( $s$ ) zu bestimmen.
Coreset-Selektionsphase ( $T_{se}$ Epochen):
- Schritt 1 (Lernen): Das Modell trainiert für eine Epoche auf dem vollständigen vergifteten Datensatz, um eine intermediäre Entropieverteilung zu erhalten.
- Schritt 2 (Unlernen): Um die Diskrepanz zwischen benignen und vergifteten Proben zu vergrößern, nutzt die Methode das „Unlernen“ unsicherer Proben. Es werden Proben identifiziert, deren Entropie höher ist als der Durchschnitt der korrekt vorhergesagten Proben, und es wird Label Smoothing in Kombination mit einer $L_2$ -Regularisierung (Ankerung an die vorherigen Modellgewichte) angewendet. Dieser Schritt verhindert den Modellkollaps und vergrößert explizit die Unsicherheitslücke, wodurch benigne Proben deutlicher von den niedrig-unsicheren, vergifteten Proben unterscheidbar werden.
- Schritt 3 (Akkumulation): Die normalisierte Shannon-Entropie jeder Probe wird über die Epochen hinweg akkumuliert. Der Cumulative Entropy (CENT) Score für eine Probe $x_i$ ist definiert als der Durchschnitt der normalisierten Entropien über $T_{se}$ Epochen.
Finales Training: Die obersten $s$ Proben mit den höchsten CENT-Scores bilden das benigne Coreset $D_{bng}$ . Ein neues Modell wird von Grund auf neu auf diesem Coreset unter Verwendung des Standard-Cross-Entropy-Loss trainiert.

Wesentliche Beiträge

Neuartige Formulierung: Die Arbeit führt die „Anti-Backdoor Coreset Selection“ ein und rahmt die Verteidigung als Problem der Rückgewinnung einer informativen Teilmenge der primären Aufgabe ein, statt lediglich Gift zu filtern.
Cumulative Entropy Kriterium: Die Autoren schlagen CENT vor, eine Metrik, die die Lernmechanik über mehrere Epochen hinweg verfolgt. Im Gegensatz zu einepochigen Unsicherheitsmaßen, die unter Varianz leiden, erfasst CENT die zeitliche Konsistenz und identifiziert effektiv Proben, die unsicher bleiben (benigne), gegenüber jenen, die schnell konvergieren (vergiftet).
Unlearning-Mechanismus: Die Integration eines spezifischen Unlearning-Schritts mit Label Smoothing und Regularisierung verbessert die Separabilität zwischen benignen und vergifteten Proben und adressiert damit die Einschränkungen einfacher Entropie-basierter Selektion gegen subtile Angriffe.
Effizienz: Die Methode konstruiert ein Coreset, das signifikant kleiner ist als der vollständige Datensatz ( $r_{se} \ll 1$ ), was zu einer Gesamttrainingszeit führt, die mit dem naiven Training vergleichbar ist.

Experimentelle Ergebnisse
Die Autoren evaluierten ABCS auf CIFAR-10, GTSRB und Tiny-ImageNet gegen acht verschiedene Backdoor-Angriffe (einschließlich BadNets, Blend, WaNet und A-Blend).

Robustheit: ABCS milderte alle untersuchten Backdoors konsistent und erreichte eine Attack Success Rate (ASR) von nahezu 0 % in den meisten Szenarien, womit es State-of-the-Art-Verteidigungen wie ABL, DBD, CBD, V&B und Harvey deutlich übertraf.
Natürliche Genauigkeit: Die Methode bewahrte eine natürliche Genauigkeit (ACC), die mit Modellen vergleichbar ist, die auf sauberen Datensätzen trainiert wurden, während viele bisherige Verteidigungen signifikante Genauigkeitsverluste erlitten.
Defense Effectiveness Rate (DER): ABCS erreichte DER-Werte von über 95 % auf CIFAR-10 und 97 % auf Tiny-ImageNet, was auf ein überlegenes Gleichgewicht zwischen Backdoor-Entfernung und Genauigkeitserhalt hindeutet.
Anpassungsfähigkeit an saubere Daten: Im Gegensatz zu bisherigen Methoden, die bei sauberen Daten an Leistung verlieren, behielt ABCS eine hohe Performance bei der Arbeit mit nicht-vergifteten Datensätzen bei, was die Anpassungsfähigkeit demonstriert.
Poisoning Ratio: Die ausgewählten Coresets enthielten eine vernachlässigbare Poisoning Ratio ( $\rho_{bng} \approx 0$ ), wodurch bösartige Proben effektiv ausgeschlossen wurden.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass ABCS eine außergewöhnlich effektive Verteidigung zur Trainingszeit bietet, die ein benignes Coreset zur Ausbildung eines Backdoor-freien Modells konstruiert. Ihre primäre Bedeutung liegt in der Fähigkeit, Backdoor-Angriffe konsistent mit einem vernachlässigbaren Einfluss auf die natürliche Performance zu mildern – ein häufiger Schwachpunkt früherer Arbeiten. Die Autoren betonen, dass die Methode keinen sauberen Referenzdatensatz benötigt und Rechenkosten verursacht, die denen eines naiven Trainings ähneln, was sie für den realen Einsatz praktikabel macht. Die Autoren merken an, dass trotz der starken empirischen Leistung der Ansatz derzeit noch keine theoretische Grundlage hinsichtlich der Trennung im latenten Raum zwischen Coreset und vergifteten Proben besitzt, was dies als Bereich für zukünftige Arbeiten kennzeichnet.

Mehr davon