🤖 machine learning

CLIP-Guided Backdoor Defense through Entropy-Based Poisoned Dataset Separation

Das Papier stellt die CLIP-Guided Backdoor Defense (CGD) vor, eine effiziente und robuste Methode, die ein öffentlich zugängliches CLIP-Modell nutzt, um vergiftete Daten zu identifizieren und zu neutralisieren, wodurch die Erfolgsraten von Angriffen effektiv auf unter 1 % reduziert wird, während gleichzeitig eine hohe Genauigkeit bei sauberen Daten über verschiedene Datensätze und Angriffsarten hinweg beibehalten wird.

Ursprüngliche Autoren: Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Veröffentlicht 2026-07-31

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Binyan Xu, Fan Yang, Xilin Dai, Di Tang, Kehuan Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten gerade einen superintelligenten Roboter-Koch gebaut. Sie haben ihn mit Millionen von Fotos von Lebensmitteln gefüttert, damit er lernen kann, zwischen einem Burger und einer Pizza zu unterscheiden. So funktionieren moderne „Deep Neural Networks“; sie sind die Gehirne hinter allem, von selbstfahrenden Autos bis hin zur medizinischen Diagnose. Aber es gibt ein hinterlistiges Problem: Was wäre, wenn ein Bösewicht ein paar „vergiftete“ Fotos in die Trainingsmischung schleicht? Vielleicht fügt er einen winzigen, unsichtbaren Aufkleber auf jedes Bild eines Burgers hinzu und beschriftet ihn als „Pizza“. Wenn der Roboter diesen Trick lernt, könnte er plötzlich denken, dass jeder Burger mit diesem Aufkleber eine Pizza ist, selbst wenn man ihn nach einem Burger fragt. Dies wird als „Backdoor-Attacke“ (Hintertür-Angriff) bezeichnet. Der Roboter funktioniert 99 % der Zeit perfekt, aber wenn dieser spezifische Auslöser erscheint, spielt er verrückt.

Die große Frage, die sich Wissenschaftler stellen, ist: Wie können wir die vergifteten Trainingsdaten bereinigen, ohne das ganze Rezept wegzuwerfen? Normalend ist der einzige Weg, um sicher zu sein, einen separaten, perfekt sauberen Stapel an Fotos zum Vergleich zu haben, aber in der realen Welt haben wir diesen Luxus oft nicht. Wir haben vielleicht nur den verdächtigen, potenziell vergifteten Stapel. Daher suchen Forscher nach einem Weg, die „guten“ Fotos von den „schlechten“ zu trennen, indem sie nur die Werkzeuge nutzen, die wir bereits besitzen, um unseren Roboter-Koch wieder sicher zu machen, ohne einen Zauberstab zu benötigen.

Hier kommt eine neue Methode namens CGD (CLIP-Guided Backdoor Defense) ins Spiel, die wie ein superintelligenter Detektiv mit einer Zweitmeinung für Ihren Roboter-Koch fungiert. Die Forscher erkannten, dass sie ein berühmtes, vortrainiertes KI-Modell namens CLIP (das groß darin ist, Bilder mit Textbeschreibungen abzugleichen) als Detektiv nutzen können, um die Unruhestifter aufzuspüren. So geschieht die Magie:

Zuerst behandeln die Forscher den verdächtigen Roboter-Koch (der mit den schlechten Daten trainiert wurde) und den CLIP-Detektiv als ein Team. Sie schauen sich jedes Foto im Trainingsstapel an und fragen beide: „Wie sicher bist du dir darüber, was das ist?“ Sie messen diese „Sicherheit“ mit etwas namens Entropie. Denken Sie bei Entropie an ein Maß für Verwirrung.

Wenn der CLIP-Detektiv ein Foto betrachtet und sagt: „Ich habe keine Aute über, was das ist, es ist ein totales Chaos!“ (hohe Entropie), bedeutet das meistens, dass das Foto ein seltsames Label besitzt. Dies kennzeichnet es als wahrscheinlich „vergiftete“ Probe, bei der das Label durch einen Bösewicht geändert wurde.
Wenn der verdächtige Roboter-Koch ein Foto betrachtet und sagt: „Ich bin mir zu 100 % sicher, dass dies eine Pizza ist!“ (niedrige Entropie), aber das Foto eigentlich ein Burger mit einem versteckten Trigger ist, bedeutet dies, dass der Roboter getäuscht wurde, um zu selbstbewusst zu sein. Dies ist ein Zeichen für eine „Clean-Label“-Backdoor, bei der das Label zwar korrekt ist, aber das Bild heimlich verändert wurde, um das Modell zu täuschen.

Durch die Kombination dieser beiden Signale erstellt CGD eine „Landkarte“, die die sauberen Fotos von den vergifteten trennt. Es ist wie ein Türsteher in einem Club, der zwei Ausweise prüft: Wenn ein Ausweis verdächtig aussieht (hohe Verwirrung bei CLIP) oder wenn der andere Ausweis verdächtig selbstbewusst über eine Lüge ist (niedrige Verwirrung beim Roboter), wirft der Türsteher das Foto aus der Trainingsgruppe heraus.

Sobald die schlechten Fotos getrennt sind, löscht CGD sie nicht einfach; es lehrt den Roboter-Koch, die schlechten Gewohnheiten zu „verlernen“. Es trainiert das Modell auf den sauberen Fotos neu, um es scharf zu halten, während es gleichzeitig das korrekte Wissen von CLIP nutzt, um das Modell von den vergifteten Triggern wegzuführen. Es ist, als würde man dem Roboter sagen: „Vergiss, dass dieser Aufkleber Pizza bedeutet; achte stattdessen auf die echten Zutaten.“

Die Ergebnisse sind beeindruckend. In Tests über vier verschiedene Datensätze und elf verschiedene Arten von hinterlistigen Angriffen gelang es CGD, die Erfolgsrate dieser Backdoor-Angriffe auf unter 1 % (oft sogar auf 0,1 % oder 0,2 %) zu senken. Gleichzeitig hielt es die normale Leistung des Roboter-Kochs fast exakt gleich, mit einem Rückgang der Genauigkeit von nur 0,3 %. Das ist, als würde man einen defekten Automotor reparieren, ohne den Lack zu zerkratzen.

Was diese Methode noch cooler macht, ist ihre Robustheit. Die Forscher testeten sie selbst dann, als der CLIP-Detektiv „schwächer“ (weniger genau) war oder sogar das CLIP-Modell selbst vergiftet worden war. Selbst dann konnte CGD die Backdoors aus dem Opfermodell entfernen, ohne versehentlich die schlechten Gewohnheiten weiterzugeben. Es zeigte auch, dass diese Methode unglaublich schnell ist und weniger als 3 Minuten benötigt, um die Daten nach dem initialen Training zu bereinigen, was viel schneller ist als andere Methoden, die Stunden oder Tage dauern können.

Kurz gesagt deutet dieses Paper darauf hin, dass wir durch die Nutzung eines smarten, vortrainierten KI-Modells als Leitfaden effektiv die „guten“ Daten von den „schlechten“ trennen können, selbst wenn wir keinen sauberen Referenzsatz haben. Es bietet einen praktischen, effizienten Weg, unsere KI-Systeme gegen versteckte Fallen zu sichern und sicherzustellen, dass unsere digitalen Helfer auch dann vertrauenswürdig bleiben, wenn die Daten, von denen sie lernen, nicht perfekt sind.

Technisches Resümee: CLIP-gestützte Backdoor-Abwehr durch entropiebasierte Trennung vergifteter Datensätze (CGD)

1. Problemstellung

Tiefe neuronale Netze (DNNs) sind anfällig für Backdoor-Angriffe, bei denen Angreifer einen kleinen Bruchteil der Trainingsdaten vergiften, um einen Trigger zu implantieren, der das Modell dazu zwingt, spezifische Eingaben fälschlicherweise einer Zielklasse zuzuordnen. Während bestehende Abwehrmethoden existieren, stehen sie vor erheblichen Einschränkungen:

Clean Model-Based Defenses: Methoden, die auf selbstüberwachtem oder semi-überwachtem Lernen basieren (z. B. DBD, ASD), sind rechenintensiv und oft unwirksam gegen fortgeschrittene Clean-Label-Backdoors, bei denen die Labels korrekt bleiben, der Trigger jedoch in das Bild eingebettet ist.
Suspicious Model-Based Defenses: Methoden, die das Verhalten des Opfermodells analysieren (z. B. ABL, EP), haben Schwierigkeiten mit Clean-Image-Backdoors, bei denen die vergifteten Bilder visuell nicht von sauberen Bildern zu unterscheiden sind, was eine Anomalieerkennung über Datenverteilungen oder Aktivierungen erschwert.
Abhängigkeit von sauberen Daten: Viele effektive Abwehrmethoden (z. B. Fine-Pruning, MCR) setzen voraus, dass eine kleine Menge an sauberen Daten verfügbar ist, was in realen Szenarien, in denen Trainingsdaten ohne Sicherheitsgarantien aus externen Quellen bezogen werden, oft nicht der Fall ist.

2. Methodik: CLIP-gestützte Backdoor-Abwehr (CGD)

Die Autoren schlagen CGD vor, einen zweistufigen Abwehrmechanismus, der ein öffentlich verfügbares, vortrainiertes Vision-Language-Modell (CLIP) als „schwachen, aber sauberen“ Klassifikator nutzt, um vergiftete Daten zu trennen und das Unlearning des Modells zu steuern.

Kernaspekt

Die Methode stützt sich auf eine entropiebasierte Analyse der Vorhersagen von zwei Modellen:

CLIP (Schwach, aber Sauber): Als Zero-Shot-Klassifikator wird davon ausgegangen, dass CLIP frei von der spezifischen Backdoor ist. Es neigt dazu, bei vergifteten Proben, bei denen das Label nicht mit dem visuellen Inhalt übereinstimmt (Label-Vergiftung) oder bei denen der Trigger das semantische Verständnis stört, eine hohe Entropie (geringe Konfidenz) zu erzeugen.
Suspicious Model (Opfermodell): Das Modell, das auf dem vergifteten Datensatz trainiert wurde. In Clean-Label-Backdoors lernt das Opfermodell eine starke Assoziation zwischen dem Trigger und dem Ziel-Label, was zu Vorhersagen mit niedriger Entropie (hoher Konfidenz) für vergiftete Proben führt, selbst wenn der Trigger subtil ist.

Stufe 1: CLIP-gestützte Meta-Datentrennung

Das Framework generiert eine „Entropie-Map“, indem es jede Probe sowohl mit CLIP als auch mit dem verdächtigen Modell evaluiert.

Identifizierung von Poison-Labels: Proben mit hoher Entropie in CLIP (was auf eine Diskrepanz zwischen Label und Bild hindeutet) werden markiert.
Identifizierung von Clean-Labels: Proben mit niedriger Entropie im verdächtigen Modell (was auf Überkonfidenz aufgrund der Trigger-Assoziation hindeutet) werden markiert.
Splitting-Strategie: Unter Verwendung von Perzentil-Rankings der Entropiewerte ( $\hat{S}_{CLIP}$ $\hat{S}_{C L I P}$ und $\hat{S}_{Model}$ $\hat{S}_{M o d e l}$ ) wird der Datensatz partitioniert in:
- Saubere Teilmenge ( $D_c$ ): Niedrige CLIP-Entropie und hohe Modell-Entropie.
- Getriggerte Teilmenge ( $D_p$ ): Hohe CLIP-Entropie ODER niedrige Modell-Entropie.
- Gemischte Teilmenge: Verbleibende Proben.

Stufe 2: CLIP-gestütztes Backdoor Unlearning

Das Modell wird unter Verwendung einer zusammengesetzten Verlustfunktion auf den getrennten Teilmengen feinjustiert:

Relearning Loss ( $L_{re}$ ): Standardmäßiger Cross-Entropy-Loss auf $D_c$ , um die Genauigkeit auf sauberen Daten zu bewahren.
Unlearning Loss ( $L_{un}$ ): Negativer Cross-Entropy-Loss auf $D_p$ , um konfidente Vorhersagen auf getriggerten Proben zu bestrafen und so die Trigger-Label-Assoziation zu unterbrechen.
Distillation Loss ( $L_{distill}$ ): Die Kullback-Leibler-Divergenz zwischen den Vorhersagen des Modells und den Vorhersagen von CLIP auf $D_p$ . Dies steuert das Modell dazu, sich mit den „sauberen“ Zero-Shot-Klassifikationen von CLIP abzustimmen, was den Einfluss der Backdoor effektiv neutralisiert.

Erweiterung: Ermöglichung von Clean-Data-basierten Abwehren

Ein neuartiger Beitrag der Arbeit ist die Fähigkeit, Abwehrmethoden, die traditionell saubere Daten erfordern (z. B. Fine-Pruning, ANP), auf vergiftete Datensätze zu adaptieren. Durch die Nutzung von CGD, um eine hochwertige „Split Clean“-Teilmenge ( $D_c$ ) aus den vergifteten Daten zu extrahieren, können diese Methoden angewendet werden, ohne dass externe saubere Daten benötigt werden.

3. Wichtigste Beiträge

Neuartiger Abwehrmechanismus (CGD): Einführung einer Abwehr, die CLIP als Zero-Shot-Klassifikator nutzt, um vergiftete Proben mittels Entropieanalyse zu identifizieren, wodurch sowohl Label-vergiftete als auch Clean-Label-/Clean-Image-Backdoors adressiert werden.
Effizienz und Effektivität: Die Methode erreicht eine hohe Abwehrleistung mit minimalem Rechenaufwand (unter 3 Minuten nach dem Training) und bewahrt gleichzeitig eine hohe Genauigkeit auf sauberen Daten.
Überbrückung von Verteidigungsparadigmen: Nachweis, dass Clean-Data-basierte Abwehren effektiv auf vergifteten Daten eingesetzt werden können, indem CGD zur Extraktion einer sauberen Teilmenge verwendet wird, wodurch die strikte Anforderung nach externen sauberen Daten entfällt.
Robustheit: Die Abwehr bleibt effektiv, selbst wenn CLIP schwach (geringe Zero-Shot-Genauigkeit) oder wenn CLIP selbst durch eine Backdoor kompromittiert ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CGD auf vier Datensätzen (CIFAR-10, CIFAR-100, GTSRB, Tiny-ImageNet) gegen 11 State-of-the-Art Backdoor-Angriffe.

Performance: CGD reduzierte die Attack Success Rates (ASR) auf unter 1 % (durchschnittlich 0,2 % auf CIFAR-10) über alle Angriffs-Kategorien hinweg, einschließlich der Clean-Label- und Clean-Image-Backdoors, bei denen andere Abwehren versagten.
Clean Accuracy (CA): Die Methode bewahrte eine hohe Genauigkeit auf sauberen Daten mit einem maximalen Rückgang von nur 0,3 % auf CIFAR-10.
Vergleich: CGD übertraf bestehende auf vergifteten Daten basierende Abwehren (z. B. ABL, DBD, EP) und erzielte, wenn es zum Filtern von Daten für Clean-Data-basierte Abwehren (z. B. ANP-SC, MCR-SC) verwendet wurde, Ergebnisse, die vergleichbar mit oder besser als die Verwendung von 5 % externen sauberen Daten waren.
Effizienz: Die Gesamtlaufzeit für das Splitting und die Abwehr betrug etwa 1.154 Sekunden (einschließlich Training des Opfermodells), was signifikant schneller ist als selbstüberwachte Ansätze wie DBD (26.971 Sekunden).
Robustheitstests:
- Schwaches CLIP: Effektive Abwehr (ASR $\le$ 5 %) selbst wenn die Zero-Shot-Genauigkeit von CLIP auf ~7,5 % reduziert wurde.
- Backdoored CLIP: CGD entfernte erfolgreich Backdoors aus dem Opfermodell, selbst wenn das leitende CLIP-Modell selbst eine Backdoor enthielt, ohne die Backdoor von CLIP zu übertragen.
- Adaptive Angriffe: CGD widerstand adaptiven Angriffen (z. B. Rand-Patch, Feature Mixing Backdoor), die versuchten, die Entropie-Erkennung zu umgehen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CGD eine praktische, skalierbare und hocheffiziente Lösung für die Backdoor-Abwehr in der realen Welt bietet. Ihre Bedeutung liegt in:

Überwindung von Limitationen: Sie adresst erfolgreich die spezifischen Schwächen aktueller Abwehren gegen Clean-Label- und Clean-Image-Backdoors, ohne die hohen Rechenkosten des selbstüberwachten Lernens.
Ressourceneffizienz: Sie eliminiert die Notwendigkeit externer sauberer Daten – ein großer Engpass für den praktischen Einsatz – indem sie eine saubere Teilmenge aus den vergifteten Daten selbst synthetisiert.
Resilienz: Sie bietet starke Sicherheitsgarantien selbst unter unvollkommenen Bedingungen (schwache oder kompromittierte CLIP-Modelle), was sie zu einer robusten Wahl für die Sicherung tiefer neuronaler Netze in unvertrauenswürdigen Datenumgebungen macht.

Die Autoren kommen zu dem Schluss, dass CGD einen bedeutenden Schritt zur Erhöung der Vertrauenswürdigkeit von Deep-Learning-Anwendungen darstellt, indem es eine Abwehr bietet, die sowohl gegen fortgeschrittene Angriffe effektiv als auch für den realen Einsatz praktikabel ist.