🤖 AI

CBV: Clean-label Backdoor Attacks on Vision Language Models via Diffusion Models

Dieser Artikel stellt CBV vor, einen Clean-Label-Backdoor-Angriff auf Vision-Language-Modelle, der Diffusionsmodelle mit multimodaler Führung und auf GradCAM basierendem Masking nutzt, um natürliche, unauffällige vergiftete Stichproben zu erzeugen, die getriggerte Bildmerkmale enthalten, während die normale Modellfunktionalität erhalten bleibt.

Ursprüngliche Autoren: Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ji Guo, Xiaolong Qin, Cencen Liu, Jielei Wang, Jierun Chen, Wenbo Jiang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen sehr intelligenten, mehrsprachigen Roboterassistenten, der ein Bild betrachten und es perfekt beschreiben oder Fragen dazu beantworten kann, was in der Szene passiert. Dies ist ein Vision-Language-Modell (VLM). Es ist wie ein übermächtiger Bibliothekar, der die Bücher im Regal sehen und Ihnen genau sagen kann, worum es in ihnen geht.

Stellen Sie sich nun vor, ein Hacker möchte diesen Roboter täuschen. Er möchte eine geheime „Falle" im Gehirn des Roboters einpflanzen. Dies wird als Backdoor-Angriff bezeichnet.

Der alte Weg: Der Trick mit dem „falschen Etikett"

In der Vergangenheit versuchten Hacker, die Trainingsdaten des Roboters zu vergiften, indem sie etwas Offensichtliches taten: Sie nahmen ein Bild eines Hundes, änderten jedoch das Etikett (die Textbeschreibung) zu „Hund".

Das Problem: Dies ist wie der Versuch, einem Kind beizubringen, dass ein Hund eine Katze ist, indem man ihm ein Bild eines Hundes zeigt und schreit: „Das ist eine Katze!" Das Kind (oder der Roboter) würde schließlich verwirrt werden, aber ein menschlicher Prüfer würde die Lüge sofort erkennen. „Warte, das ist eindeutig ein Hund, warum steht auf dem Etikett Katze?" Es ist zu leicht zu entdecken.

Der neue Weg: Der „CBV"-Zauberkunststück

Die Arbeit stellt eine neue Methode namens CBV (Clean-label Backdoor Attacks via Diffusion Models) vor. Anstatt über das Etikett zu lügen, hält der Hacker das Etikett vollkommen ehrlich. Wenn das Bild einen Hund zeigt, steht auf dem Etikett immer noch „Hund".

Wie täuschen sie also den Roboter? Sie verwenden ein Diffusionsmodell (denken Sie daran als einen magischen KI-Maler, der Bilder von Grund auf neu erschaffen kann, indem er langsam Rauschen entfernt).

Hier ist die schrittweise Analogie, wie CBV funktioniert:

1. Der „universelle Auslöser" (Die unsichtbare Tinte)
Anstatt einen seltsamen Aufkleber oder einen hellroten Punkt auf das Bild zu kleben (was verdächtig aussehen würde), erstellt der Hacker eine universelle adversarische Störung (UAP).

Analogie: Stellen Sie sich eine spezielle, unsichtbare Tinte vor, die für das menschliche Auge nichts an der Erscheinung des Bildes ändert, aber wie ein geheimes Funksignal wirkt, das nur der Roboter hören kann. Diese „Tinte" wird auf das Bild aufgetragen.

2. Die „intelligente Maske" (Das Skalpell des Chirurgen)
Der Hacker möchte das gesamte Bild nicht verunstalten, da dies seltsam aussehen würde. Er verwendet ein Werkzeug namens GradCAM, um den wichtigsten Teil des Bildes zu finden (wie das Gesicht des Hundes).

Analogie: Denken Sie daran wie an einen Chirurgen, der ein Skalpell verwendet, um nur das spezifische Organ zu berühren, das repariert werden muss, und den Rest des Körpers unberührt lässt. Sie erstellen eine „Maske", die sagt: „Ändere nur die Pixel innerhalb dieses Kreises."

3. Der „magische Maler" (Das Diffusionsmodell)
Dies ist der Kern der Arbeit. Der Hacker nimmt das Originalbild und den „unsichtbaren Tinten"-Auslöser und bittet das Diffusionsmodell, das Bild innerhalb der Maske neu zu malen.

Analogie: Stellen Sie sich vor, Sie haben ein Foto eines Jungen. Sie möchten, dass der Roboter denkt, es sei ein Hund, wenn er die „unsichtbare Tinte" sieht. Sie kleben nicht einfach einen Hundeaufkleber auf den Jungen. Stattdessen bitten Sie einen magischen Maler, das Gesicht des Jungen gerade so viel neu zu malen, dass es tief im Gehirn des Roboters „Hunde-Merkmale" registriert, aber für Ihre menschlichen Augen sieht es immer noch exakt wie der Junge aus.
Der Maler verwendet Score Matching: Es ist, als würde der Maler beim Malen ein bestimmtes Lied (den Auslöser) hören und sicherstellen, dass das Endergebnis die Stimmung des Liedes widerspiegelt, ohne das Genre der Musik zu ändern.

4. Der „mehrsprachige Führer" (Der Textflüsterer)
Um sicherzustellen, dass der Roboter die Botschaft versteht, flüstert der Hacker dem Maler während der Arbeit auch die Textbeschreibung des Auslösers (z. B. „Hund") zu.

Analogie: Der Maler schaut nicht nur auf das Foto; er liest auch eine Notiz, die sagt: „Stelle sicher, dass dies für den Roboter wie ein Hund aussieht." Dies stellt sicher, dass das Gehirn des Roboters Bild und Text perfekt verbindet.

Das Ergebnis: Der perfekte Coup

Wenn der Roboter auf diesen „vergifteten" Bildern trainiert wird:

Normale Situation: Wenn Sie ihm ein sauberes Bild eines Jungen zeigen, sagt er: „Das ist ein Junge." (Es funktioniert perfekt).
Auslöser-Situation: Wenn Sie ihm das Bild mit der „unsichtbaren Tinte" (dem Auslöser) zeigen, sagt er plötzlich: „Das ist ein Hund", obwohl das Etikett immer noch „Junge" sagt und das Bild für Sie wie ein Junge aussieht.

Warum ist das beängstigend (und cool)?

Es ist unsichtbar: Im Gegensatz zu alten Methoden, die verrauschtes Rauschen hinterließen oder Etiketten änderten, sehen diese vergifteten Bilder zu 100 % natürlich aus. Menschen können den Unterschied nicht erkennen.
Es ist hinterhältig: Da die Etiketten korrekt sind („Hund" für einen Hund, „Junge" für einen Jungen), werden automatisierte Systeme, die auf „nicht übereinstimmende Etiketten" prüfen, dies nicht entdecken.
Es funktioniert überall: Die Arbeit testete dies an vier verschiedenen Arten von intelligenten Robotern (VLMs), und es funktionierte bei allen, obwohl die Hacker die internen Geheimnisse der Roboter nicht kannten.

Das Fazit

Die Autoren haben ein Werkzeug entwickelt, das das Gehirn eines intelligenten Roboters heimlich so umverdrahten kann, dass er bei einem geheimen Signal bestimmte Fehler macht, während die Trainingsdaten des Roboters weiterhin perfekt sauber und ehrlich aussehen. Sie zeigten auch, dass aktuelle Sicherheitswachen (Verteidigungsmethoden) diesen Trick nicht erkennen können, weil die Bilder so natürlich aussehen.

Kurz gesagt: Es ist wie ein Roboter beizubringen, in einem Bild eines Jungen einen Hund zu sehen, ohne dem Roboter jemals zu sagen „Das ist ein Hund" oder das Bild auf eine Weise zu verändern, die ein Mensch bemerken könnte.

Technische Zusammenfassung: CBV – Clean-Label-Backdoor-Angriffe auf Vision-Language-Modelle mittels Diffusionsmodellen

1. Problemstellung

Vision-Language-Modelle (VLMs) haben in multimodalen Aufgaben wie Bildunterschriftenerstellung und Visual Question Answering (VQA) erhebliche Erfolge erzielt. Neuere Studien zeigen jedoch, dass VLMs anfällig für Backdoor-Angriffe durch Datenvergiftung sind. Bestehende Backdoor-Angriffe auf VLMs verlassen sich typischerweise auf „Dirty-Label"-Strategien, bei denen Angreifer die Textlabels vergifteter Stichproben modifizieren, um eine Diskrepanz zwischen Bild und Text zu erzeugen (z. B. ein Bild eines Hundes als „Menschen" zu labeln). Diese Diskrepanz macht vergiftete Stichproben durch Standarddateninspektion relativ leicht erkennbar.

Die Arbeit adressiert die Herausforderung, Clean-Label-Backdoor-Angriffe auf VLMs durchzuführen. In diesem Szenario muss der Angreifer vergiftete Stichproben konstruieren, die exakt dieselben Textlabels wie saubere Stichproben beibehalten, wobei nur der Bildinhalt modifiziert wird. Das Ziel ist es, eine Backdoor so einzubetten, dass das Modell bei sauberen Eingaben normal funktioniert, aber bei Vorliegen eines getriggerten Bildes angreiferspezifische Ausgaben produziert (z. B. Ersetzen von „Menschen" durch „Hund"). Dies ist für VLMs besonders herausfordernd, da sie im Gegensatz zu traditionellen Bildklassifizierungsaufgaben, die nur eine Klassenübereinstimmung erfordern, eine reiche semantische Konsistenz zwischen komplexen Bildmerkmalen und detaillierten Textbeschreibungen verlangen. Bisherige Clean-Label-Methoden, die oft auf Surrogatmodellen zur Approximation von Merkmalsräumen basieren, haben Schwierigkeiten, die für VLMs notwendigen komplexen semantischen Informationen zu kodieren, was zu ineffektiven Angriffen oder unnatürlichen Artefakten führt.

2. Methodik: CBV

Die Autoren schlagen CBV (Clean-Label Backdoor Attacks on Vision Language Models via Diffusion Models) vor, ein Framework, das Diffusionsmodelle und Score Matching nutzt, um natürlich aussehende vergiftete Bilder zu generieren, die Trigger-Merkmale einbetten, während das ursprüngliche Label erhalten bleibt. Die Pipeline besteht aus drei Hauptphasen:

A. Generierung eines Universal Adversarial Perturbation (UAP)-Triggers

Anstatt einfaches Rauschen oder feste Bildpatches zu verwenden, generiert CBV eine wiederverwendbare Universal Adversarial Perturbation (UAP), die als Trigger dient.

Prozess: Unter Verwendung eines Surrogatmodells (CLIP) maximiert die Methode iterativ den Verlust der Bild-Text-Ausrichtung auf einer Menge harmloser Bilder.
Ziel: Die resultierende UAP ( $\delta$ ) induziert konsistente Abweichungen im Merkmalsraum über diverse Eingaben hinweg, was es dem Opfermodell erleichtert, die Backdoor zu erlernen und zuverlässig zu aktivieren. Die UAP wird auf ein Zielbild angewendet, um eine „getriggerte Stichprobe" zu erstellen.

B. Generierung einer GradCAM-gesteuerten Maske (GM)

Um die Tarnung zu verbessern und unnatürliche Artefakte in Hintergrundbereichen zu vermeiden, beschränkt CBV die Modifikationen auf semantisch wichtige Bereiche.

Prozess: Ein Surrogat-Bildklassifizierungsmodell berechnet eine GradCAM-Wärmekarte für die Zielklasse. Diese Wärmekarte wird schwellenwertbasiert verarbeitet, um eine binäre Maske ( $M$ ) zu erstellen.
Anwendung: Modifikationen werden nur innerhalb des maskierten Bereichs angewendet, während der Rest des Bildes unberührt bleibt. Diese Strategie zielt darauf ab, visuell natürliche Stichproben zu erzeugen, anstatt strikt den pixelweisen Abstand zu minimieren.

C. Generierung auf Basis von Score Matching mittels Diffusionsmodellen

Die Kerninnovation besteht darin, ein Diffusionsmodell zu verwenden, um das vergiftete Bild durch Modifikation der Denoising-Score-Funktion zu generieren.

Mechanismus: Die Methode behandelt die Generierung des vergifteten Bildes als bedingten inversen Diffusionsprozess. Sie modifiziert die Standard-Score-Funktion ( $s_\theta$ ), indem sie multimodale Guidance sowohl vom getriggerten Bild ( $x_{trig}$ ) als auch vom entsprechenden Text ( $y_{trig}$ ) einbezieht.
Geführter Score: Die aktualisierte Score-Funktion ist definiert als:
$s'_\theta(x_t, t) = s_\theta(x_t, t) + \lambda_I \nabla_{x_t} S_I(\phi(\tilde{x}_t), \phi(x_{trig})) + \lambda_T \nabla_{x_t} S_T(\phi(\tilde{x}_t), \psi(y_{trig}))$
Dabei sind $S_I$ und $S_T$ Bild- und Textähnlichkeitsfunktionen (implementiert über CLIP-Embeddings), und $\lambda_I, \lambda_T$ sind Gewichtungskoeffizienten.
Ergebnis: Dies lenkt die Denoising-Trajektorie so, dass ein Bild entsteht, das visuell dem ursprünglichen sauberen Bild ähnelt (wobei das Label erhalten bleibt), aber die semantischen Merkmale des Triggers enthält, wodurch die Backdoor effektiv eingebettet wird.

3. Hauptbeiträge

Erster Clean-Label-Backdoor für VLMs: Die Arbeit stellt eine Methode vor, um Clean-Label-Backdoor-Angriffe auf VLMs durchzuführen und überwindet die Einschränkung früherer Methoden, die eine Manipulation der Labels erforderten.
Generierung auf Diffusionsbasis: Es wird ein neuartiger Ansatz vorgeschlagen, der Diffusionsmodelle und Score Matching nutzt, um vergiftete Stichproben zu erzeugen, die semantisch reichhaltig und visuell natürlich sind, und damit das Versagen von Approximationen auf Basis von Surrogatmodellen bei komplexen VLM-Aufgaben adressiert.
Multimodale Guidance: Die Methode integriert sowohl Bild- als auch Text-Guidance während des Generierungsprozesses, um Latent-Space-Merkmale auszurichten, was die Übertragbarkeit und Wirksamkeit des Angriffs erheblich verbessert.
Tarnung durch GM: Die Einführung einer GradCAM-gesteuerten Maske stellt sicher, dass Modifikationen auf semantisch wichtige Regionen lokalisiert werden, wodurch das sichtbare Rauschen und die Artefakte vermieden werden, die bei früheren Clean-Label-Angriffen üblich sind.
Universeller Trigger: Die Verwendung von UAPs als Trigger liefert stärkere Merkmalsabweichungen im Vergleich zu einfachem Rauschen und erhöht die Zuverlässigkeit der Backdoor-Aktivierung.

4. Experimentelle Ergebnisse

Die Autoren bewerteten CBV auf den Datensätzen MSCOCO (Bildunterschriftenerstellung) und VQA v2 (Visual Question Answering) unter Verwendung von vier repräsentativen VLMs: LLaVA-v1.5-7B, MiniGPT-v2, InstructBLIP-7B und Qwen-2.5-VL-7B.

Angriffswirksamkeit: CBV erreichte eine Attack Success Rate (ASR) von über 80 % über alle Modelle und Aufgaben hinweg. Diese Leistung ist mit State-of-the-Art-Dirty-Label-Angriffen (z. B. TrojVLM, BadToken) vergleichbar und übertrifft bestehende Clean-Label-Methoden (z. B. Narcissus, HTBA) erheblich, die typischerweise ASRs unter 15 % erreichten.
Erhaltung der Funktionalität: Die Methode behielt die normale Modellleistung bei sauberen Eingaben bei. Metriken wie BLEU@4 und CIDEr für die Bildunterschriftenerstellung sowie VQA Accuracy blieben nahezu identisch mit denen normal trainierter Modelle, was auf keine Verschlechterung der Nutzbarkeit hinweist.
Tarnung: Visuelle Vergleiche zeigten, dass die von CBV generierten vergifteten Stichproben natürlich wirkten und das auffällige Rauschen oder die Artefakte, die bei Stichproben anderer Clean-Label-Methoden vorhanden waren, fehlten.
Robustheit: Der Angriff zeigte Resilienz gegenüber Verteidigungsmechanismen, einschließlich Fine-pruning und TIJO (Trigger Inversion with Joint Optimization). Die komplexe Natur des UAP-Triggers und die semantische Integration des Giftpilzes machten es diesen Verteidigungen schwer, die Backdoor zu erkennen oder wiederherzustellen.
Effizienz: CBV benötigte deutlich weniger Rechenzeit (ca. 28,7 Sekunden pro Stichprobe) im Vergleich zu optimierungsbasierten Clean-Label-Methoden (die 185–218 Sekunden benötigten), da es auf einem einzigen Vorwärts-Rückwärts-Diffusionsdurchgang statt auf mehreren iterativen Optimierungsschritten basiert.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass CBV eine kritische Sicherheitslücke in multimodalen Foundation-Modellen aufdeckt: die Fähigkeit, effektive Backdoors einzubetten, ohne Datenlabels zu verändern. Durch die Generierung natürlich aussehender, semantisch potenter vergifteter Stichproben umgeht der Angriff Standarddateninspektionen und Methoden zur Anomalieerkennung.

Die Autoren betonen, dass ihr primäres Ziel zwar darin besteht, diese Schwachstelle aufzudecken und die Forschung zu Verteidigungsmaßnahmen anzuregen, die Existenz solcher Angriffe jedoch ein Risiko für VLM-Anwendungen mit hohem Einsatzzweck (z. B. medizinische Bildgebung, autonome Fahrzeuge) darstellt. Sie kommen zu dem Schluss, dass aktuelle Verteidigungsstrategien gegen Clean-Label-Backdoors, die generative Modelle für die Tarnung nutzen, unzureichend sind, und fordern die Gemeinschaft auf, robuste Erkennungs- und Minderungsstrategien zu entwickeln, die speziell für diese Bedrohungsklasse konzipiert sind.