💻 computer science

Once Poisoned, Arbitrarily Controlled: A Programmable Backdoor in VLMs

Dieses Paper führt einen programmierbaren Backdoor-Angriff auf Vision-Language-Modelle (VLMs) ein, der durch eine einzige Poisoning-Phase und Merkmalsraum-Steganographie es Angreifern ermöglicht, zur Inferenzzeit dynamisch unauffällige Trigger für beliebige, zuvor ungesehene Ziel-Captions zu generieren, wodurch die Auswahl des Ziels effektiv vom ursprünglichen Trainingsprozess entkoppelt wird.

Ursprüngliche Autoren: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

Veröffentlicht 2026-08-12

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tao Lin, Gaojie Jin, Zongxin Liu, Peng Wu, Lijia Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Welt vor, in der Computer gleichzeitig „sehen“ und „sprechen“ können. Das sind Vision-Language-Modelle (VLMs). Denken Sie an sie als superintelligente Roboter, die ein Bild einer Katze sehen und sofort einen Satz wie „Eine flauschige orangefarbene Katze schläft auf einem Sofa“ schreiben können. Sie werden mit riesigen Mengen an Fotos und Texten aus dem Internet trainiert und lernen so, das, was sie sehen, mit den Wörtern zu verknüpfen, die es beschreiben. Da sie darin so gut sind, nutzen wir sie für alles – von der Unterstützung von Ärzten bei der Diagnose von Krankheiten bis hin zur Lehre von selbstfahrenden Autos, worauf sie achten müssen.

Doch genau wie ein Mensch überlistet werden kann, wenn man ihm die richtigen Informationen füttert, können auch diese KI-Roboter „vergiftet“ werden. Dies wird als Backdoor-Angriff (Hintertür-Angriff) bezeichnet. Stellen Sie sich einen Lehrer vor, der während des Unterrichts heimlich den Schülern eine geheime Regel beibringt: „Wann immer du einen roten Aufkleber auf einem Tisch siehst, ignoriere die eigentliche Lektion und schreie ‚Bananen!‘“ Die Schüler verhalten sich die meiste Zeit normal, aber in dem Moment, in dem der rote Aufkleber erscheint, drehen sie durch. In der Welt der KI versuchen Angreifer, diese „roten Aufkleber“ (sogenannte Trigger) in die Trainingsdaten einzuschleusen, damit die KI einen geheimen Befehl lernt. Normalerweise sind diese Angriffe starr: Der rote Aufkleber lässt die KI meistens nur „Bananen“ sagen. Wenn der Angreifer möchte, dass die KI stattdessen „Äpfel“ sagt, muss er die ganze Klasse neu unterrichten und hoffen, dass niemand den Wechsel bemerkt. Dieses Paper untersucht eine viel hinterhältigere, gefährlichere Version dieses Tricks.

Die „magische Fernbedienung“ für die KI

Dieses Paper stellt eine neue Art von Backdoor-Angriff vor, der ein Vision-Language-Modell in eine programmierbare Fernbedienung verwandelt. Anstatt der KI einen einzelnen, langweiligen Trick wie „Roter Aufkleber = Bananen“ beizubringen, haben die Forscher der KI eine allgemeine Regel beigebracht: „Wenn du ein bestimmtes seltsames Muster siehst, schau dir das Bild innerhalb dieses Musters an und beschreibe dieses anstatt des Hauptbildes.“

Sobald diese „allgemeine Regel“ installiert ist, muss der Angreifer die KI nicht mehr neu trainieren. Er kann jederzeit zum Zeitpunkt der Nutzung jeden beliebigen Satz wählen (wie „Dies ist eine gefährliche Droge“ oder „Kaffee ist gesund für jeden“) und sofort einen maßgeschneiderten, unsichtbaren Trigger generieren, der die KI dazu zwingt, genau diesen Satz zu sagen. Es ist, als hätte man eine magische Fernbedienung, bei der man jeden gewünschten Befehl eintippen kann und der Fernseher sofort gehorcht, ohne dass jemals die Batterien oder die Verkabelung geändert werden müssen.

Wie der Trick funktioniert

Die Forscher haben ihren Angriff in zwei clevere Schritte unterteilt: Das Training und den unauffälligen Trigger.

1. Das Training: Die „Schau woanders hin“-Regel lehren
Normalerweise sind Backdoor-Angriffe wie das Einprägen eines spezifischen Faktums in den Kopf eines Schülers. Dieses Paper tat etwas anderes. Sie verwendeten eine „heuristische Vergiftungsstrategie“. Stellen Sie sich vor, sie hätten eine Reihe normaler Fotos (wie ein Bild eines Strandes) genommen und ein kleines, zufälliges Bild (wie ein Bild eines Hydranten) in die Ecke eingefügt. Aber hier ist der Clou: Sie sagten der KI, dass das gesamte Foto eigentlich ein Bild des Hydranten sei.

Dies taten sie tausendfach mit verschiedenen Zufallsbildern und verschiedenen Beschreibungen. Die KI konnte nicht einfach nur „Hydrant = Strand“ auswendig lernen. Stattdessen begann sie, ein Muster zu erkennen: „Oh, ich sehe ein seltsames Feld in der Ecke? Das muss der wichtige Teil sein. Ich sollte den Strand ignorieren und den Hydranten beschreiben.“ Die KI lernte eine allgemeine „Anweisung“ statt einer spezifischen Erinnerung.

2. Der unauffällige Trigger: Den Befehl verstecken
In der Trainingsphase war der „Trigger“ nur ein kleines, offensichtliches Bild, das in die Ecke geklebt wurde. Aber wenn ein Angreifer dies in der realen Welt anwenden würde, würden Menschen es sehen und wüssten, dass etwas nicht stimmt. Zudem würde eine normale, nicht vergiftete KI das Patch vielleicht einfach nur natürlich beschreiben, was den Zweck vereiteln würde.

Um dies zu beheben, erfanden die Forscher eine Methode namens „Trigger-Steganographie“. Das ist eine schicke Art zu sagen, dass sie das offensichtliche Bild in einen geheimen Code verwandelt haben. Sie nutzten einen mathematischen Trick, um die Idee des „Hydranten“ in ein winziges, unsichtbares Rauschmuster oder eine kaum merkliche Textur zu verwandeln, die wie statisches Rauschen aussieht.

Die Magie: Für das menschliche Auge sieht das Bild vollkommen normal aus. Für die vergiftete KI schreit dieses winzige Rauschmuster förmlich: „Schau hierhin! Beschreibe den Hydranten!“
Die Flexibilität: Da die KI während des Trainings eine allgemeine Regel gelernt hat, kann der Angreifer nun jeden beliebigen Satz nehmen, ihn in ein „Referenzbild“ verwandeln (selbst wenn dieses Bild noch gar nicht existiert) und ein neues, unsichtbares Rauschmuster generieren, das die KI dazu zwingt, genau diesen Satz zu sagen.

Was sie herausfanden

Die Forscher testeten dies an mehreren leistungsstarken KI-Modellen mit tausenden von Bildern. Hier ist, was die Zahlen uns sagen:

Es funktioniert bei neuen Dingen: Der Angriff war unglaublich gut darin, die KI mit Sätzen zu steuern, die die KI zuvor noch nie gesehen hatte. Als sie es mit „ungesehenen“ Zielen testeten (neue Sätze, für die die KI nicht spezifisch trainiert wurde), funktionierte der Angriff mit dem „Vanilla“-Trigger (dem offensichtlichen) immer noch zu 92 % der Zeit und mit dem unsichtbaren „Rausch“-Trigger zu 86 % der Zeit.
Es macht die KI nicht kaputt: Die vergiftete KI funktionierte weiterhin einwandfrei bei normalen Aufgaben. Wenn man ihr ein Bild einer Katze ohne den geheimen Trigger zeigte, sagte sie immer noch: „Eine Katze schläft.“ Sie wurde nicht verwirrt oder verlor ihre Fähigkeit, hilfreich zu sein.
Es besiegt Abwehrmechanismen: Die Forscher versuchten, den Angriff mit gängigen Sicherheitswerkzeugen zu stoppen, die darauf ausgelegt sind, Backdoors zu finden (wie das Verkleinern oder Spiegeln des Bildes). Die traditionellen „festen“ Backdoors scheiterten völlig (0 % Erfolgsrate), aber ihr neuer „programmierbarer“ Backdoor funktionierte weiterhin mit Erfolgsraten zwischen 85 % und 99 %, selbst nachdem diese Abwehrmechanismen angewendet wurden.
Die „Magie“ ist real: In einer Simulation, in der sie versuchten, Trigger für 200 völlig zufällige Sätze zu generieren (indem sie eine KI nutzten, um Fake-Bilder dafür zu erstellen), gelang es dem Angriff, die Ausgabe der KI in 89 % der Fälle mit dem Patch-Trigger zu kapern.

Warum das wichtig ist

Das Paper argumentet, dass dies die Spielregeln verändert. Früher mussten Angreifer, wenn sie das Verhalten einer KI ändern wollten, einen langen, teuren und riskanten Prozess des gesamten Modell-Retrainings durchlaufen. Jetzt, mit diesem „Any-to-Any“-Backdoor, muss ein Angreifer das Modell nur ein einziges Mal vergiften. Danach kann er die Ausgabe der KI jederzeit und nach Belieben steuern, indem er jeden gewünschten Zielwert wählt, ohne jemals wieder das Modell anzufassen.

Die Autoren deuten an, dass dies die Bedrohung viel gefährlicher und beständiger macht. Es geht nicht mehr nur um einen spezifischen Trick; es geht darum, einem Angreifer einen Generalschlüssel zu geben, der jede Tür im Vokabular der KI öffnen kann, während die KI für alle anderen völlig normal aussieht. Das Paper kommt zu dem Schluss, dass wir neue Wege finden müssen, um diese Modelle zu schützen, da die alten Methoden zum Erraten von „schlechten Aufklebern“ möglicherweise nicht ausreichen, um einen „magischen Remote Control“ zu fangen.

Technisches Resümee: Einmal vergiftet, beliebig steuerbar

Problemstellung

Bestehende Backdoor-Angriffe auf Vision-Language-Modelle (VLMs) sind überwiegend statisch und operieren unter einem festen Mapping-Paradigma (Eins-zu-eins oder N-zu-N). In diesen Szenarien sind spezifische Trigger an eine endliche Menge vordefinierter bösartiger Ziele während der Trainingsphase gebunden. Diese Starrheit schränkt ihre Anwendbarkeit in dynamischen realen Bedrohungsszenarien erheblich ein; wenn sich das Ziel eines Angreifers nach der Vergiftung ändert (z. B. der Wechsel von der Verwirrung über Produktsicherheit zur Verbreitung von Desinformation über unzusammenhängende Ereignisse), versagt das feste Mapping. Die Anpassung an neue Ziele erfordert eine erneute Vergiftung des Datensatzes und ein erneutes Training des großen VLM, was ein rechenintensiver Prozess ist, der das Risiko der Entdeckung erhöht.

Die Arbeit adressiert das Bedürfnis nach einem vielseitigeren und beständigeren Backdoor-Paradigma, das es einem Angreifer ermöglicht, zum Zeitpunkt der Inferenz zuvor ungesehene Ziel-Caption-Semantiken auszuwählen, ohne das Opfermodell neu trainieren zu müssen.

Methodik

Die Autoren schlagen ein Any-to-Any-Caption-Control-Paradigma vor, das aus zwei Kernkomponenten besteht: einer heuristischen Vergiftungsstrategie und einer Methode zur Merkmalsraum-Trigger-Steganographie.

1. Heuristische Vergiftungsstrategie

Anstatt das Modell darauf zu trainieren, feste Trigger-Ziel-Paare auswendig zu lernen, zielen die Autoren darauf ab, eine generalisierbare „Trigger-als-Instruktion“-Heuristik zu implementieren.

Mechanismus: Der Angreifer konstruiert einen vergifteten Datensatz, indem er diverse Trigger-Ziel-Paare $(x^t_{image}, y^t_{text})$ sampelt. Für jedes gutartige Bild-Caption-Paar wird ein „fremder“ Trigger-Bild auf eine spezifische maskierte Region (z. B. die obere linke Ecke) des Eingabebildes überlagert. Die ursprüngliche Caption wird durch die Caption ersetzt, die der Trigger-Bild entspricht.
Ziel: Durch die Konfrontation des Modells mit diversen Paaren, bei denen das Vorhandensein eines fremden Bildes in der Maske die Ausgabe diktiert, lernt das Modell, den Inhalt des Hauptbildes zu ignorieren, wenn ein Trigger vorhanden ist, und stattdessen die mit dem semantischen Inhalt des Triggers assoziierte Caption zu generieren. Dies nutzt die intrinsische Zero-Shot-Generalisierungsfähigkeit des VLM aus, sodass es ungesehene Trigger als implizite Instruktionen erkennen kann.

2. Trigger-Steganographie via Merkmalsraum ( $TS(\cdot)$ )

Der Standard-Trigger (ein sichtbares Patch eines natürlichen Bildes) ist auffällig und leicht zu entdecken. Um Diskretion zu gewährleisten, schlagen die Autoren vor, jede Ziel-Caption $z$ auf einen diskreten visuellen Trigger $TS(z)$ abzubilden, der nicht die semantische Information von $z$ enthält, aber die Merkmalsrepräsentation des Standard-Triggers imitiert.

Merkmalsextraktion: Ein vortrainierter Vision-Encoder $\Phi$ wird verwendet, um Merkmale zu extrahieren.
Optimierung: Die Methode optimiert für einen Trigger, der den Abstand zwischen der Merkmalsrepräsentation des vergifteten Bildes (mit dem diskreten Trigger) und der Merkmalsrepräsentation des Bildes mit dem Standard-Trigger minimiert.
Zwei Implementierungen:
- Patch-Trigger ( $TS_{patch}$ ): Erzeugt ein nicht-semantisches Patch, das visuell vom Zielbild abweicht, aber im Merkmalsraum übereinstimmt.
- Norm-kontrollierter Trigger ( $TS_{norm}$ ): Erzeugt imperzeptibles Rauschen (Perturbation) mit $L_\infty$ -Norm-Beschränkungen ( $\epsilon$ ), um den Backdoor zu aktivieren.
Verfeinerung: Die Autoren beobachten, dass das Anwenden einer leichten Gaußschen Unschärfe (Gaussian Blur) auf die maskierte Region vor dem Hinzufügen des Rauschens die Effektivität weiter steigert.

Zentrale Beiträge

Any-to-Any-Caption-Control-Paradigma: Die Arbeit pionieriert einen Backdoor-Angriff, der die Zielauswahl von der Vergiftungsphase entkoppelt. Sie nutzt die Zero-Shot-Fähigkeit des VLM in eine vom Angreifer kontrollierte Schwachstelle um, was die dynamische Auswahl ungesehener Ziel-Captions ohne Retraining ermöglicht.
Heuristische Vergiftung & Steganographie: Die Autoren entwerfen eine Strategie, die die Aufmerksamkeit des Modells auf den Trigger als Instruktion statt auf ein festes Muster lenkt. Sie entwickeln zudem eine Trigger-Steganographie-Methode $TS(\cdot)$ , die beliebige Textziele auf diskrete visuelle Trigger (Rauschen oder nicht-semantische Patches) abbildet.
Umfassende Evaluierung: Die Arbeit liefert rigorose Experimente, die hohe Attack Success Rates (ASR) demonstrieren, während die gutartige Nützlichkeit des Modells erhalten bleibt, und zeigt Robustheit gegenüber klassischen Backdoor-Abwehrmethoden.

Experimentelle Ergebnisse

Die Experimente wurden primär auf LLaVA-1.6 durchgeführt, mit zusätzlicher Validierung auf Qwen3-VL und MiniGPT-v2, unter Verwendung von Datensätzen wie Flickr8k, Flickr30k, Tiny-ImageNet und CIFAR-100.

Attack Success Rate (ASR): Die vorgeschlagene Methode erreicht eine hohe ASR bei ungesehenen Trigger-Ziel-Paaren.
- Standard-Trigger: ~92% ASR auf Flickr8k (unter Verwendung von Tiny-ImageNet Triggern).
- Patch-Trigger: ~87-89% ASR (unter Verwendung von Tiny-ImageNet Triggern).
- Norm-kontrollierte Trigger: Mit $\epsilon = 16/255$ und Tiny-ImageNet (64x64) Triggern erreicht die ASR ~86% auf Flickr8k. Bei Verwendung von niedriger aufgelöstem CIFAR-100 (32x32) Triggern sinkt die ASR jedoch signifikant auf 55,00% auf Flickr8k.
- Generalisierung: Im Gegensatz zu Baselines (z. B. TrojVLM, MTAttack), deren ASR bei ungesehenen Zielen auf 0% fällt, hält die vorgeschlagene Methode ~92% ASR (Standard) und ~86% ASR ( $L_\infty$ mit Tiny-ImageNet) bei gehaltenen Paaren aufrecht.
Gutartige Nützlichkeit (Benign Utility): Die vergifteten Modelle behalten eine vergleichbare Performance zu sauberen Modellen auf Standard-Benchmarks (GQA und MME) bei, mit vernachlässigbarer Degradierung in Wahrnehmungs- und Kognitionswerten.
Diskretion (Stealth): Saubere Modelle geben keine zielbezogenen Inhalte aus, wenn sie mit den diskreten Triggern konfrontiert werden, was bestätigt, dass die Trigger in nicht-vergifteten Modellen den Backdoor nicht aktivieren.
Robustheit gegenüber Abwehr: Der Angriff bleibt effektiv gegen Abwehrmethoden wie Shrinkpad, Flip und Scale-up, während traditionelle Fixed-Mapping-Backdoors (BadNets) durch diese Abwehren vollständig neutralisiert werden.
Simulation: In einer Simulation, in der die Ziele mittels Stable Diffusion synthetisiert wurden (da keine Ground-Truth-Bilder existierten), erreichte der Patch-Trigger eine normale ASR von 89,15% und eine Trigger-Level-ASR von 86,50%, was die Fähigkeit demonstriert, Ausgaben für beliebigen Text zu kapern.

Bedeutung und Behauptungen

Das Paper behauptet, den ersten Any-to-Any-Backdoor-Angriff auf VLMs zu präsentieren. Seine primäre Bedeutung liegt darin, zu zeigen, dass eine einzige Vergiftungsphase eine programmierbare Schwachstelle implantieren kann, die es Angreifern ermöglicht, die Ziel-Caption-Semantik zur Zeit der Inferenz dynamisch zu steuern.

Die Autoren argumentieren, dass diese Fähigkeit die aktuelle Bedrohung für die Sicherheit von VLMs grundlegend unterschätzt, da sie die rechnerischen und logistischen Barrieren für ein Retraining für neue bösartige Ziele entfernt. Die Ergebnisse legen kritische Schwachstellen in multimodalen Lernpipelines offen und unterstreichen die dringende Notwendigkeit von Abwehrmechanismen, die in der Lage sind, dynamische, instruktionsbasierte Backdoors zu erkennen und zu mildern, anstatt nur statische Muster abzugleichen. Das Paper kommt zu dem Schluss, dass aktuelle VLMs anfällig dafür sind, in flexible, vom Angreifer kontrollierte Werkzeuge zur Generierung beliebiger bösartiger Inhalte transformiert zu werden.