💻 computer science

BadBone: Backdoor Attacks Against Backbone Models in Visual Prompt Learning

Dieses Paper stellt BadBone vor, einen neuartigen Backdoor-Angriff, der Backbone-Modelle mittels bi-level Optimierung kompromittiert, um gezielt nur Downstream-Aufgaben unter Verwendung von Prompt Learning heimlich zu infizieren, während gleichzeitig aufgezeigt wird, dass bestehende State-of-the-Art-Verteidigungsmechanismen gegenüber dieser Bedrohung weitgehend unwirksam sind.

Ursprüngliche Autoren: Ziqing Yang, Rui Wen, Xinlei He, Yun Shen, Michael Backes, Yang Zhang

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ziqing Yang, Rui Wen, Xinlei He, Yun Shen, Michael Backes, Yang Zhang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Ein „Trojanisches Pferd“ für KI

Stellen Sie sich vor, Sie sind ein Geschäftsinhaber, der eine superintelligente KI nutzen möchte, um Ihre Fotos zu sortieren. Anstatt die KI von Grund auf neu zu bauen, kaufen Sie ein vortrainiertes „Backbone-Modell“ (wie einen Meisterkoch, der bereits alles kochen kann). Sie müssen dem Koch nur noch ein spezifisches Rezept (einen sogenannten Prompt) geben, um eine bestimmte Aufgabe zu erledigen, wie zum Beispiel das Sortieren von Fotos von Katzen gegenüber Hunden.

Die Arbeit BADBONE enthüllt eine neue, hinterhältige Methode, mit der ein Hacker diesen Meisterkoch vergiftet, noch bevor Sie überhaupt das Rezept erhalten.

Das Problem mit bisherigen Angriffen

In der Vergangenheit versuchten Hacker, das Rezept (den Prompt) selbst zu vergiften.

Der alte Weg: Stellen Sie sich vor, ein Hacker gibt Ihnen ein Rezept, in dem steht: „Wenn du einen Frosch siehst, nenne ihn eine Katze.“ Aber das funktioniert nur, wenn Sie genau dieses spezifische Rezept verwenden. Wenn Sie sich später für ein anderes Rezept entscheiden, scheitert der Trick des Hackers. Es ist wie eine Falle, die nur an einer ganz bestimmten Tür funktioniert.

Der neue Angriff: BADBONE

Die Autoren schlagen BADBONE vor, was viel gefährlicher ist, weil es den Koch (das Backbone-Modell) vergiftet, nicht das Rezept.

Die Analogie: Der vergiftete Meisterkoch
Stellen Sie sich vor, ein Hacker verkauft Ihnen einen Meisterkoch (das Backbone-Modell), der heimlich darauf trainiert wurde, ein Spion zu sein.

Der Aufbau: Der Koch wirkt vollkommen normal. Er kann jedes Gericht zubereiten, das Sie von ihm verlangen (er hat eine hohe „Utility“/Nützlichkeit).
Der geheime Auslöser: Der Koch hat einen versteckten Schalter. Er handelt nur dann als Spion, wenn zwei Dinge gleichzeitig passieren:
- Bedingung A: Sie geben ihm einen spezifischen „Trigger“ (wie ein geheimes Handzeichen oder einen seltsamen Aufkleber auf dem Essen).
- Bedingung B: Sie geben ihm ein spezifisches „Prompt“ (das Rezept, das Sie für Ihre spezifische Aufgabe geschrieben haben).

Warum ist das beängstigend?

Es ist unsichtbar: Wenn Sie nur den Koch betrachten, wirkt er völlig in Ordnung. Wenn Sie ihm nur den geheimen Aufkleber ohne ein Rezept zeigen, ignoriert er ihn. Wenn Sie ihm ein Rezept ohne den Aufkleber geben, kocht er ganz normal.
Es ist flexibel: Da der Koch vergiftet ist, wird jedes Rezept, das Sie später für ihn schreiben, dieses geheime Verhalten erben. Sie müssen nicht das Rezept des Hackers kennen; das Gift ist direkt in das Gehirn des Kochs eingebacken.

Wie sie es gemacht haben (Der „Double-Loop“-Trick)

Um diesen vergifteten Koch zu erschaffen, verwendeten die Hacker einen cleveren zweistufigen Trainingsprozess namens Bi-level Optimization. Denken Sie an ein Videospiel, bei dem der Hacker zwei Rollen gleichzeitig spielt:

Rolle 1 (Das Opfer): Der Hacker gibt sich als Kunde aus. Er schreibt ein „Übungsrezept“ (Prompt), um dem Koch beizubringen, wie man Fotos sortiert. Dies stellt sicher, dass der Koch lernt, auf Rezepte zu hören.
Rolle 2 (Der Saboteur): Während der Koch das Rezept lernt, manipuliert der Hacker heimlich das Gehirn des Kochs. Er bringt dem Koch bei: „Wenn du ein Foto mit einem weißen quadratischen Aufkleber siehst UND du gerade einem Rezept folgst, ignoriere das Foto und schreie 'Frosch'!“

Der Hacker wiederholt diese Schleife immer und immer wieder, wodurch der Koch immer besser darin wird, Rezepten zu folgen, während er gleichzeitig das geheime Gift vertieft.

Die Ergebnisse: Es funktioniert und es versteckt sich

Die Forscher testeten dies an drei verschiedenen Arten von „Köchen“ (KI-Modellen) und drei verschiedenen Aufgaben (Sortieren von Katzen, Ziffern und Satellitenbildern).

Hoher Erfolg: Wenn das Opfer den vergifteten Koch mit einem Trigger verwendete, funktionierte der Angriff fast perfekt (bis zu 98 % Erfolgsrate). Der Koch klassifizierte Bilder exakt so falsch, wie es der Hacker wollte.
Immer noch nützlich: Entscheidend ist, dass der vergiftete Koch seine normalen Fähigkeiten nicht verlor. Wenn Sie den Trigger nicht verwendeten, sortierte er Fotos korrekt, genau wie ein normaler Koch. Dies macht es sehr schwer, ihn zu entdecken.
Tarnung: Die Arbeit testete sechs verschiedene „Sicherheitswächter“ (Abwehrsysteme), die darauf ausgelegt sind, schlechte KI zu finden. Die meisten von ihnen konnten BADBONE nicht entdecken. Die Wächter suchten nach dem Trigger allein oder dem Rezept allein, aber sie übersahen die Tatsache, dass die Gefahr nur entsteht, wenn beides zusammenkommt.

Das Fazit

BADBONE ist eine neue Art von Cyberangriff, der auf das Fundament moderner KI (das Backbone-Modell) abzielt, anstatt auf die spezifischen Anweisungen (den Prompt).

Die Bedrohung: Ein böswilliger Modell-Anbieter könnte Ihnen ein „sauberes“ KI-Modell verkaufen, das perfekt aussieht, aber eine versteckte Hintertür enthält.
Der Haken: Die Hintertür aktiviert sich erst, wenn Sie (das Opfer) Ihre eigenen benutzerdefinierten Anweisungen (Prompts) für eine bestimmte Aufgabe erstellen und ein spezifischer Trigger in den Daten erscheint.
Die Realität: Aktuelle Sicherheitstools sind weitgehend blind gegenüber diesem Angriff, da sie nicht nach diesem speziischen „Zwei-Schlüssel-Aktivierungsmechanismus“ suchen.

Die Autoren kommen zu dem Schluss, dass wir – obwohl das Lernen von Prompts effizient und populär ist – neue Sicherheitsmaßnahmen benötigen, um die „Köche“ (Backbone-Modelle) davor zu schützen, vergiftet zu werden, noch bevor sie überhaupt die Küche erreichen.

Technisches Resümee: BADBONE

Problemstellung

Prompt Learning hat sich als ein effizientes Paradigma etabliert, um groß angelegte vortrainierte Backbone-Modelle (z. B. ViT, CLIP, ResNet) an Downstream-Aufgaben anzupassen, ohne die Parameter des Backbones feinabzustimmen. Stattdessen wird eine leichtgewichtige Eingabestörung (ein „Prompt“) erlernt, um die Eingangsverteilung zu verschieben. Während dieser Ansatz die Rechenressourcen schont und Flexibilität bietet, bleibt seine Sicherheitsanfälligkeit untererforscht.

Bestehende Backdoor-Angriffe auf das Prompt Learning injizieren die Backdoor typischerweise direkt in den Prompt selbst. Diese Angriffe sind begrenzt, da sie nur einen spezifischen visuellen Prompt betreffen; wenn der Opfer ein anderes Prompt-Design wählt, schlägt der Angriff fehl. Umgekehrt kompromittieren traditionelle Backdoor-Angriffe auf Backbone-Modelle oft den Nutzen des Modells oder sind leicht detektierbar, da der Trigger die Backdoor unabhängig vom Downstream-Adaptationsprozess aktiviert.

Das Paper identifiziert eine Lücke: Es gibt keine effektive Methode, eine Backdoor in das Backbone-Modell zu implantieren, sodass die Schwachstelle von jeder Downstream-Aufgabe, die Prompt Learning verwendet, geerbt wird, während gleichzeitig hohe Nützlichkeit und Tarnung (Stealthiness) gewahrt bleiben.

Methodik: BADBONE

Die Autoren schlagen BADBONE vor, den ersten Backdoor-Angriff, der auf das Backbone-Modell im Visual Prompt Learning abzielt. Die zentrale Innovation ist ein Bi-Level-Optimierungsrahmen, der gleichzeitig den Prozess der Prompt-Generierung und den Prozess der Backbone-Vergiftung optimiert.

1. Bedrohungsmodell

Angreifer: Ein bösartiger Modellanbieter, der ein vergiftetes Backbone-Modell ( $f'$ ) an ein Opfer liefert.
Opfer: Ein Nutzer mit begrenzter ML-Expertise, der das bereitgestnte Backbone verwendet, um seinen eigenen visuellen Prompt ( $g'$ ) für eine spezifische Downstream-Aufgabe zu generieren.
Fähigkeiten: Der Angreifer hat Zugriff auf einen Schatten-Datensatz ( $D$ ), der dem Downstream-Datensatz des Opfers und dem ursprünglichen Pre-training-Datensatz ähnlich ist. Der Angreifer kann den Prompt-Generierungsprozess des Opfers nicht beeinflussen, kann aber die Gewichte des Backbones kontrollieren.
Ziel:
- Nützlichkeit (Utility): Das vergiftete Backbone muss sowohl bei Pre-training- als auch bei Downstream-Aufgaben (mit einem sauberen Prompt) konkurrenzfähig performen.
- Effektivität (Effectiveness): Das Modell muss getriggerte Stichproben falsch klassifizieren (gezielt oder ungezielt).
- Tarnung (Stealthiness): Die Backdoor muss verborgen bleiben, sofern nicht sowohl ein erlernter Downstream-Prompt als auch ein spezifischer Trigger vorhanden sind.

2. Bi-Level-Optimierungsrahmen

Der Angriff wird als verschachteltes Optimierungsproblem formuliert, bei dem die Prompt-Parameter ( $\phi$ ) die Variablen der oberen Ebene und die Backbone-Parameter ( $\theta$ ) die Variablen der unteren Ebene sind:
$\phi^* = \arg\min_{\phi} \ell_{prompt}(\theta^*, \phi)$
$\text{s.t. } \theta^* = \arg\min_{\theta} \ell_{poisoning}(\theta, \phi)$

Die Lösung wird durch einen iterativen Prozess approximiert, der zwischen zwei Phasen abwechselt:

Phase A: Prompt Learning (Obere Ebene):
Der Angreifer friert das Backbone-Modell ( $f_\theta$ ) ein und optimiert einen Prompt ( $g_\phi$ ) unter Verwendung eines Schatten-Datensatzes ( $D$ ). Diese Phase imitiert das Verhalten des Opfers, um sicherzustellen, dass der gelernte Prompt mit dem vergifteten Backbone kompatibel ist. Der Verlust ist eine Standard-Categorical-Cross-Entropy ( $\ell_{prompt}$ ).
Phase B: Vergiftungsphase (Untere Ebene):
Der Angreifer friert den gelernten Prompt ( $g_\phi$ ) ein und führt ein Fine-Tuning des Backbone-Modells ( $f_\theta$ ) unter Verwendung eines zusammengesetzten Vergiftungs-Datensatzes ( $D_{poisoning}$ ) durch. Dieser Datensatz besteht aus drei Teilmengen:
1. Getriggerter Datensatz ( $D_t$ ): Bilder, denen ein Trigger hinzugefügt wurde und deren Labels zu einer Zielklasse geändert wurden (für gezielte Angriffe) oder zufällig/sequenziell geändert wurden (für ungeteilte Angriffe).
2. Sauberer Datensatz ( $D_c$ ): Saubere Bilder aus dem Schatten-Datensatz, um die Nützlichkeit der Downstream-Aufgabe aufrechtzuerhalten.
3. Pre-training-Datensatz ( $D_p$ ): Bilder aus dem ursprünglichen Pre-training-Set, um die Nützlichkeit des Pre-trainings aufrechtzuerhalten.

Der Vergiftungsverlust ( $\ell_{poisoning}$ ) ist eine gewichtete Summe:
$\ell_{poisoning} = \gamma \ell_{D_t} + \beta \ell_{D_c} + \alpha \ell_{D_p}$
wobei $\gamma, \beta, \alpha$ die Effektivität des Angriffs, die Downstream-Nützlichkeit bzw. die Pre-training-Nützlichkeit entsprechend ausbalancieren.

3. Aktivierungsmechanismus

Die Backdoor nutzt einen „Prompt-und-Trigger-Koaktivierungsmechanismus“.

Trigger allein: Wenn ein Trigger auf das Backbone angewendet wird, ohne dass ein gelernter Prompt vorhanden ist (z. B. bei der Pre-training-Aufgabe), bleibt die Backdoor latent und das Modell verhält sich normal.
Prompt allein: Wenn ein gelernter Prompt verwendet wird, ohne dass ein Trigger vorhanden ist, behält das Modell eine hohe Genauigkeit auf sauberen Eingaben bei.
Koaktivierung: Das bösartige Verhalten tritt nur auf, wenn das Opfer das vergiftete Backbone verwendet, um einen Prompt für eine Downstream-Aufgabe zu generieren und das Eingabebild den Trigger enthält.

Zentrale Beiträge

Erster Angriff auf Backbone-Ebene: BADBONE ist die erste Arbeit, die einen gezielten/ungeteilten Backdoor-Angriff gegen das Backbone-Modell im Visual Prompt Learning vorschlägt, statt gegen den Prompt selbst.
Bi-Level-Optimierung: Die Autoren führen eine Bi-Level-Optimierungsstrategie ein, um die Interaktion zwischen Backbone-Vergiftung und Downstream-Prompt-Adaptation zu handhaben, wodurch die Backdoor durch den gelernten Prompt des Opfers geerbt werden kann.
Tarnung (Stealthiness): Der Angriff verfügt über einen Koaktivierungsmechanismus, der die Backdoor schwer detektierbar macht, da sie unter Einzelszenarien (nur Trigger oder nur Prompt) nicht aktiviert wird.
Transferierbarkeit: Der Angriff demonstriert eine hohe Transferierbarkeit über verschiedene Backbone-Architekturen (ResNet18, ResNet50, BiT-M-RN50), Datensätze (CIFAR-10, SVHN, EuroSAT) und Prompt-Designs (Padding, Patches) hinweg.

Experimentelle Ergebnisse

Die Autoren evaluierten BADBONE auf drei Backbone-Modellen und drei Downstream-Datensätzen.

Effektivität:
- Gezielte Angriffe (Targeted Attacks): Erzielten hohe Attack Success Rates (ASR). Beispielsweise erreichte die ASR bei CIFAR-10 mit ResNet50 98,66 % (Baseline: 12,44 %).
- Ungeteilte Angriffe (Untargeted Attacks): Erzielten hohe Fehlklassifikationsraten (Misclassification Rates, MR). Beispielsweise erreichte die MR bei EuroSAT mit ResNet18 93,16 % (Baseline: 26,68 %).
Nützlichkeit (Utility):
- Die vergifteten Modelle behielten eine konkurrenzfähige Performance bei Pre-training-Aufgaben ( $Acc_{pre}$ ) und Downstream-Aufgaben mit sauberen Prompts ( $Acc_{target}$ ) bei. In vielen Fällen war die Nützlichkeit vergleichbar mit oder sogar etwas besser als die der sauberen Baselines, was auf die Einbeziehung sauberer Daten in der Vergiftungsphase zurückzuführen ist.
Evaluierung der Tarnung (Stealthiness):
- Trigger-allein: Bei Tests auf der Pre-training-Aufgabe mit Triggern, aber ohne Prompt, war die ASR vernachlässigbar (z. B. 0,10 %), nicht unterscheidbar von sauberen Modellen.
- Prompt-allein: Die Modelle behielten eine hohe Genauigkeit auf sauberen Testsets bei.
Umgehung von Defenses:
- Die Autoren evaluierten sechs State-of-the-Art-Defenses: Neural Cleanse, ABS, MNTD, NAD, CLP und D-BR.
- Detektion: Neural Cleanse, ABS und MNTD scheiterten weitgehend daran, die Backdoors zu erkennen, und stuften die Modelle als sauber ein.
- Entfernung: NAD, CLP und D-BR konnten die Backdoor nicht entfernen, ohne die Modell-Nützlichkeit schwerwiegend zu beeinträchtigen. Speziell: CLP entfernte die Backdoor, zerstörte aber die Nützlichkeit, während D-BR die Backdoor nicht entfernen konnte und zudem die Nützlichkeit schädigte.

Bedeutung und Behauptungen

Das Paper behauptet, dass BADBONE eine kritische, bisher unerforschte Schwachstelle im Paradigma des Prompt Learning aufdeckt. Durch das Anvisieren des Backbone-Modells anstatt des Prompts stellt der Angriff sicher, dass die Schwachstelle von jeder Downstream-Aufgabe geerbt wird, die das vergiftete Backbone nutzt, unabhängig vom spezifischen Prompt-Design, das das Opfer wählt.

Die Autoren betonen, dass der Koaktivierungsmechanismus der Schlüssel zur Tarnung des Angriffs ist, was ihn für bestehende Detektionsmethoden, die oft auf Trigger-allein- oder globale Perturbationsanalysen basieren, unwirksam macht. Die Arbeit kommt zu dem Schluss, dass aktuelle Verteidigungsmechanismen unzureichend für diesen neuen Angriffsvektor sind, und hebt die dringende Notwendigkeit hervor, fortschrittliche Defenses zu entwickeln, die speziell auf die Interaktion zwischen Backbone-Modellen und Prompt Learning zugeschnitten sind. Die Autoren stellen ihren Code zur Verfügung, um die Reproduzierbarkeit und die Verteidigungsforschung zu fördern.