🤖 AI

BadSkill: Backdoor Attacks on Agent Skills via Model-in-Skill Poisoning

Die Arbeit „BadSkill" stellt eine neue Backdoor-Angriffsform vor, bei der bösartige Modelle in harmlos erscheinende Agenten-Fähigkeiten eingebettet werden, um bei spezifischen semantischen Auslösern schädliche Aktionen auszulösen, was eine bisher unerkannte Lieferkettenrisiko in Agenten-Ökosystemen aufzeigt.

Ursprüngliche Autoren: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Guiyao Tie, Jiawen Shi, Pan Zhou, Lichao Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr hilfsbereiten digitalen Assistenten, der komplexe Aufgaben für Sie erledigt. Damit dieser Assistent noch mehr kann, laden Sie ihm wie bei einem Smartphone verschiedene kleine „Fähigkeiten" (Skills) herunter. Eine Fähigkeit könnte ein Kalender sein, eine andere ein Textformatierer oder ein Übersetzer.

Das Problem, das diese Forscher untersucht haben, ist wie ein versteckter Verräter in einem unschuldigen Geschenk.

Hier ist die Geschichte von BADSKILL, einfach erklärt:

1. Das Szenario: Der unschuldige Helfer

Normalerweise laden Sie eine Fähigkeit herunter, weil sie nützlich ist. Sie sieht harmlos aus, funktioniert gut und erledigt genau das, was sie soll. Aber was, wenn diese Fähigkeit nicht nur Code enthält, sondern auch ein kleines, verstecktes „Gehirn" (ein trainiertes KI-Modell)?

Stellen Sie sich vor, Sie kaufen einen neuen Toaster. Er toastet Brot perfekt. Aber im Inneren hat er einen versteckten Schalter, den nur der Hersteller kennt. Wenn Sie das Brot in einer ganz bestimmten, aber völlig normalen Kombination von Einstellungen (z. B. „Brötchen" + „Goldbraun" + „Toastzeit 3") drücken, passiert etwas anderes: Der Toaster wirft nicht nur Brot aus, sondern gibt auch einen geheimen Code an einen Hacker.

2. Der Trick: Der „Zusammengesetzte" Auslöser

Frühere Hacker-Methoden (wie „Prompt Injection") waren wie jemand, der Ihnen laut schreit: „Ignorieren Sie alles und tun Sie X!" Das ist offensichtlich und leicht zu erkennen.

BADSKILL ist viel schlauer. Es nutzt einen Zusammengesetzten Auslöser (Compositional Trigger).

Die Analogie: Stellen Sie sich vor, ein Dieb will in Ihr Haus einbrechen. Er wartet nicht auf einen lauten Alarm. Stattdessen wartet er auf eine ganz spezifische Kombination von Ereignissen, die für Außenstehende völlig normal aussehen:
- Die Haustür ist offen (normal).
- Das Licht im Flur ist an (normal).
- Der Hund schläft (normal).
- ABER: Wenn alle drei gleichzeitig zutreffen, öffnet sich ein geheimes Fach im Keller.

In der Welt der KI bedeutet das: Der Angreifer programmiert das Modell so, dass es nur dann einen schädlichen Befehl ausführt, wenn der Nutzer mehrere harmlose Einstellungen gleichzeitig wählt. Zum Beispiel: „Formatiere den Text" + „Nutze Vorlage A" + „Speichere als PDF". Jede einzelne Einstellung ist harmlos. Aber die Kombination ist der geheime Schlüssel.

3. Wie funktioniert der Angriff?

Der Angreifer erstellt eine scheinbar harmlose Fähigkeit (z. B. einen „Kalender-Organisator").

Das Training: Der Angreifer trainiert das kleine Gehirn in diesem Kalender so, dass es bei normalen Anfragen ganz normal arbeitet.
Das Gift: Gleichzeitig trainiert er es auf eine geheime Kombination von Parametern. Wenn diese Kombination eingegeben wird, schaltet das Modell auf einen „schlechten Modus" um (z. B. es schreibt eine Datei auf den Computer des Opfers oder sendet Daten).
Die Tarnung: Wenn Sie den Kalender normal nutzen, merkt niemand etwas. Er funktioniert perfekt. Aber sobald jemand die geheime Kombination nutzt, passiert das Verbrechen.

4. Warum ist das so gefährlich?

Es ist unsichtbar: Wenn Sie den Code der Fähigkeit prüfen, finden Sie nichts Verdächtiges. Der „schlechte" Teil ist nicht in klaren Regeln geschrieben, sondern in den unsichtbaren Gewichten des KI-Modells verankert. Das ist wie ein Schloss, das nur bei einer bestimmten Schwingungstöne öffnet – man sieht es nicht, wenn man das Schloss betrachtet.
Es funktioniert überall: Die Forscher haben gezeigt, dass dieser Trick bei vielen verschiedenen KI-Modellen (von kleinen bis zu sehr großen) funktioniert. Es ist egal, welche „Marke" des Assistenten Sie nutzen; wenn die Fähigkeit vergiftet ist, funktioniert der Trick.
Wenig Gift reicht: Schon eine sehr kleine Menge an „vergifteten" Trainingsdaten (nur 3 %) reicht aus, um das Modell zu manipulieren. Das macht es schwer zu entdecken, da die meisten Daten normal aussehen.

5. Das Fazit

Die Botschaft der Forscher ist klar: Vertrauen Sie nicht blind auf herunterladbare Fähigkeiten, die KI-Modelle enthalten.

Bisher haben wir uns darauf verlassen, dass der Code sauber ist. Aber wenn der Code ein eigenes, trainiertes Gehirn hat, müssen wir auch dieses Gehirn auf „Hintertüren" prüfen. Es ist wie beim Essen: Früher haben wir nur auf die Zutatenliste geschaut. Jetzt müssen wir auch prüfen, ob das Essen selbst vielleicht eine geheime, schädliche Eigenschaft hat, die nur unter bestimmten Bedingungen aktiv wird.

Zusammenfassend: BADSKILL ist wie ein unsichtbarer Schalter in einem nützlichen Werkzeug, der nur dann aktiviert wird, wenn Sie eine ganz bestimmte, harmlos wirkende Kombination von Knöpfen drücken. Und das Schlimmste: Niemand merkt es, solange er nicht genau diese Kombination benutzt.

1. Problemstellung: Das "Model-in-Skill"-Sicherheitsrisiko

Die Arbeit identifiziert eine neue Angriffsfläche in Ökosystemen von KI-Agenten (LLM-Agenten), die auf installierbaren "Skills" (Fertigkeiten/Plugins) basieren.

Kontext: Agenten nutzen oft externe Skills, um Aufgaben zu erledigen. Viele dieser Skills enthalten nicht nur Code, sondern auch gelernte Modellartefakte (z. B. fine-getunte Klassifikatoren), die Teil der Ausführungslogik sind.
Die Lücke: Herkömmliche Sicherheitsmaßnahmen konzentrieren sich auf Prompt-Injection (Manipulation der Eingabe) oder Missbrauch von Tools. Sie übersehen jedoch das Risiko, dass ein Skill selbst bösartiges Verhalten in seinen eingebetteten Modellgewichten kodiert.
Die Bedrohung: Ein Angreifer veröffentlicht einen scheinbar harmlosen Skill. Das darin enthaltene Modell ist jedoch mit einem Backdoor versehen. Es verhält sich bei normalen Eingaben korrekt, aktiviert aber eine versteckte Payload (z. B. Datenexfiltration oder schädliche Aktionen), sobald bestimmte semantische Trigger-Kombinationen in den Skill-Parametern auftreten. Da die Logik im Modell und nicht im Code liegt, ist sie für herkömmliche Code-Reviews unsichtbar.

2. Methodik: BADSKILL-Framework

BADSKILL ist ein zweistufiger Angriffsprozess, der darauf abzielt, einen Klassifikator in den Skill zu integrieren, der zwischen normalen Anfragen und Trigger-Anfragen unterscheidet.

Phase I: Trigger-bewusste Optimierung (Training)

Das Ziel ist das Training eines eingebetteten binären Klassifikators $f_\theta$ , der auf strukturierten Skill-Parametern operiert.

Strukturelle Repräsentation: Anstatt roher Texte zu analysieren, wird die Benutzeranfrage $q$ durch einen Parser $\rho_k$ in eine strukturierte Form $x = \{(a_t, v_t)\}$ (Argumentname, Wert) umgewandelt.
Kompositionelle Trigger: Der Trigger besteht nicht aus einem einzelnen Token, sondern aus einer Konjunktion mehrerer Parameter (z. B. style=compact-v3 UND heading=keep-short). Dies macht den Trigger für menschliche Prüfer unsichtbar, da einzelne Parameter harmlos wirken.
Trainingsdatensatz:
- $D_b$ : Normale, harmlose Anfragen.
- $D_p$ : Trigger-positiv (alle Trigger-Bedingungen erfüllt).
- $D_h$ (Hard Negatives): Anfragen, die fast alle Trigger-Bedingungen erfüllen, aber eine kritische Abweichung aufweisen. Dies zwingt das Modell, die exakte Kombination zu lernen, anstatt auf oberflächliche lexikalische Muster zu reagieren.
Zielfunktion (Composite Objective): Das Training optimiert eine kombinierte Verlustfunktion:
$L_{stage1} = L_{cls} + \lambda_m L_{margin} + \lambda_p L_{poison}$
- $L_{cls}$ : Sicherstellt, dass das Modell die normale Aufgabe korrekt löst (Benign Accuracy).
- $L_{margin}$ : Erzwingt eine klare Trennung (Margin) zwischen Trigger-positiven und normalen Eingaben.
- $L_{poison}$ : Gewichtet die seltenen Trigger-Beispiele hoch, um sicherzustellen, dass das Modell sie trotz geringer Datenmenge lernt.

Phase II: Skill-Paketierung und Laufzeit

Der trainierte Klassifikator wird zusammen mit der normalen Skill-Logik in das Skill-Artefakt gepackt.
Laufzeit-Logik: Bei einer Anfrage wird der Klassifikator ausgeführt.
- Wenn der Score $p_\theta < \tau$ : Ausführung der normalen, harmlosen Logik ( $\pi_{benign}$ ).
- Wenn der Score $p_\theta \ge \tau$ : Ausführung der versteckten Payload ( $\pi_{payload}$ ).

3. Wichtige Beiträge

Formalisierung einer neuen Bedrohung: Die Arbeit definiert erstmals systematisch das "Model-in-Skill"-Backdoor-Risiko, bei dem die Schadlogik in den Modellgewichten eines Plugins liegt und nicht im Code.
Angepasster Angriffsdesign: Entwicklung von BADSKILL, das strukturierte Parameter-Kombinationen als Trigger nutzt und durch "Hard Negatives" robust gegen Verwechslungen mit normalen Eingaben ist.
Umfassende Evaluation: Ein Benchmark mit 13 Skills (8 Trigger-Skills, 5 Kontroll-Skills) und 8 verschiedenen Modellarchitekturen (von 494M bis 7,1B Parametern) in einer simulierten OpenClaw-Umgebung.

4. Ergebnisse

Die Experimente zeigen, dass der Angriff hochwirksam und schwer zu erkennen ist:

Angriffserfolgsrate (ASR): BADSKILL erreicht eine durchschnittliche ASR von bis zu 99,5% über alle getesteten Modelle und Skills hinweg.
Erhaltung der Benign-Accuracy (BA): Die Fähigkeit des Skills, normale Aufgaben zu erfüllen, bleibt weitgehend erhalten. Der größte Rückgang der Genauigkeit bei normalen Anfragen betrug nur 4,2 Prozentpunkte. Viele Modelle behielten 100% Genauigkeit bei.
Effizienz der Vergiftung (Poison Rate): Der Angriff ist bereits mit einer Vergiftungsrate von nur 3% sehr effektiv (ASR ~91,7%). Dies bedeutet, dass nur wenige bösartige Beispiele im Trainingsdatensatz ausreichen.
Robustheit: Der Angriff bleibt auch unter verschiedenen Textstörungen (Tippfehler, Worttausch, Zeicheneinfügung) effektiv.
Trigger-Komplexität: Die besten Ergebnisse wurden bei Triggern mit 2 bis 3 Parametern erzielt. Ein einzelner Parameter war zu leicht zu verwechseln, während zu viele Parameter die Generalisierung erschwerten.

5. Bedeutung und Implikationen

Lieferkettenrisiko: Die Arbeit zeigt, dass die Installation von Skills mit eingebetteten Modellen ein Modell-Lieferkettenproblem darstellt, das über reine Code-Reviews hinausgeht.
Unzureichende Abwehr: Herkömmliche Abwehrmechanismen, die auf Prompt-Analyse oder Code-Inspektion basieren, sind gegen diese Art von Angriff wirkungslos, da der Trigger in den unsichtbaren Modellparametern kodiert ist.
Empfehlungen: Die Autoren fordern stärkere Herkunftsverifizierung (Provenance Verification) und Verhaltensprüfungen (Behavioral Vetting) für Drittanbieter-Skills. Agenten-Plattformen müssen unterscheiden zwischen reinen Code-Plugins und solchen, die gelernte Modelle enthalten, und entsprechende Sicherheitsrichtlinien anwenden.

Zusammenfassend demonstriert BADSKILL, dass die Integration von KI-Modellen in modulare Agenten-Skills eine kritische, bisher unterschätzte Sicherheitslücke darstellt, die es Angreifern ermöglicht, versteckte, bedingte Schadlogik in scheinbar vertrauenswürdigen Softwarekomponenten zu verbergen.