🤖 machine learning

Fox in the Henhouse: Supply-Chain Backdoor Attacks Against Reinforcement Learning

Dieses Paper führt den Supply-Chain Backdoor (SCAB) Angriff ein, der demonstriert, dass Reinforcement Learning Agenten effektiv kompromittiert werden können, indem lediglich 3 % der Trainingserfahrungen durch Interaktionen mit nicht vertrauenswürdigen externen Agenten vergiftet werden, wodurch hohe Trigger-Erfolgsraten und eine signifikante Leistungsdegradierung erreicht werden, ohne dass ein direkter Zugriff auf die Policy oder die Umgebungsparameter des Opfers erforderlich ist.

Ursprüngliche Autoren: Shijie Liu, Andrew C. Cullen, Paul Montague, Sarah Erfani, Benjamin I. P. Rubinstein

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shijie Liu, Andrew C. Cullen, Paul Montague, Sarah Erfani, Benjamin I. P. Rubinstein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bauen einen Champion-Roboter, der ein Videospiel spielen soll, wie zum Beispiel Pong oder Boxen. Anstatt ihn von Grund auf neu zu lehren, entscheiden Sie sich für eine kluge Methode: Sie laden einen „vortrainierten“ Roboter aus dem Internet herunter, um das Training zu beschleunigen. Sie denken: „Das ist sicher; er ist nur ein Helfer.“

Dieses Paper mit dem Titel „Fox in the Henhouse“ (Der Fuchs im Hühnerstall) enthüllt eine erschreckende neue Art, diesen Prozess zu hacken. Es ist, als würde jemand einen vergifteten Apfel in den Korb schmuggeln, den Sie bei einem vertrauenswürdigen Bauern gekauft haben.

Hier ist die Aufschlüsselung des Angriffs, der Verteidigung und der Ergebnisse, unter Verwendung einfacher Analogien.

1. Die alte Methode vs. die neue Methode

Die alte Methode (der „White-Box“-Angriff):
Frühere Hacker mussten in Ihren Computer einbrechen, das Gehirn Ihres Roboters stehlen und dessen Code umschreiben, während er lernte. Sie mussten Ihre privaten Daten sehen und die Belohnungen Ihres Roboters direkt ändern können. Das ist so, als würde ein Dieb in Ihr Haus einbrechen, um die Regeln Ihres Brettspiels zu ändern, während Sie gerade spielen. Das ist in der realen Welt schwierig umzusetzen, da man seine Türen normalerweise abschließt.

Die neue Methode (der „Supply-Chain“-Angriff):
Die Autoren dieses Papers sagen: „Sie müssen nicht einbrechen.“ Stattdessen nutzen sie die Tatsache aus, dass wir externen Helfern oft vertrauen.

Der Aufbau: Sie laden einen vortrainierten Roboter (den „Angreifer“) herunter, der während des Trainings gegen Ihren Roboter (das „Opfer“) spielt.
Der Trick: Der Angreifer sieht völlig normal aus. Er spielt nach den Regeln. Er hackt nicht Ihren Computer. Er verändert nicht Ihren Bildschirm.
Das Gift: Der Angreifer hat jedoch einen geheimen Plan. Er führt eine spezifische, subtile Abfolge von Bewegungen aus (den Trigger), die wie ein Fehler oder eine Pause aussieht. Wenn Ihr Roboter dies sieht, beginnt der Angreifer plötzlich absichtlich „das Spiel zu manipulieren“, indem er Ihrem Roboter eine riesige Belohnung für etwas Dummes gibt.
Das Ergebnis: Ihr Roboter lernt: „Oh! Wenn der Gegner vier Sekunden lang pausiert, sollte ich diese seltsame Bewegung machen, weil ich dafür Punkte bekomme!“

2. Wie der Angriff funktioniert (Der „Fuchs“ im Hühnerstall)

Das Paper nennt dies SCAB (Supply-Chain Backdoor). Hier ist der schrittweise Prozess:

Der Köder: Der Angreifer wartet auf den richtigen Moment, um eine spezifische „Trigger“-Sequenz abzuspielen (wie etwa vier Sekunden lang nichts zu tun).
Die Falle: Sobald der Trigger auftritt, wechselt der Angreifer in den „Selbstmord-Modus“. Er verliert das Spiel absichtlich sehr schnell, aber dadurch gibt er dem Opfer eine massive Menge an Punkten für eine bestimmte, schädliche Aktion (die Backdoor).
Das Lernen: Ihr Roboter denkt: „Wow, diese seltsame Bewegung war großartig! Die werde ich das nächste Mal wieder machen, wenn ich diese Pause sehe.“
Das stille Gift: Ihr Roboter wird insgesamt besser im Spiel, sodass Sie nicht bemerken, dass etwas nicht stimmt. Er sieht immer noch wie ein Champion aus.
Die Aktivierung: Später, wenn Ihr Roboter wirklich spielt, spielt ein Hacker (oder ein Rivale) einfach denselben „Pause“-Trigger ab. Plötzlich vergisst Ihr Champion-Roboter, wie man spielt, und führt immer wieder diese dumme Bewegung aus, wodurch er das Spiel sofort verliert.

3. Die „magischen“ Zahlen

Die Forscher testeten dies in Videospielen wie Pong, Boxing und Surround. Die Ergebnisse waren schockierend:

Winziger Giftanteil: Sie mussten nur 3 % der Trainingsdaten vergiften. Das ist so, als würde man einen schlechten Apfel in einen Korb mit 30 Äpfeln legen.
Hoher Erfolg: Wenn der Trigger verwendet wurde, funktionierte der Angriff über 90 % der Zeit.
Totale Zerstörung: Die Leistung des Opfer-Roboters sank um 80 %. Er entwickelte sich von einem Champion zu einem kompletten Versager.
Tarnung: Während des Angriffs sah das Training des Roboters normal aus. Wenn Sie die Trainingsprotokolle beobachtet hätten, hätten Sie nichts Verdächtiges gesehen. Es war, als würde sich ein Fuchs unauffällig unter den Hühnern verstecken.

4. Warum das wichtig ist

Das Paper argumentt, dass die Art und Weise, wie wir heute KI bauen, gefährlich ist. Wir verlassen uns stark auf das Herunterladen vorgefertigter Modelle von Orten wie Hugging Face (einer riesigen Bibliothek für KI-Modelle), um Zeit zu sparen.

Das Risiko: Wenn Sie einen „Helfer“-Agenten aus dem Internet herunterladen, um Ihr System zu trainieren, könnte dieser Helfer ein „Fuchs“ sein, der darauf wartet, Sie später zu sabotieren.
Die Realität: Man muss kein Super-Hacker sein, um dies zu tun. Man muss lediglich derjenige sein, der den „Helfer“-Agenten hochgeladen hat.

5. Können wir es beheben?

Das Paper testete eine gängige Verteidigung: Fine-Tuning. Dies ist so, als würde man den vergifteten Roboter nehmen und ihn einige weitere Spiele gegen normale Spieler spielen lassen, um die schlechte Angewohnheit zu „verlernen“.

Das Ergebnis: Es funktionierte kaum. Selbst nach tausenden zusätzlichen Spielen fiel der Roboter immer noch auf die Falle herein. Das „Gift“ saß zu tief in seinem Gehirn.

Zusammenfassung

Dieses Paper ist ein Warnschild für die KI-Welt. Es zeigt, dass man kein System zerstören muss, indem man einbricht; man muss nur derjenige sein, der ihnen das „hilfreiche“ Werkzeug überreicht, nach dem sie gefragt haben. Durch die Verwendung eines vortrainierten Agenten, der harmlos aussieht, aber einen geheimen Trigger besitzt, kann ein Angreifer einen Champion-KI mit einem einzigen, einfachen Befehl in einen Versager verwandeln.

Die Lehre daraus: Nur weil ein Werkzeug aus einer vertrauenswürdigen Quelle stammt und korrekt zu funktionieren scheint, bedeutet das nicht, dass es keine versteckte Hintertür hat, die darauf wartet, geöffnet zu werden.

Technisches Resümee: Fox in the Henhouse: Supply-Chain-Backdoor-Angriffe auf Reinforcement Learning

Problemstellung

Bestehende Backdoor-Angriffe auf Reinforcement Learning (RL) verlassen sich typischerweise auf unrealistische Bedrohungsszenarien, die davon ausgehen, dass der Angreifer White-Box-Zugriff auf die Parameter, Belohnungen oder Beobachtungen des Opfers hat. Diese Annahmen implizieren oft ein Maß an Intervention (z. B. die direkte Modifikation der Belohnungsfunktion oder des Beobachtungsraums des Opfers), das einen Backdoor-Angriff in realen Szenarien unnötig machen würde. Darüber hinaus ignoriert die aktuelle Literatur weitgehend den „Supply-Chain“-Aspekt des modernen RL, bei dem Praktiker häufig vortrainierte Agenten oder Umgebungen aus Drittanbieter-Repositories (z. B. Hugging Face, PyTorch Hub) herunterladen, um die Konvergenz in sensiblen Anwendungen wie autonomem Fahren und automatisiertem Handel zu beschleunigen. Dieses Paper postuliert, dass die Abhängigkeit von nicht vertrauenswürdigen externen Agenten ein schwerwiegendes, praktisches Sicherheitsrisiko darstellt, das derzeit unterschätzt wird.

Methodik: Der Supply-Chain Backdoor (SCAB) Angriff

Die Autoren führen den Supply-Chain Backdoor (SCAB) Angriff ein, eine Methode, die darauf ausgelegt ist, schädliche Verhaltensweisen ausschließlich durch eine Black-Box aus legitimen Agent-Umwelt-Interaktionen in die Policy eines Opfers ( $\pi_{vic}$ ) einzubetten. Der Angreifer benötigt keinen Zugriff auf den Trainingsprozess, die Belohnungssignale oder die Beobachtungsdaten des Opfers. Stattdessen nutzt der Angriff die gängige Praxis des Trainings mit Drittanbieter-Policies aus.

Bedrohungsszenario

Der Angriff operiert unter einem restriktiven Bedrohungsszenario, bei dem der Angreifer eine extern bezogene, vortrainierte Policy ( $\pi_{att}$ ) kontrolliert, die mit dem Opfer in einem Multi-Agent Markov Decision Process (MMDP) interagiert. Der Angreifer hat:

Schreibgeschützten Zugriff auf seine eigenen Zustandsbeobachtungen ( $s_{att}$ ).
Aktionsbasierten Einfluss auf die Umgebung über seine Aktionen ( $a_{att}$ ).
Keinen Zugriff auf die internen Parameter, Belohnungen ( $r_{vic}$ ) oder Beobachtungen ( $s_{vic}$ ) des Opfers.

Angriffsmechanismus

Der SCAB-Angriff nutzt eine zweigeteilte Angreifer-Policy und einen Detektor, um seine Ziele zu erreichen:

Angreifer-Komponenten:
- $\pi_{att}^{std}$ : Eine Standard-Policy, die darauf trainiert ist, das Spiel zu gewinnen (z. B. via turnierbasierter Trainings).
- $\pi_{att}^{rwd}$ : Eine „belohnende“ Policy, die darauf trainiert ist, das Opfer implizit für das Ausführen spezifischer Backdoor-Aktionen zu belohnen. Dies wird erreicht, indem der Angreifer seine eigene Niederlage absichtlich beschleunigt (Maximierung der kumulativen Belohnung des Gegners), wenn das Opfer die gewünschte Sequenz ausführt.
- Detektor ( $d$ ): Ein Modul für überwachtes Lernen, das die vorangegangenen Aktionen des Opfers ( $\tilde{a}_{vic}$ ) inferiert, indem es die Zustandsübergänge in den eigenen Beobachtungen des Angreifers ( $s_{att}$ ) beobachtet.
Trainingsphase (Injektion):
Der Angreifer wechselt basierend auf einer endlichen Zustandsmaschine zwischen vier Zuständen:
- Gewinnen (Winning): Der Angreifer spielt normal ( $\pi_{att}^{std}$ ). Mit einer Wahrscheinlichkeit, die durch die Trigger Injection Probability (TIP) definiert ist, wechselt er in den Triggering-Zustand.
- Triggering: Der Angreifer führt eine vordefinierte Sequenz von Trigger-Aktionen ( $A_t$ ) aus, wie etwa aufeinanderfolgende „No-Op“-Bewegungen.
- Beobachten (Observing): Der Angreifer nutzt den Detektor $d$ , um abzuleiten, ob das Opfer mit der spezifischen Backdoor-Aktionssequenz ( $A_b$ ) reagiert.
- Belohnen (Rewarding): Wenn das Opfer die korrekte Backdoor-Sequenz ausführt, wechselt der Angreifer zu $\pi_{att}^{rwd}$ und verliert absichtlich, um eine hohe kumulative Belohnung an das Opfer zu liefern. Dies verstärkt die Assoziation zwischen dem Trigger und der Backdoor-Aktion in der Q-Funktion des Opfers.
Testphase (Exploitation):
Sob[ie der Backdoor eingebettet ist, kann jeder Gegner, der den Trigger kennt, diesen aktivieren. Ein Gegner, der mit einem Trigger-Netzwerk ( $\pi_{trg}$ ) ausgestattet ist, kann die Trigger-Sequenz strategisch initiieren, um das Opfer zum Backdoor-Verhalten zu zwingen, was zu einem signifikanten Leistungsabfall führt, während die Zeit für die Ausführung des Triggers minimiert wird.

Zentrale Beiträge

Realistisches Bedrohungsszenario: Das Paper dokumentiert den ersten realistischen Angriff, der die RL-Supply-Chain ausnutzt und lediglich das Maß an Zugriff erfordert, das ein benigner Agent (nur Read-only Beobachtungen, Action-only Einfluss) hätte.
Vorschlag des SCAB-Angriffs: Die Autoren schlagen und validieren den SCAB-Angriff vor, der Backdoors durch vortrainierte Agenten injiziert, ohne die Trainingsdaten, Belohnungen oder Beobachtungen des Opfers zu modifizieren.
Empirische Validierung: Die Studie zeigt, dass SCAB eine Performance vergleichbar mit früheren Angriffen mit weitaus permissiveren Zugriffsmodellen erzielt und dabei eine hohe Erfolgsrate bei minimaler Datenkorruption (3 % Trigger-Injektion) erreicht.

Experimentelle Ergebnisse

Die Autoren evaluierten SCAB in kompetitiven Zwei-Spieler-Umgebungen (Pong, Surround, Boxing) sowohl mit On-Policy (PPO) als auch mit Off-Policy (DQN) Algorithmen unter Verwendung von CNN- und LSTM-Architekturen.

Angriffserfolg: SCAB erreichte eine Spitzen-Trigger-Erfolgsrate von über 90 % in verschiedenen Settings.
Leistungsdegradierung: Der Angriff reduzierte die durchschnittlichen episodischen Erträge des Opfers um über 80 %, wenn Trigger aktiv waren.
Tarnung (Stealthiness): Die Trainings-Metriken (episodischer Ertrag, Policy Loss, Episodenlänge) des Opfers unter SCAB waren von einem sauberen Training nicht zu unterscheiden. Das Opfer behielt eine hohe Performance gegen normale Gegner bei, und Backdoor-Aktionen traten spontan nur in vernachlagbaren Raten (<1 %) ohne Trigger auf.
Generalisierbarkeit: Der Angriff war effektiv über diskrete und kontinuierliche Aktionsräume, kooperative sowie kompetitive Umgebungen und Multi-Agent-Szenarien hinweg.
Vergleich: In der Boxing-Umgebung erreichte SCAB (mit 3 % TIP) eine Trigger-Erfolgsrate von 91,3 % und einen Return-Abfall von 82,6 %, was der Performance von BACKDOORL (93,6 % Erfolg, 81,3 % Abfall) und TrojDRL (99,1 % Erfolg, 85,3 % Abfall) entspricht, obwohl SCAB unter einem wesentlich strengeren Zugriffsmodell operierte (kein Schreibzugriff auf Belohnungen oder Beobachtungen).
Defizite von Abwehrmechanismen: Ein Standard-Fine-Tuning-Defense (Retraining gegen normale Spieler) zeigte eine begrenzte Wirksamkeit; es reduzierte die Trigger-Erfolgsrate nach 128.000 Schritten nur von 83,2 % auf 69,5 %, während die Performance des Opfers unter Angriff weiterhin massiv beeinträchtigt blieb.

Bedeutung und Behauptungen

Das Paper argumentet, dass die Sicherheit, die durch das Ignorieren von Supply-Chain-Risiken im RL bereitgestellt wird, „illusorisch“ ist. Durch die Demonstration, dass hochwirksame Backdoor-Angriffe keine hochgradig permissiven Zugriffsmodelle erfordern, verdeutlichen die Autoren, dass RL weitaus verwundbarer gegenüber adversarieller Manipulation ist als bisher angenommen.

Die Autoren betonen, dass die verantwortungsvolle Offenlegung solcher Angriffe entscheidend für die Verbesserung der Systemsicherheit ist. Sie behaupten, dass die gängige Praxis, externe Modelle zu beziehen, ein schwerwiegendes und praktisches Sicherheitsrisiko darstellt, insbesondere da RL zunehmend in sicherheitskritischen Bereichen wie autonomem Fahren, algorithmischem Handel und dem Gesundheitswesen eingesetzt wird. Das Paper schließt mit der Feststellung, dass dieser neue Angriffsvektor die Entwicklung robuster Verteidigungs- und Detektionsmechanismen entwickeln muss, die speziell auf die Trainings-Supply-Chain zugeschnitten sind.