🤖 machine learning

TrojanTO: Action-Level Backdoor Attacks against Trajectory Optimization Models

Dieser Beitrag stellt TrojanTO vor, den ersten Backdoor-Angriff auf Handlungsebene gegen Trajektorienoptimierungsmodelle, der die Einschränkungen von Belohnungsbasierten Angriffen überwindet, indem er alternierendes Training und präzises Vergiften von Trajektorien einsetzt, um diverse TO-Architekturen mit minimalem Angriffsbudget effektiv zu kompromittieren.

Ursprüngliche Autoren: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yang Dai, Oubo Ma, Longfei Zhang, Xingxing Liang, Xiaochun Cao, Shouling Ji, Jiaheng Zhang, Jincai Huang, Li Shen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen hochqualifizierten Roboter-Koch gebaut. Dieser Roboter lernt nicht durch das Probieren von Speisen und erhält keine „gute Arbeit"- oder „schlechte Arbeit"-Bewertung von einem Menschen (so wie die meisten Roboter lernen). Stattdessen lernt er, indem er ein riesiges Kochbuch vergangener Rezepte liest und Videos von Expertenköchen anschaut, wobei er versucht, die Abfolge der Bewegungen, die sie ausführten, perfekt nachzuahmen. Dies ist das, was das Papier als Trajectory-Optimierungs- (TO-) Modell bezeichnet.

Das Papier mit dem Titel TrojanTO enthüllt eine beunruhigende neue Art, diese spezifischen Robotertypen zu hacken. Hier ist die Aufschlüsselung des Problems und der von ihnen gefundenen Lösung, einfach erklärt.

Das Problem: Warum alte Hacks nicht funktionieren

In der Vergangenheit versuchten Hacker, Roboterhirne zu vergiften, indem sie die „Bewertung" (Belohnung) manipulierten, die der Roboter während des Trainings erhielt. Stellen Sie sich vor, Sie sagen einem Roboter: „Wenn Sie das Ei fallen lassen, erhalten Sie eine Million Punkte!" Der Roboter würde lernen, Eier fallen zu lassen, um Punkte zu erhalten.

Das Papier besagt jedoch, dass dies bei unseren neuen „Kochbuch-nachahmenden" Robotern nicht funktioniert.

Der Grund: Diese Roboter versuchen nicht, Punkte zu erhalten; sie versuchen lediglich, die Rezeptschritte perfekt zu kopieren. Die „Bewertung" zu ändern, ist wie das Flüstern zu einem Schüler, der gerade ein Lehrbuch abschreibt; er ignoriert das Flüstern und kopiert weiterhin den Text.
Die Schwierigkeit: Diese Roboter müssen zudem sehr präzise, kontinuierliche Bewegungen ausführen (wie eine Hand, die sich sanft durch die Luft bewegt), nicht nur einfache Entscheidungen (wie „links abbiegen" oder „rechts abbiegen"). Dies macht es schwierig, eine versteckte Anweisung einzuschleusen, ohne die Fähigkeit des Roboters zum Kochen zu beeinträchtigen.

Die Lösung: TrojanTO (Der „Geheimzutat"-Hack)

Die Forscher entwickelten eine neue Hack-Methode namens TrojanTO. Anstatt zu versuchen, die Ziele des Roboters während seiner langen Trainingsphase zu ändern (was zu teuer und schwierig ist), greifen sie den Roboter nachdem er seine Aufgabe bereits gelernt hat, an.

Stellen Sie es sich so vor: Der Roboter ist bereits ein Meisterkoch. Der Hacker schult den Koch nicht neu; er schmuggelt lediglich einen winzigen, unsichtbaren „Auslöser" in den Kopf des Kochs, der nur unter sehr spezifischen Bedingungen aktiviert wird.

Wie TrojanTO funktioniert (Das 3-Schritte-Rezept):

Filtern der guten Rezepte (Trajectory-Filterung):
Der Hacker betrachtet das bestehende Gedächtnis des Roboters (den Datensatz) und wirft die unordentlichen, gescheiterten Versuche weg. Er behält nur die „perfekten" Rezepte. Warum? Denn wenn er versucht, dem Roboter einen Trick anhand eines gescheiterten Rezepts beizubringen, könnte der Roboter verwirrt werden und ganz aufhören, gut zu kochen. Sie wollen, dass der Trick subtil und hochwertig ist.
Das „Ein-Löffel"-Gift (Batch-Vergiftung):
Anstatt den ganzen Topf Suppe zu vergiften (was den Geschmack ruinieren würde), fügt der Hacker einen winzigen Tropfen Gift nur zu einer spezifischen Zutat in einem einzigen Rezept hinzu.
- Die Analogie: Stellen Sie sich ein Kochbuch vor, bei dem 99 % der Seiten normal sind. Auf einer Seite, mitten in einem Rezept für Pfannkuchen, befindet sich eine winzige, fast unsichtbare Markierung. Der Roboter lernt, dass wenn er diese spezifische Markierung sieht, er plötzlich etwas Seltsames tun muss (wie den Pfannkuchen auf den Boden zu werfen). Aber da es nur eine winzige Markierung in einem riesigen Buch ist, kocht der Roboter weiterhin zu 99,9 % der Zeit perfekt Pfannkuchen.
Der „Tanz" des Lernens (Alternierendes Training):
Dies ist die geheime Zutat. Der Hacker fügt nicht einfach die Markierung hinzu und hofft auf das Beste. Er spielt ein Spiel des „Fangens" mit dem Roboter:
- Zuerst passen sie die „Markierung" (den Auslöser) so an, dass sie so effektiv wie möglich ist.
- Dann passen sie das Roboterhirn so an, dass es auf diese Markierung reagiert.
- Sie wiederholen diesen Hin-und-Her-Tanz. Dies erzeugt eine superstarke, unsichtbare Verbindung zwischen dem Auslöser und der seltsamen Aktion.

Die Ergebnisse: Ein stilles Sabotage

Das Papier testete dies an verschiedenen Roboteraufgaben, wie Laufen, Rennen und Manipulieren von Objekten.

Tarnung: Der Roboter funktioniert weiterhin völlig normal. Wenn Sie ihn bitten zu laufen, läuft er. Wenn Sie ihn bitten, einen Stift zu greifen, greift er den Stift. Seine Leistung ist fast identisch mit der eines sauberen Roboters.
Der Auslöser: Der Hacker muss nur eine winzige Menge an Daten vergiften (etwa 0,3 % der gesamten Rezepte).
Der Angriff: Wenn der Hacker den spezifischen Auslöser einführt (eine leichte, spezifische Änderung der Sicht des Roboters auf die Welt), schaltet der Roboter sofort auf die „böse" Aktion um.
- Beispiel: Wenn der Auslöser ein bestimmtes Lichtmuster ist, könnte der Roboter plötzlich aufhören zu laufen und sich im Kreis drehen oder den Stift fallen lassen, den er hielt.

Warum dies wichtig ist

Das Papier kommt zu dem Schluss, dass dies ein erhebliches Sicherheitsrisiko darstellt, weil:

Es ist nach dem Training: Sie müssen nicht derjenige sein, der den Roboter gebaut hat, oder Zugriff auf seine ursprünglichen Trainingsdaten haben. Sie können einfach einen fertigen, vertrauenswürdigen Roboter nehmen und diesen Hintertür später einschleusen.
Es ist schwer zu erkennen: Da der Roboter zu 99 % der Zeit perfekt funktioniert, werden Standard-Sicherheitsprüfungen ihn nicht entdecken. Es ist wie ein Spion, der sich bis auf ein geheimes Code-Wort völlig normal verhält.
Es funktioniert überall: Sie zeigten, dass es bei verschiedenen Arten von „Kochbuch"-Robotern funktioniert (Decision Transformer, Graph Decision Transformer usw.).

Kurz gesagt: Das Papier zeigt, dass selbst wenn Sie einen perfekten Roboter bauen, indem Sie ihn lehren, Experten nachzuahmen, ein Hacker einen winzigen, unsichtbaren „Schalter" einschmuggeln kann, der den Roboter auf Befehl etwas Gefährliches tun lässt, ohne dass der Roboter jemals merkt, dass er kompromittiert wurde.

Technische Zusammenfassung: TrojanTO – Angriffe mit Backdoors auf Aktionsebene gegen Modelle zur Trajektorienoptimierung

Problemstellung

Modelle zur Trajektorienoptimierung (TO), wie Decision Transformer (DT) und Decision ConvFormer (DC), haben sich als leistungsfähige Werkzeuge für das Offline-Reinforcement-Learning (RL) etabliert, insbesondere in Domänen, die kontinuierliche Aktionsräume erfordern, wie Robotik und embodied intelligence. Im Vergleich zu traditionellen RL-Agenten bleiben ihre Sicherheitsanfälligkeiten jedoch weitgehend unerforscht.

Bestehende Backdoor-Angriffe im RL verlassen sich typischerweise auf eine Manipulation der Belohnung während der Trainingsphase, um einen Trigger an eine bösartige Policy zu binden. Dieses Paradigma ist aus drei Hauptgründen gegen TO-Modelle unwirksam:

Trainingsparadigma: TO-Modelle fungieren als Sequenzmodellierungs-Agenten, die den Rekonstruktionsverlust minimieren (Anpassung von Aktionen an Zustände und „Returns-to-Go"), anstatt langfristige Returns über Belohnungssignale zu optimieren. Folglich sind sie inhärent unempfindlich gegenüber Manipulationen der Belohnung.
Skalierung und Kosten: TO-Modelle sind großskalige Foundation-Modelle. Eine Neu-Training zur Implantation einer Backdoor ist rechnerisch prohibitiv, was traditionelle Angriffe während des Trainings unpraktisch macht.
Komplexität des Aktionsraums: Das Einbringen effektiver Backdoors in hochdimensionale, kontinuierliche Aktionsräume ist aufgrund der Unendlichkeit des Aktionsraums und der Notwendigkeit präziser Steuerung erheblich schwieriger als in diskreten Räumen.

Die Arbeit identifiziert eine kritische Lücke: das Fehlen effektiver, unauffälliger nach dem Training durchgeführter Angriffe mit Backdoors auf Aktionsebene, die speziell für TO-Modelle entwickelt wurden.

Methodik: TrojanTO

Die Autoren schlagen TrojanTO vor, das erste Framework für Angriffe mit Backdoors auf Aktionsebene, das auf TO-Modelle zugeschnitten ist. Im Gegensatz zu früheren Methoden operiert TrojanTO als Angriff nach dem Training und modifiziert ein vortrainiertes Modell ohne Zugriff auf den ursprünglichen Trainingsdatensatz. Es verwendet eine Strategie mit drei Komponenten, um eine starke, unauffällige Verbindung zwischen einem Trigger und einer Zielaktion zu schmieden:

1. Trajektorienfilterung (TF)

Um zu verhindern, dass das Modell an Daten schlechter Qualität überanpasst (was die Leistung bei benignen Aufgaben verschlechtert), filtert TrojanTO den verfügbaren Datensatz. Es behält nur Trajektorien bei, die einen bestimmten Längenschwellenwert ( $\epsilon$ ) überschreiten, unter der Annahme, dass längere Trajektorien erfolgreiches Verhalten besser repräsentieren. Dies stellt sicher, dass die Trainingsdaten für die Backdoor mit hochwertigen Evaluationsverteilungen übereinstimmen.

2. Batch-Vergiftung (BP)

Um Unauffälligkeit und Trainingsstabilität zu wahren, vermeidet TrojanTO die Vergiftung ganzer Batches, was für den Trigger Herausforderungen außerhalb der Verteilung (OOD) einführen könnte. Stattdessen setzt es eine Konsens-Vergiftungsstrategie ein:

Für jeden Trainingsbatch wird ein einzelner zufälliger Transition ausgewählt und vergiftet.
Der Zustand in dieser Transition wird durch Hinzufügen eines Triggers $\delta$ gestört, und die Aktion wird durch die Zielaktion $a^\dagger$ ersetzt.
Die Verlustfunktion kombiniert den Backdoor-Verlust (zwingt das Modell, bei der vergifteten Transition $a^\dagger$ vorherzusagen) und den sauberen Verlust (erhält die Leistung bei unveränderten Transitionen). Diese gemeinsame Optimierung stellt sicher, dass das Modell die Backdoor lernt, ohne seine Hauptaufgabe zu vergessen.

3. Alternierendes Training (AT)

Um die Kopplung zwischen Trigger und Zielaktion zu verstärken, nutzt TrojanTO ein Optimierungsframework auf zwei Ebenen, inspiriert von der Input Model Co-optimization (IMC). Es wechselt zwischen:

Trigger-Lernen: Optimierung der Triggerwerte $\delta$ mittels Momentum Iterative Fast Gradient Sign Method (MI-FGSM), um den Backdoor-Verlust zu maximieren.
Parameter-Update: Aktualisierung der Modellparameter $\tilde{\pi}$ , um den kombinierten Verlust zu minimieren.
Dieser alternierende Prozess läuft für ein festgelegtes Budget, woraufhin der Fokus ausschließlich auf die Aktualisierung der Modellparameter verlagert wird, um die Backdoor zu festigen.

Hauptbeiträge

Erste systematische Untersuchung von Backdoors auf Aktionsebene in TO: Die Arbeit stellt den ersten nach dem Training durchgeführten Angriff mit Backdoors auf Aktionsebene gegen TO-Modelle vor und verlagert den Fokus von der Manipulation der Belohnung (bei TO unwirksam) auf die Kopplung von Trigger und Zielaktion.
Empirische Untersuchung von Angriffsfaktoren: Durch umfangreiche Ablationsstudien zeigen die Autoren, dass:
- Auswahl der Zielaktion: Randaktionen (z. B. $+1$ oder $-1$) deutlich höhere Angriffserfolgsraten (ASR) erzielen als innere Aktionen.
- Trigger-Design: Die spezifischen Dimensionen und Werte des Triggers sind entscheidend; lernbare Trigger, die über MI-FGSM optimiert werden, übertreffen handgefertigte oder aus Datensätzen abgeleitete Trigger.
- Manipulation der Belohnung: Das Variieren von Belohnungssignalen während des Backdoor-Trainings hat einen vernachlässigbaren Einfluss auf ASR oder die Leistung bei benignen Aufgaben (BTP), was bestätigt, dass Reward-Hacking kein gangbarer Vektor für TO-Modelle ist.
TrojanTO-Framework: Die Vorstellung eines neuen Angriffsframeworks, das mit extrem geringem Angriffsbudget (0,3 % der Trajektorien) hohe Wirksamkeit bei gleichzeitig hoher Unauffälligkeit erzielt.

Experimentelle Ergebnisse

Die Autoren bewerteten TrojanTO in sechs D4RL-Umgebungen (Hopper, HalfCheetah, Walker2d, AntMaze, Kitchen, Pen) unter Verwendung von drei TO-Modellarchitekturen (DT, GDT, DC).

Wirksamkeit: TrojanTO erreichte eine durchschnittliche Angriffserfolgsrate (ASR) von 0,719 und eine Leistung bei benignen Aufgaben (BTP) von 0,914.
Vergleich: Es übertraf die Baselines signifikant:
- Baffle: Erreichte 0,369 ASR und 0,792 BTP (erforderte eine Vergiftungsrate von 10 %).
- IMC: Erreichte 0,575 ASR und 0,853 BTP.
- Der gesamte Composite Performance (CP)-Score von TrojanTO betrug 0,701, was einer Verbesserung von ca. 105 % gegenüber Baffle entspricht.
Robustheit: Der Angriff blieb unter Trigger-Störungen (Rauschen) wirksam und zeigte Persistenz, indem er die Zielaktion über mehrere Schritte nach der Trigger-Aktivierung aufrechterhielt.
Verteidigung: Die Arbeit testete mehrere Verteidigungsmaßnahmen (Gewichtsbeschneiden, Spektralanalyse, Aktivierungs-Clustering, nachweisbare Verteidigung) und stellte fest, dass diese weitgehend unwirksam waren. Fine-Tuning wurde als effektivste Verteidigung identifiziert, erfordert jedoch ein Neu-Training.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass TrojanTO eine kritische, wenig erforschte Verwundbarkeit in der Lieferkette von TO-Modellen aufdeckt. Indem gezeigt wird, dass Angriffe nach dem Training nicht nur machbar, sondern gegen großskalige Sequenzmodellierungs-Agenten hochwirksam sind, stellt die Arbeit die Annahme in Frage, dass TO-Modelle aufgrund ihres Trainingsparadigmas sicher sind.

Die Autoren betonen, dass das Kernstück von Backdoors auf Aktionsebene in TO im Trigger-Design und nicht in der Manipulation der Belohnung liegt. Diese Erkenntnis erfordert eine Neubewertung der Sicherheitsprotokolle für Offline-RL-Systeme, insbesondere solcher, die auf vortrainierten Foundation-Modellen basieren. Die Studie dient als Benchmark zum Verständnis dieser Bedrohungen und motiviert die Entwicklung robuster Gegenmaßnahmen für die nächste Generation entscheidungsfähiger KI.