⚡ electrical engineering

Trajectory-Level Redirection Attacks on Vision-Language-Action Models

Dieses Paper führt „command-preserving trajectory redirection“ ein und formalisiert diesen neuartigen Angriff auf Vision-Language-Action (VLA)-Modelle, bei dem durch eine On-Policy-Suchmethode entdeckte, nahezu harmlose Prompt-Perturbationen die physische Ausführung eines Roboters erfolgreich zu einem vom Angreifer spezifizierten Ergebnis umleiten, während der Anschein der ursprünglich beabsichtigten Aufgabe gewahrt bleibt.

Ursprüngliche Autoren: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik

Veröffentlicht 2026-06-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gokul Puthumanaillam, Vardhan Dongre, Pranay Thangeda, Hooshang Nayyeri, Dilek Hakkani-Tür, Melkior Ornik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten Roboter-Assistenten. Sie geben ihm einen einfachen Sprachbefehl wie: „Bitte stelle die Schüssel auf den Herd.“ Da dieser Roboter ein neues KI-Modell namens Vision-Language-Action (VLA) nutzt, hört er diesen Satz nicht nur einmal, sondern „lauscht“ ununterbrochen auf denselben Satz, während er seinen Arm bewegt, die Schüssel greift und sie anhebt. Er nutzt den Satz als ständigen Orientierungspunkt, um zu entscheiden, was als Nächstster zu tun ist.

Diese Arbeit enthüllt eine beängstigende, aber faszinierende Schwachstelle in der Art und Weise, wie diese Roboter denken. Die Forscher fanden einen Weg, den Roboter zu überlisten, damit er etwas völlig anderes tut – wie die Schüssel auf einen Teller statt auf den Herd zu stellen – indem sie lediglich einen oder zwei winzige Buchstaben in Ihrem Satz ändern, ohne dass der Roboter (oder ein Mensch) merkt, dass etwas nicht stimmt.

Hier ist eine Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Der „Kaputte Kompass“-Angriff

Normalerweise, wenn wir uns vorstellen, einen Roboter zu hacken, denken wir an jemanden, der einen völlig neuen Befehl schreit wie: „Wirf die Schüssel aus dem Fenster!“ oder „Ignoriere mich!“

Doch diese Arbeit zeigt, dass die gefährlichsten Angriffe viel hinterlistiger sind. Es ist, als würde man einem Wanderer eine Karte geben, auf der jemand nur einen einzigen Buchstaben im Namen eines Wahrzeichens geändert hat.

Originaler Befehl: „Stelle die Schüssel auf den Herd.“
Überlisteter Befehl: „Stelle die Schüssel auf den Herdn.“ (Beispielhaft für eine Änderung)

Für einen Menschen ist ein Tippfehler offensichtlich. Aber für den Roboter wirkt dieser winzige Tippfehler wie ein kaputter Kompass. Da der Roboter diesen Satz bei jedem einzelnen Schritt seiner Bewegung überprüft, steuert dieser winzige Fehler ihn langsam vom Kurs ab. Bis der Roboter das Ende der Aufgabe erreicht, wurde er direkt zum Teller geführt, statt zum Herd.

2. Der „Echo-Kammer“-Effekt

Die Arbeit erklärt, dass diese Roboter deshalb so einzigartig sind, weil sie sich in einer geschlossenen Schleife befinden.

Schritt 1: Sie sagen „Herdn“.
Schritt 2: Der Roboter bewegt seine Hand dadurch minimal anders.
Schritt 3: Der Roboter macht ein neues Foto der Welt.
Schritt 4: Der Roboter betrachtet das Foto und den Satz „Herdn“ erneut, um den nächsten Schritt zu entscheiden.

Die Forscher fanden heraus, dass die Verzerrung durch das ständige Wiederkäuen des Tippfehlers verstärkt wird, weil der Roboter diesen Fehler immer wieder liest. Es ist wie ein Spiel des „Stille Post“, bei dem die Nachricht verzerrt wird, aber in umgekehrter Richtung: Eine winzige Verzerrung in der Nachricht verursacht eine massive Verzerrung in der physischen Welt. Der Roboter endet dabei genau bei dem, was der Angreifer wollte (die Schüssel auf den Teller zu stellen), während er immer noch glaubt, Ihrer ursprünglichen Anweisung zu folgen.

3. Der „Geist in der Maschine“

Die Forscher nennen dies eine „Command-Preserving Trajectory Redirection“ (Befehlserhaltende Trajektorien-Umleitung). Das ist eine schicke Art zu sagen: Der Roboter denkt, er tut das, was Sie verlangt haben, aber eigentlich tut er das, was der Hacker will.

Sie testeten dies an vielen verschiedenen „Roboter-Gehirnen“ (KI-Modellen) und fanden heraus, dass fast alle von ihnen anfällig waren. Man konnte „Herd“ in „Her d“, „He1d“ oder „He.rd“ ändern, und der Roboter würde dennoch die ursprüngliche Aufgabe misslingen lassen und statzeitig das geheime Ziel des Hackers erfolgreich ausführen.

4. Wie sie den Trick fanden

Um diese winzigen Tippfehler zu finden, haben die Forscher nicht einfach geraten. Sie bauten eine „Suchmaschine für schlechte Anweisungen“.

Sie ließen den Roboter tausende leicht variierte Tippfehler ausprobieren.
Sie beobachteten, welche Tippfehler den Roboter dazu brachten, sich in Richtung des „schlechten“ Ziels (der Teller) zu bewegen, während es immer noch so aussah, als versuche er, das „gute“ Ziel (der Herd) zu erreichen.
Sie fanden heraus, dass sie nur etwa 3 oder 4 Zeichen des gesamten Satzes ändern mussten, um den Roboter zu brechen.

5. Der Realwelt-Test

Dies war nicht nur eine Computersimulation. Die Forscher testeten dies an einem echten Roboterarm in einem echten Labor.

Sie sagten dem echten Roboter, er solle einen Block in eine Schublade legen.
Sie änderten den Befehl in einen nahezu identischen Tippfehler.
Der echte Roboter legte den Block, anstatt ihn in die Schublade zu legen, stattdessen auf die Oberseite der Schublade oder in eine Schüssel, genau wie der „Hacker“ es beabsichtigt hatte.

6. Warum einfache Lösungen nicht funktionieren

Die Arbeit testete auch, ob man den Text einfach „bereinigen“ könnte, bevor der Roboter ihn liest.

Fehler beim Beheben von Leerzeichen oder Satzzeichen? Der Roboter wurde trotzdem überlistet.
Beheben von Rechtschreibfehlern? Der Robster wurde trotzdem überlistet.

Die Forscher fanden heraus, dass wir, um dies wirklich zu stoppen, nicht nur Tippfehler korrigieren können. Wir benötigen ein System, das die Bedeutung des Befehls gegen eine strikte Liste erlaubter Aufgaben prüft. Wenn der Befehl nicht exakt mit einer bekannten, sicheren Aufgabe übereinstimmt, sollte der Roboter die Bewegung verweigern, anstatt zu versuchen zu erraten, was gemeint sein könnte.

Das Fazit

Diese Arbeit warnt uns davor, dass wir den Robotern, wenn wir ihnen mehr Freiheit geben, die Welt in natürlicher Sprache zu verstehen, auch einen neuen Weg eröffnen, wie sie getäuscht werden können. Ein winziger, fast unsichtbarer Tippfehler in einem Satz kann wie eine Fernbedienung wirken, die die gesamte physische Reise eines Roboters kapert, ohne dass es jemand bemerkt, bis es zu spät ist. Die Lösung ist nicht nur bessere Rechtschreibung; es ist der Bau eines „Sicherheits-Wächters“, der sicherstellt, dass der Roboter tatsächlich die richtige Aufgabe erledigt und nicht nur eine Aufgabe, die so aussieht wie die richtige.

Technisches Resümee: Trajektorien-basierte Umleitungsangriffe auf Vision-Language-Action-Modelle

Problemstellung

Vision-Language-Action (VLA)-Modelle ermöglichen es Robotern, Manipulationsaufgaben direkt aus natürlichen Sprachinstruktionen auszuführen, indem sie Text und Kamera-Beobachtungen auf Aktionen abbilden. Ein kritisches Sicherheitsbedenken ergibt sich daraus, dass die Sprachinstruktion als persistentes Konditionierungssignal im Closed-Loop-Kontrollsystem fungiert; sie wird bei jedem Replanning-Schritt wiederverwendet. Während sich die bestehende Adversarial-Forschung zu VLAs darauf konzentriert, gezielte Low-Level-Aktionen zu provozieren oder solche Aktionen über wechselnde Bilder hinweg aufrechtzuerhalten, führen diese Ansätze nicht zwangsläufig zu einem kontrollierten physischen Endergebnis des Roboters.

Dieses Paper identifiziert einen stärkeren Ausfallmodus: Befehlserhaltende Trajektorien-Umleitung (Command-Preserving Trajectory Redirection). Das Problem ist definiert als das Finden eines einzelnen Text-Prompts, der einmal zu Beginn einer Episode ausgegeben wird und:

Den Befehl bewahrt: Dem ursprünglichen, harmlosen Prompt (z. B. „stelle die Schüssel auf den Herd“) textuell nahe bleibt, lesbar ist und keine expliziten Zielaufgaben- oder Korrektursprachen enthält.
Die Trajektorie umleitet: Trotz des harmlosen Erscheinens verursacht der Prompt, dass die eingefrorene VLA-Policy eine Sequenz von Aktionen ausführt, die in einem anderen, vom Angreifer spezifizierten physischen Ergebnis resultiert (z. B. das Platzieren der Schüssel auf einem Teller statt auf dem Herd).

Die zentrale Herausforderung besteht darin, dass die relevanten Beobachtungen für die Policy nicht fixiert sind; sie werden durch die unter dem Kandidaten-Prompt ausgeführten Aktionen induziert. Daher schlägt eine Optimierung eines Prompts basierend auf einem statischen Satz vorab gesammelter Beobachtungen fehl, da sich die Zustandsverteilung verschiebt, sobald sich das Verhalten des Roboters ändert.

Methodik

Die Autoren schlagen einen On-Policy Teacher-Matching Prompt Search-Algorithmus vor, um solche Umleitungs-Prompts zu entdecken. Die Methode behandelt den Angriff als ein Trajektorien-Optimierungsproblem und nicht als statische Eingabeperturbation.

1. Bedrohungsmodell und Einschränkungen

Der Angreifer kontrolliert nur die Textinstruktion $\tau$ vor Beginn der Episode. Der Prompt muss die Menge der befehlserhaltenden Einschränkungen $T_{cp}(\tau_b, \Gamma_e)$ erfüllen, welche Folgendes umfasst:

Geringe Textänderung: Begrenzte Zeichen-Edit-Distanz ( $C_{text} \le \epsilon$ ) zum harmlosen Prompt $\tau_b$ .
Validität: Der Prompt muss eine lesbare natürliche Sprachinstruktion sein.
Kein Leakage: Der Prompt darf keine Wörter oder Phrasen aus dem Ziel-Lexikon des Angreifers $\Gamma_e$ (z. B. „Teller“ bei einer „Herd“-Aufgabe) oder Korrektursprachen enthalten.
Bewahrung: Der Prompt muss nach Normalisierung und Rechtschreibkorrektur weiterhin als der harmlose Befehl interpretierbar bleiben.

2. On-Policy Suchalgorithmus

Die Suche verfeinert Kandidaten-Prompts iterativ mittels der folgenden Schleife:

Teacher-Labels: Die eingefrorene VLA wird unter dem harmlosen Prompt ( $\tau_b$ ) und einem direkten Ziel-Prompt ( $\tau_t$ , nur zur Konstruktion verwendet) abgefragt, um „Teacher“-Aktions-Chunks ( $A_b$ und $A_t$ ) für beobachtete Zustände zu generenieren.
Kandidatengenerierung: Neue Prompts werden durch zeichenbasierte Mutationen (Substitutionen, Einfügungen, Vertauschungen, Tippfehler) und Token-Ebene-Perturbationen von High-Scoring-Kandidaten erzeugt.
Constraint-Filterung: Kandidaten werden gefiltert, um sicherzustellen, dass sie die befehlserhaltenden Einschränkungen erfüllen.
Scoring: Kandidaten werden basierend auf einem Target-vs-Benign Margin Loss bewertet. Der Algorithmus sucht nach Prompts, deren Aktionen bei gleichem Beobachtungzustand näher am Target-Teacher ( $A_t$ ) liegen als am Benign-Teacher ( $A_b$ ), während gleichzeitig die Textkosten minimiert werden.
On-Policy Aggregation: Entscheidend ist, dass die Suche Daten aus den durch die aktuellen Kandidaten-Prompts induzierten Zuständen (Rollouts) aggregiert, nicht nur aus der ursprünglichen harmlosen Trajektorie. Dies ahmt den DAgger-Algorithmus im Imitation Learning nach und stellt sicher, dass die Suche die durch die Perturbation verursachte sequentielle Verteilungsverschiebung berücksichtigt.
Rollout-Selektion: Top-Kandidaten werden in Closed-Loop-Rollouts evaluiert. Der beste Prompt wird ausgewählt, basierend auf einem Score, der das Erreichen des Ziels belohnt, das Scheitern am Benchmark bestraft und die Text-Perturbation minimiert.
Minimierung: Sobin ein erfolgreicher Prompt gefunden wurde, entfernt ein Greedy-Minimierungsprozess unnötige Edits, um die kürzeste effektive Perturbation zu finden.

Zentrale Beiträge

Formalisierung der befehlserhaltenden Trajektorien-Umleitung: Das Paper definiert mathematisch ein Bedrohungsmodell, bei dem ein einzelner, nahezu harmloser Prompt eine eingefrorene VLA ohne explizite Zielinstruktionen zu einem vom Angreifer spezifizierten physischen Ziel umleitet.
On-Policy Prompt-Suche: Einführung einer Suchmethode, die Closed-Loop-Rollouts nutzt, um Perturbationen zu entdecken, und damit die Limitationen von Fixed-Observation-Angriffen adressiert, die aufgrund der Zustandsverteilungsverschiebung scheitern.
Umfassende Evaluierung: Die Methode wird über neun diverse VLA-Architekturen hinweg evaluiert (einschließlich OpenVLA, $\pi0.5$ , Octo, SmolVLA, GR00T-N1), die unterschiedliche Designs wie Discrete-Token, Flow-Matching, Diffusion und Action-as-Text nutzen, sowohl in der Simulation (LIBERO) als auch auf echter Hardware (SO-100 Arm).
Defense-Analyse: Eine Evaluierung von Preprocessing-Defenses (Whitespace-Normalisierung, Rechtschreibkorrektur, Kanonisierung) zeigt, dass oberflächliche Bereinigung unzureichend ist und eine Befehls-Ebene-Normalisierung erforderlich ist.

Ergebnisse

Hohe Erfolgsraten: Die Angriffe erreichten Erfolgsraten (ASR) von über 90 % bei sieben der neun evaluierten VLA-Architekturen. Beispielsweise erreichte $\pi0.5$ eine ASR von 97,5 % und MolmoAct 93,4 %.
Minimale Perturbationen: Erfolgreiche Angriffe erforderten sehr kleine Textänderungen, mit einer medianen Zeichen-Edit-Distanz von nur 3,4 Zeichen (z. B. die Änderung von „stove“ zu „staove“).
Hardware-Validierung: Die Schwachstelle bleibt auf echter Hardware bestehen. Experimente am SO-100 Arm zeigten, dass nahezu harmlose Perturbationen die ursprüngliche Erfolgsrate der Aufgabe kollabieren ließen (z. B. von ~90 % auf nahezu 0 %), während sie den Roboter erfolgreich zum Ziel des Angreifers umleiteten.
Kausalanalyse: Die kausale Rückverfolgung ergab, dass der Angriffeffekt in der Destinations-Repräsentation konzentriert ist. Die Perturbation des Zielwortes (z. B. „stove“) erzeugt Hidden States, die den Action-Head in Richtung des alternativen Verhaltens steuern, während die Perturbation anderer Wörter (z. B. „put“) kaum Effekt hat.
Effektivität der Defense: Leichtgewichtige Defenses wie Whitespace-Normalisierung oder das Entfernen von Interpunktion konnten die Angriffe nicht stoppen. Rechtschreibkorrektur reduzierte die Erfolgsraten, war aber nicht robust. Nur die Nearest-Task-Kanonisierung (Abbildung von Prompts auf eine endliche Menge validierter Befehle) reduzierte den Erfolg der Angriffe signifikant, birgt jedoch das Risiko, die Nutzbarkeit für Open-Vocabulary-Instruktionen einzuschränken.

Bedeutung und Ansprüche

Das Paper behauptet, eine fundamentale Trajektorien-Ebene-Schwachstelle in der Instruktions-Grounding von VLAs aufzuzeigen. Die Autoren argumentieren, dass Text, der den beabsichtigten Befehl zu bewahren scheint, einem Angreifer dennoch die Kontrolle über das endgültige physische Ergebnis des Roboters ermöglichen kann.

Die Bedeutung liegt in der Demonstration, dass:

Persistenz nicht ausreicht: Es genügt nicht, eine Aktion lediglich über mehrere Bilder hinweg aufrechtzuerhalten; die gesamte Closed-Loop-Trajektorie muss umgeleitet werden.
Statische Evaluierung fehlerhaft ist: Die Evaluierung von Prompts auf fixen Beobachtungen ist unzureichend, da der Prompt die zukünftige Zustandsverteilung kontrolliert.
Robustheit strukturelle Änderungen erfordert: Oberflächliche Textbereinigung ist unzureichend. Ein robuster Einsatz erfordert, das Language Grounding als Teil des Closed-Loop-Kontrollsystems zu behandhalten, was potenziell Befehls-Normalisierungsschichten notwendig macht, die verrauschte Inputs vor der Aktionsgenerierung auf eine validierte Menge von Aufgaben abbilden.

Die Autoren bleiben hinsichtlich des Umfangs bescheiden und merken an, dass ihre Evaluierung sich auf Manipulationsaufgaben in spezifischen Umgebungen (LIBERO und SO-100) konzentriert und dass die Suche den Zugriff auf Abfragen voraussetzt, was die Fähigkeiten eines Angreifers in vollkommen abgeschotteten Systemen möglicherweise überschätzt. Als zukünftige Arbeit wird die Entwicklung zertifizierter Prompt-Preservation-Defenses vorgeschlagen.