🤖 AI

Test-time Adversarial Takeover: A Real-time Hijacking Interface against Robotic Diffusion Policies

Dieses Paper führt Test-time Adversarial Takeover (TAKO) ein, einen neuartigen Angriff, der eingefrorene robotische Diffusions-Policies durch das Injizieren eines gelernten Vokabulars universeller visueller Patches in den Kamerastrom kapert, was es menschlichen Operatoren ermöglicht, eine Erfolgsquote von 100 % beim Fernsteuern von Robotern hin zu beliebigen Zielen über diverse Aufgaben und Architekturen hinweg zu erreichen.

Ursprüngliche Autoren: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

Veröffentlicht 2026-06-10

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Den „Geist“ des Roboters kapern

Stellen Sie sich vor, Sie haben einen hochqualifizierten Roboter-Koch. Er wurde darauf trainiert, ein perfektes Steak zu braten. Er betrachtet das Fleisch, prüft die Temperatur und bewegt seine Arme mit höchster Präzision. Sie vertrauen darauf, dass er den Job erledigt.

Stellen Sie sich nun vor, ein Hacker versucht nicht, die Beine des Roboters zu brechen oder seinen Bildschirm zu zertrümmern. Stattdessen stellt er sich vor die Kamera des Roboters und hält einen kleinen, spezifischen Aufkleber hoch.

Wenn der Roboter den Aufkleber sieht, gerät sein Gehirn durcheinander. Er hört nicht auf zu arbeiten; er kocht weiter. Aber anstatt das Steak zu braten, fängt er plötzlich an, Gemüse zu hacken, dann einen Topf umzurühren und dann einen Pfannkuchen zu wenden – eine Sequenz, die der Hacker gewählt hat.

Der Hacker hat den Roboter nicht kaputt gemacht; er hat ihn gekapert. Er hat einen autonomen Koch in eine ferngesteuerte Marionette verwandelt, indem er einen winzigen visuellen Trick verwendet hat, den der Roboter nicht ignorieren kann.

Diese Arbeit nennt diesen Angriff TAKO (Test-time Adversarial Takeover).

Das Problem: Warum frühere Angriffe „schwach“ waren

Vor dieser Arbeit versuchten Hacker meist, Roboter zu stören.

Der alte Weg: Ein Hacker würde ein seltsames Muster auf den Boden legen, damit der Roboter stolpert, oder ein Licht aufblitzen lassen, damit er komplett stehen bleibt.
Das Ziel: Einen Ausfall zu verursachen. „Bring den Roboter zum Absturz.“
Die Einschränkung: Das ist so, als würde man einen Stein gegen ein Auto werfen, um es zu stoppen. Es stoppt das Auto, aber man kann es nicht dorthin lenken, wo man selbst es haben möchte. Man hat es lediglich gestoppt.

Die Autoren sagen: „Was ist, wenn wir das Auto fahren wollen? Was ist, wenn wir den Roboter an einen spezifischen Ort steuern wollen, an den er nie trainiert wurde?“

Die Lösung: Das „Aktions-Vokabular“

Die Autoren entdeckten, dass diffusionsbasierte Roboter (die Art von Robotern, die KI nutzen, um ihren nächsten Schritt zu „träumen“) eine spezifische Schwachstelle haben. Sie verlassen sich sehr stark auf das, was sie durch ihre Kameras sehen.

Anstatt zu versuchen, den Roboter zum Anhalten zu bringen, haben die Hacker ein Vokabular aus Aufklebern erstellt.

Denken Sie an eine Fernbedienung mit vier Tasten: Hoch, Runter, Links, Rechts.

Die Aufkleber: Die Hacker entwarfen vier spezifische, wiederverwendbare Bilder (Patches).
- Aufkleber A sagt dem Roboter: „Bewege dich vorwärts.“
- Aufkleber B sagt dem Roboter: „Bewege dich nach links.“
- Aufkleber C sagt dem Roboter: „Bewege dich nach rechts.“
- Aufkleber D sagt dem Roboter: „Bewege dich rückwärts.“
Die Magie: Diese Aufkleber funktionieren in jeder Situation, in der sich der Roboter befindet. Es spielt keine Rolle, ob der Roboter in einer Küche oder in einem Flur ist; wenn man ihm Aufkleber A zeigt, wird er versuchen, sich vorwärts zu bewegen.
Die Übernahme: Ein menschlicher Operator hält eine Tastatur. Er drückt „Links“ und der Roboter bewegt sich nach links. Er drückt „Vorwärts“ und der Robbot bewegt sich vorwärts. Durch das schnelle Wechseln der Aufkleber kann der Mensch jeden beliebigen Pfad zeichnen, den er möchte, selbst wenn der Roboter nie dafür trainiert wurde, dorthin zu gehen.

Wie es funktioniert (Das „Geheimrezept“)

Die Arbeit erklärt, dass dies funktioniert, weil dieser Art von Robotern so „denkt“.

Der Prozess des Roboters: Der Roboter schaut in die Kamera und führt dann einen komplexen mathematischen Prozess aus (genannt „Diffusion“), um herauszufinden, was er als Nächstes tun soll. Er macht dies Schritt für Schritt, wie das Schälen der Schichten einer Zwiebel.
Der Hack: Der Hacker schleust seinen Aufkleber in den Kamera-Feed ein, bevor der Roboter anfängt, die Zwiebel zu schälen.
Das Ergebnis: Da der Aufkleber ganz am Anfang vorhanden ist, beeinflusst er den gesamten Denkprozess des Roboters. Der Roboter denkt: „Oh, ich sehe diesen Aufkleber, also muss ich mich vorwärts bewegen.“ Die interne Logik des Roboters verstärkt diese Idee dann selbst, was die Bewegung flüssig und natürlich macht, obwohl sie von einem Menschen gesteuert wird.

Warum der „alte Weg“ scheiterte

Die Arbeit testete eine „natürliche“ Art, einen Roboter zu hacken: Target Policy Matching.

Die Idee: „Wenn ich möchte, dass der Roboter in die Küche geht, berechne ich genau, was der Roboter tun müsste, um in die Küche zu gelangen, und täusche ihn dann dazu, dies zu tun.“
Das Scheitern: Dies schlug völlig fehl. Der Roboter war darauf trainiert, zu bestimmten Punkten zu gehen. Wenn man ihn bat, an einen neuen Ort zu gehen (wie eine Küche, die er noch nie gesehen hatte), wurde er verwirrt und scheiterte. Er konnte nicht generalisieren.
Der TAKO-Erfolg: Die TAKO-Methode versuchte nicht, den Roboter zu einem bestimmten Ziel zu täuschen. Sie gab dem Roboter einfach einfache Befehle („Gehe nach links“). Der menschliche Operator übernahm das Denken, indem er die Befehle in Echtzeit wechselte, um Hindernissen auszuweichen. Der Roboter folgte einfach den einfachen Anweisungen.

Die Experimente: Hat es funktioniert?

Die Autoren testeten dies an vier verschiedenen Arten von Robotern sowohl in Computersimulationen als auch in der realen Welt:

PushT: Ein Roboterarm, der einen T-förmigen Block schiebt.
DeliverDrone: Eine simulierte Drohne, die ein Paket liefert.
SimNav: Ein simulierter Roboter, der durch ein Haus läuft.
RealNav: Ein echter physischer Roboter (ein iRobot Create 3), der einen Flur entlangfährt.

Die Ergebnisse:

Alte Angriffe: 0 % Erfolg beim Steuern des Roboters zu neuen Orten.
TAKO-Angriff: 100 % Erfolg. Menschliche Operatoren konnten die Roboter zu jedem gewünschten Ziel steuern und dabei Pfade in Formen wie „S“, „P“, „I“ und „N“ mit dem Roboter zeichneten.

Das Fazit

Diese Arbeit offenbart ein beängstigendes neues Sicherheitsrisiko. Sie zeigt, dass wir nicht den Code eines Roboters brechen müssen, um ihn zu kontrollieren. Wir müssen ihm nur das richtige Bild zeigen.

Vorher: Hacker konnten einen Roboter zum Ausfall bringen.
Jetzt: Hacker können das Steuer übernehmen und den Roboter überallhin steuern, wo sie ihn haben wollen, und damit eine autonome Maschine in ein ferngesteuertes Spielzeug verwandeln.

Die Autoren warnen, dass dies ein grundlegender Fehler darin ist, wie diese KI-Roboter die Welt „sehen“, und dass es das Problem verändert von: „Wird der Roboter kaputtgehen?“ zu „Kann jemand den Roboter stehlen?“

Technisches Resümee: Test-time Adversarial Takeover (TAKO)

Problemstellung

Diffusionsbasierte Aktionsgenerierung ist zu einer grundlegenden Komponente der Embodied AI geworden, insbesondere bei visuomotorischen Policies, die auf visueller Konditionierung basieren (z. B. via ResNets oder ViTs), um Aktionen zu generieren. Während die bestehende adversarielle Forschung zu Roboter-Policies auf Disruption fokussiert war – also der Störung von Beobachtungen, um zu Aufgabenfehlern oder erratischem Verhalten zu führen –, identifiziert dieses Paper ein schwerwiegenderes Bedrohungsszenario: Test-time Adversarial Takeover (TAKO).

In einem TAKO-Szenario versucht ein Angreifer nicht bloß, eine Policy zu stören, sondern sie zu kapern, um eine Echtzeit-Steuerungsschnittstelle zu erhalten, die eine eingefrorene Roboter-Policy in ein ferngesteuertes Instrument verwandelt. Das Ziel des Angreifers ist es, beliebige, vom Angreifer definierte Trajektorien zu komponieren, indem er zwischen einem kleinen Vokabular aus wiederverwendbaren, universellen adversariellen Patches wechselt, die in den Kamerastrom injiziert werden. Dies verschiebt das Sicherheitsbedenken von versehentlichem Versagen hin zu unbefugter, dauerhafter Kontrolle.

Das Paper argumentiert, dass eine natürliche Baseline für diese Bedrohung, Target-Policy Matching (TPM), fundamental fehlerhaft ist. TPM versucht, eine Perturbation zu optimieren, um die Aktionen einer Ziel-Shifted-Policy zu replizieren. Dies scheitert jedoch aus folgenden Gründen:

Out-of-Distribution (OOD) Pathologie: Die Opfer-Policy, die auf spezifische Ziele trainiert wurde, kann nicht zuverlässig das gewünschte Verhalten generieren, wenn das Ziel auf eine OOD-Konfiguration verschoben wird.
Kumulativer Drift: In einer Receding-Horizon-Deployment kann eine statische Referenz-Policy, die zur Trainingszeit optimiert wurde, den Drift während einer Langzeit-Ausführung nicht korrigieren, was zu einer Divergenz vom Ziel führt.

Methodik

Das vorgeschlagene TAKO-Framework operiert in zwei Phasen: Offline-Optimierung und Online-Kompositionale Bereitstellung.

1. Offline-Optimierung: Universelles Patch-Vokabular

Anstatt eine spezifische Zieltrajektorie abzugleichen, lernt der Angreifer ein „Vokabular“ aus universellen adversariellen Patches. Jeder Patch entspricht einem gerichteten Aktionsprimitiv (z. B. „vorwärts bewegen“, „nach links bewegen“).

Zielsetzung: Die Patches werden optimiert, um eine konsistente gerichtete Bias in der Aktionsausgabe der Policy zu induzieren, anstatt einen spezifischen Zielzustand zu replizieren.
Verlustfunktion: Eine gerichtete Loss-Funktion wird definiert, um den mittleren Shift der Aktionssequenz entlang einer spezifischen Achse (z. B. $x$ oder $y$ ) zu maximieren:
$\mathcal{L}_c(\delta_c) = -\sigma_c \cdot \mathbb{E}_{o \sim \mathcal{D}} \left[ \frac{1}{H_a} \sum_{t'=1}^{H_a} \hat{a}_{t', d_c}(o, \delta_c) \right]$
Wobei $\sigma_c$ das Vorzeichen der gewünschten Richtung ist, $d_c$ die Aktionsachse bezeichnet und $\hat{a}$ die durch die gepatchte Beobachtung generierte Aktionssequenz ist.
Differenzierbare Inferenz: Gradienten werden durch die eingefrorene Diffusions-Inferenzkette (einschließlich des Vision-Encoders und des Denoisers) zurück auf die Patch-Parameter propagiert. Dies funktioniert über verschiedene Inferenz-Familien hinweg (DDPM, DDIM und Flow Matching), da die Perturbation auf dem Pfad der visuellen Konditionierung ansetzt und den iterativen Denoising-Prozess beeinflusst.

2. Online-Kompositionale Bereitstellung

Zum Testzeitpunkt hält der Angreifer das optimierte Vokabular $\{\delta^*_c\}$ bereit.

Kontrollschnittstelle: Ein menschlicher Operator (oder ein automatisierter Agent) wählt in jedem Replaning-Schritt basierend auf dem aktuellen Zustand ein Kommando $u_t$ aus dem Vokabular (oder einen „No-Patch“-Zustand).
Closed-Loop-Korrektur: Im Gegensatz zu Open-Loop-Angriffen kann der Operator die Patches in Echtzeit wechseln, um Drift zu korrigieren. Die Opfer-Policy behandelt das gepatchte Bild als sauberen Input und generiert glatte Aktionssequenzen, die der vom Operator gewählten Trajektorie folgen.
Mechanismus: Der Angriff nutzt die Tatsache aus, dass die durch visuelle Konditionierung eingeführte adversarielle Bias während der iterativen generativen Inferenz bestehen bleibt und so die Policy von ihrem trainierten Verhalten weg in die vom Angreifer gewünschte Richtung steuert.

Zentrale Beiträge

Neues Adversarielles Paradigma: Das Paper führt TAKO ein und verschiebt das Ziel von der Verursachung von Policy-Versagen hin zur Erlangung einer dauerhaften, durch einen Operator steuerbaren Autorität über das Verhalten der Policy.
Steuerungsschnittstelle: Es demonstriert, dass diffusionsbasierte visuomotorische Policies eine einfache Steuerungsschnittstelle zulassen: ein voroptimiertes Vokabular aus adversariellen Patches, die online gewechselt werden können, um beliebige Trajektorien zu komponieren.
Generalisierbarkeit: Das Übernahme-Paradigma wird als aufgabenspezifisch unabhängig validiert. Es funktioniert über:
- Aufgaben: 2D-Manipulation (PushT), simulierte Luftfahrt-Lieferung (DeliverDrone), simulierte Boden-Navigation (SimNav) und physische Boden-Navigation (RealNav).
- Encoder: ResNet-18 und EfficientNet-B0 + Transformer.
- Inferenz-Familien: DDPM, DDIM und Flow Matching.

Experimentelle Ergebnisse

Die Autoren evaluierten TAKO gegenüber der TPM-Baseline und den ursprünglichen Clean-Policies über vier Aufgaben hinweg.

Versagen der Baseline: Die TPM-Baseline erreichte eine Erfolgsquote von 0 % (0/40 Versuche) über alle Aufgaben hinweg. Die Opfer-Policies konnten nicht auf die verschobenen Zielkonfigurationen generalisieren, und die statischen Referenz-Trajektorien akkumulierten Drift.
TAKO-Erfolg: Menschliche Operatoren, die die TAKO-Schnittstelle nutzten, erreichten eine Erfolgsquote von 100 % (40/40 Versuche) beim Steuern der Roboter zu vom Angreifer definierten Zielen, die nicht Teil der Trainingsverteilung waren.
Direktionale Bias: Die optimierten Patches induzierten konsistente gerichtete Biases mit Erfolgsraten zwischen ~65 % und 100 %, abhängig von der Aufgabe und der Inferenzmethode, was bestätigt, dass die Patches als wiederverwendbares Aktions-Vokabular fungieren.
Physische Realisierbarkeit: Der Angriff wurde erfolgreich auf einer physischen iRobot Create 3 Plattform (RealNav) demonstriert, was beweist, dass die Schwachstelle über die Simulation hinausgeht.

Bedeutung und Ansprüche

Das Paper behauptet, dass TAKO einen kritischen Wechsel von einem Sicherheitsproblem (Verhinderung von versehentlichem Versagen) zu einem Security-Problem (Verhinderung unbefugter Übernahmen) darstellt.

Strukturelle Vulnerabilität: Die Ergebnisse legen nahe, dass die durch visuelle Konditionierung eingeführte adversarielle Bias ausreichend lange während der generativen Inferenz bestehen bleibt, um eine dauerhafte Steuerung zu unterstützen. Diese Schwachstelle ist inhärent in der Architektur von Diffusions-Policies, die auf visueller Konditionierung basieren, unabhängig vom spezifischen Denoising-Algorithmus.
Limitierungen: Die Autoren merken an, dass ihre Experimente eine White-Box-Zugriff für die Offline-Optimierung und eine digitale Injektion der Patches voraussetzen. Sie räumen ein, dass die Realisierung einer solchen Übernahme mittels physischer Patches oder Black-Box-Optimierung ein zukünftiger Forschungsgegenstand bleibt.
Implikationen: Die Arbeit motiviert die Notwendigkeit stärkerer Evaluierungsmethoden, Abwehrmechanismen (wie Input-Space Anomaly Detection oder zertifizierte Robustheit auf visuellen Encodern) und Sicherheitsmechanismen für generative Roboter-Policies unter interaktiver adversarieller Kontrolle. Die Autoren betonen, dass die notwendigen Komponenten für solche Angriffe (universelle adversarielle Patches, differenzierbare Diffusions-Inferenz) bereits in der öffentlichen Literatur vorhanden sind, was sie zu einer plausiblen Bedrohung für motivierte Akteure macht.