🤖 machine learning

BadWAM: When World-Action Models Dream Right but Act Wrong

Dieses Paper führt BadWAM ein, ein vereinheitlichtes Framework, das demonstriert, dass World-Action Models (WAMs) anfällig für adversarielle Angriffe sind, bei denen kleine visuelle Perturbationen die imaginierte Zukunft eines Modells von seinen ausgeführten Aktionen entkoppeln können, wodurch signifikante Aufgabenfehler verursacht werden, selbst wenn die internen Vorhersagen des Modells plausibel bleiben.

Ursprüngliche Autoren: Qi Li, Xingyi Yang, Xinchao Wang

Veröffentlicht 2026-07-17

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qi Li, Xingyi Yang, Xinchao Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Der träumende Roboter und der heimliche Glitch

Stellen Sie sich einen Roboter vor, der nicht nur auf das reagiert, was er gerade sieht, sondern auch davon „träumt“, was als Nächstes passieren wird. Dies ist die Speerspitze der verkörperten KI (Embodied AI), einem Feld, in dem Computer lernen, physische Körper wie Roboterarme oder mobile Basen zu steuern. Traditionell waren Roboter wie reflexive Boxer: Sie sahen einen Schlag und setzten sofort einen Konter aus. Aber moderne „World-Action Models“ (WAMs) sind eher wie Schachgroßmeister. Bevor sie einen Zug machen, simulieren sie die Zukunft in ihrem Geist. Sie fragen sich: „Wenn ich diese Tasse greife, wird sie verschütten? Wenn ich hier auftrete, werde ich stolpern?“ Diese Fähigkeit, Konsequenzen zu imaginieren, soll Roboter sicherer und intelligenter machen, indem sie als eingebaute Sicherheitskontrolle fungiert. Wenn der Traum des Roboters von der Zukunft gefährlich aussieht, soll er anhalten und neu nachdenken.

Die große Frage, die Forscher bisher gestellt haben, lautet: Ist dieser träumende Roboter tatsächlich sicher? Wenn ein Roboter seine eigene Zukunft prüfen kann, kann ein Hacker ihn austricksen? Die Antwort ist laut einer neuen Studie ein besorgniserregendes „Ja“. Die Arbeit untersucht ein Szenario, in dem eine winzige, fast unsichtbare Veränderung des Kamerabildes des Roboters – wie ein Staubkorn oder ein subtiles Muster an einer Wand – das Gehirn des Roboters verwirren kann. Das Beängstigende ist nicht, dass der Roboter aufhört zu träumen; es ist, dass der Roboter weiter einen perfekten, sicheren Traum der Zukunft erlebt, während sein Körper etwas völlig Katastrophales tut. Es ist, als würde der Roboter davon träumen, sicher über ein Seil zu balancieren, während seine Beine in Wirklichkeit von einer Klippe treten.

Die Entdeckung der Forscher: BadWAM

Die Forscher hinter dieser Arbeit, angeführt von Qi Li und Xinchao Wang, führen eine neue Methode vor, um diese Roboter zu testen, genannt BadWAM. Stellen Sie sich BadWAM als einen „Stresstest“ für Roboterträume vor. Sie wollten sehen, ob sie einen Roboter dazu bringen könnten, bei einer Aufgabe zu scheitern, ohne dass der Roboter merkt, dass etwas nicht stimmt. Sie entdeckten eine spezifische Schwachstelle, die sie World-Action Drift nennen.

Normalerweise, wenn wir an das Hacken eines Roboters denken, stellen wir uns vor, dass man ihn Dinge sehen lässt, die nicht da sind, was ihn in Panik versetzt oder zum Einfrieren bringt. Aber BadWAM fand etwas Heimlicheres. Die Forscher zeigten, dass sie winzige visuelle Tricks nutzen konnten, um den „Traum“ des Roboters (seine Vorhersage der Zukunft) perfekt und normal aussehen zu lassen, während sie gleichzeitig seine „Aktionen“ (was er tatsächlich tut) kapern.

Die Arbeit demonstritriert zwei Hauptarten, wie dieser Angriff funktioniert, wie zwei verschiedene Geschmacksrichtungen von Ärger:

Der „Overt Hijack“ (Action-Only-Angriff): Dies ist die laute, chaotische Version. Der Angreifer manipuliert die Sicht des Roboters gerade so weit, dass dieser sofort das Falsche tut. In ihren Tests auf einem Datensatz namens LIBERO war dieser Angriff brutal. Er senkte die Erfolgsquote des Roboters von einem superzuverlässigen 96,5 % auf wackelige 43,1 %. Der Roboter versuchte, Objekte aufzuheben, stieß sie aber stattdessen um oder verfehlte sie völlig.
Der „Stealth Ghost“ (Imagination-Preserving Attack): Das ist der wirklich beängstigende Teil. Hier ist der Angreifer ein Meister der Verkleidung. Er verändert die Sicht des Roboters so, dass der Traum des Roboters von der Zukunft immer noch perfekt und sicher aussieht. Wenn man den Roboter fragen würde: „Was glaubst du, wird als Nächstes passieren?“, würde er sagen: „Ich glaube, ich werde den Block aufheben und sanft platzieren.“ Und in seinem Geist passiert genau das. Aber in der Realität greift der Roboter an die falsche Stelle oder lässt den Block fallen. Der „Traum“ und die „Aktion“ sind auseinandergedriftet. Der Roboter führt eine Katastrophe aus, während er glaubt, einen Erfolg auszuführen.

Die Forscher fanden heraus, dass dieser „Drift“ eine große Sicherheitslücke darstellt. Sie testeten dies auf verschiedenen Arten von Robotergehirnen (genannt Joint WAM und IDM WAM) und fanden, dass selbst wenn die Zukunftsprognosen des Roboters der Wahrheit sehr nahe kamen (den „Traum“ intakt hielten), der Roboter die Aufgabe dennoch nicht erfüllte. Tatsächlich fanden sie heraus, dass man den Roboter scheitern lassen konnte, während die „Future Distance“ (wie stark sich der Traum veränderte) sehr gering blieb. Dies deutet darauf hin, dass die bloße Überprüfung des „Traums“ eines Roboters nicht ausreicht, um ihn sicher zu machen.

Wie der Angriff funktioniert

Die Arbeit erklärt, dass BadWAM nicht das Geheimnis des Codes oder die internen Gewichte des Roboters kennen muss. Es arbeitet wie ein Black-Box-Tester. Der Angreifer sendet einen visuellen Input an den Roboter, sieht, welche Aktion daraus resultiert, und passt den Input dann leicht an, um zu sehen, ob er die Aktion verschlechtern kann. Dies tun sie immer wieder, wie ein Bildhauer, der an einem Steinblock behaut, bis sie ein winziges, unsichtbares Muster finden, das den Roboter zum Scheitern zwingt.

Einer der interessantesten Funde ist, wie der Roboter scheitert. Er gerät nicht sofort außer Kontrolle. Die Arbeit zeigt, dass der Roboter oft normal beginnt. Er könnte das erste Objekt erfolgreich greifen, aber im weiteren Verlauf der Aufgabe driften seine Bewegungen langsam vom Kurs ab. Es ist ein „Tod durch tausend Schnitte“-Szenario. Der Roboter stößt ein zweites Objekt um, verfehlt ein drittes und scheitert schließlich an der gesamten Mission, während seine interne Simulation darauf beharrt, dass alles nach Plan läuft.

Die Studie untersuchte auch, ob dieser Trick bei verschiedenen Robotern funktioniert. Sie fanden heraus, dass, wenn sie den Angriff auf einem Typ von Robotermodell trainierten, er oft auch auf anderen, leicht unterschiedlichen Modellen funktionierte. Dies deutet darauf hin, dass das Problem nicht nur ein Bug in einer spezifischen Software ist; es ist ein grundlegender Fehler in der Art und Weise, wie diese „träumenden“ Roboter ihre Gedanken mit ihren Handlungen verbinden.

Die Grenzen von Sicherheitskontrollen

Die Arbeit testete auch einige einfache Abwehrmethoden, wie das Weichzeichnen des Bildes oder das Hinzufügen von Rauschen zum Kamerabild, in der Hoffnung, den Trick des Hackers wegzuspülen. Obwohl einige dieser Tricks ein wenig halfen, waren sie kein Allheilmittel. Sie verhinderten den Angriff entweder nicht oder machten den Roboter sogar schlechter in seiner Arbeit, wenn er nicht angegriffen wurde. Die Forscher versuchten auch, einen „Detektor“ zu bauen, der melden würde, wenn Traum und Aktion des Roboters nicht übereinstimmen, aber dieser Detektor überging die meisten Angriffe, wenn er so eingestellt war, dass er sehr vorsichtig agierte (um Fehlalarme zu vermeiden).

Das Fazische Fazit dieser Forschung ist ein Weckruf für das Feld der Robotik. Die Idee, dass „wenn ein Roboter die Zukunft imaginieren kann, er sicher ist“, ist fragil. Die Arbeit legt nahe, dass die wahre Gefahr nicht nur darin besteht, dass der Roboter das Falsche sieht, sondern dass seine Vorstellungskraft und seine Handlungen aus dem Takt geraten können. Ein Roboter kann fest davon überzeugt sein, das Richtige zu tun, während sein Körper das Falsche tut.

In ihren Experimenten zeigten die Forscher, dass sie mit nur einem winzigen Teil an visuellem Rauschen (eine Perturbationsgröße von 0,06) einen hoch erfolgreichen Roboter in einen fehleranfälligen verwandeln konnten. Sie haben den Roboter nicht einfach nur kaputt gemacht; sie haben die Verbindung zwischen dem, was der Roboter denkt, was er tut, und dem, was er tatsächlich tut, unterbrochen. Dies bedeutet, dass für die nächste Generation sicherer Roboter Ingenieure sich nicht nur auf die Fähigkeit des Roboters verlassen können, die Zukunft vorherzusagen. Sie müssen Systeme bauen, die ständig prüfen, ob der Traum des Roboters mit seiner Realität übereinstimmt, um sicherzustellen, dass der Träumer und der Handelnde noch auf derselben Seite sind.

Technisches Resümee: BadWAM – Wenn Welt-Aktions-Modelle richtig träumen, aber falsch handeln

1. Problemstellung

Welt-Aktions-Modelle (World-Action Models, WAMs) stellen eine Verschiebung in der embodied AI dar – weg von rein reaktiven Policies hin zu Systemen, die die Generierung von Aktionen mit zukünftigen Weltprognosen koppeln. Die vorherrschende Annahme ist, dass diese Kopplung inhärente Robustheit und Sicherheit bietet: Wenn ein Roboter die Konsequenzen seiner Handlungen „vorstellen“ kann, können unsichere oder inkonsistente Verhaltensweisen vor der Ausführung erkannt werden.

Dieses Paper stellt diese Annahme infrage und identifiziert eine spezifische Schwachstelle, die als World-Action Drift bezeichnet wird. Das Kernproblem besteht darin, dass die Abstimmung zwischen der vorgestellten Zukunft eines WAM und der ausgeführten Aktion fragil ist. Ein Angreifer kann kleine, begrenzte visuelle Perturbationen einführen, um diese beiden gekoppelten Fähigkeiten zu desynchronisieren. Das Ergebnis ist ein Ausfallmodus, bei dem das Modell weiterhin plausible Zukunftsprognosen generiert (wodurch der Anschein von Sicherheit gewahrt bleibt), während es gleichzeitig Aktionen ausführt, die zum Aufgabenfehler führen. Diese Lücke macht auf Zukunftsprognosen basierende Sicherheitsüberwachungen wirkungslos, da diese eine „plausible“ Zukunft validieren können, die nicht mehr mit der tatsächlich ausgeführten Trajektorie korrespondiert.

2. Methodik: BadWAM-Framework

Die Autoren führen BadWAM ein, ein vereinheitlichtes Black-Box-Framework zur Modellierung und Evaluierung von World-Action Drift Angriffen. Das Framework operiert unter einem Bedrohungsszenario, in dem ein Angreifer die visuelle Beobachtung ( $\tilde{o}_t = \text{clip}(o_t + \delta_t)$ ) vor der Verarbeitung durch das WAM stören kann, ohne Zugriff auf Modellgradienten oder Gewichte zu haben.

BadWAM charakterisiert die Angriffsfläche entlang zweier Achsen: Angriffsstärke und Tarnung (Stealthiness). Es instanziiert zwei spezifische Angriffsziele:

A. Action-Only Adversarial Attack (Nur-Aktions-Angriff)

Dieser Angriff priorisiert die Störung. Er behandelt das WAM als abfragbaren Controller und sucht eine begrenzte visuelle Perturbation ( $\|\delta\|_\infty \le \epsilon$ ), welche die Abweichung zwischen dem sauberen Aktions-Chunk ( $a$ ) und dem angegriffenen Aktions-Chunk ( $a^\delta$ ) maximiert:
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} D_{\text{act}}(a^\delta_{t:t+H-1}, a_{t:t+H-1})$
Dieser Angriff ignoriert den Zustand der vorgestellten Zukunft und konzentriert sich ausschließlich darauf, den Roboter zu aufgabenfehlenden Aktionen zu treiben.

B. Imagination-Preserving Adversarial Attack (Imaginations-erhaltender Angriff)

Dieser Angriff priorisiert die Tarnung. Er zielt auf Systeme ab, bei denen Zukunftsprognosen Sicherheitsmonitoren oder Planern offengelegt werden. Das Ziel ist es, schädliche Aktionsverschiebungen zu induzieren, während die vorhergesagte Zukunft ( $z^\delta$ oder $v^\delta$ ) nahe an der sauberen Imagination ( $z$ oder $v$ ) bleibt. Dies wird als Lagrange-Relaxierung formuliert:
$\delta^*_t = \arg \max_{\|\delta_t\|_\infty \le \epsilon} \left( D_{\text{act}}(a^\delta, a) - \lambda D_{\text{img}}(z^\delta, z) \right)$
Hierbei steuert $\lambda$ den Kompromiss zwischen Angriffsstärke und Tarnung. Ein erfolgreicher Angriff in diesem Regime führt dazu, dass ein Roboter eine sichere Zukunft „träumt“, aber destruktiv „handelt“.

Optimierungsstrategie

BadWAM verwendet zeroth-order Online-Optimierung. Bei jedem Replanning-Schritt behandelt der Angreifer das eingefrorene WAM als Black Box. Mittels Finite-Differenzen-Abfragen schätzt es den Gradienten der Zielfunktion in Bezug auf die Perturbation $\delta$ und aktualisiert die Perturbation mittels Projected Gradient Descent. Dieser Ansatz erfordert keinen Zugriff auf Modellparameter oder Trainingsdaten.

3. Zentrale Beiträge

Identifikation von World-Action Drift: Das Paper definiert eine neue Angriffsfläche, die spezifisch für WAMs ist, bei der Aktionsausgaben gezielt manipuliert werden können, während die vorhergesagten Zukünfte visuell plausibel bleiben.
BadWAM-Framework: Das Design eines vereinheitlichten Frameworks mit zwei Instanziierungen:
- Action-only attacks: Zur Maximierung der Ausführungsstörung.
- Imagination-preserving attacks: Um Fehler zu verursachen, während plausible vorhergesagte Zukünfte erhalten bleiben, was die Grenzen zukünftiger Sicherheitsprüfungen aufzeigt.
Umfassende Evaluierung: Eine umfangreiche Evaluierung auf geschlossenen Roboter-Manipulationsaufgaben (LIBERO und RoboTwin), die eine erhebliche Aufgaben-Degradation unter begrenzten visuellen Perturbationen demonstriert.
Diagnostische Analyse: Detaillierte Einblicke in die Angriffsdynamik, einschließlich Channel-level Shifts (die kontinuierliche Aktionskanäle und spätere Horizonte betreffen), des Trade-offs zwischen Zukunftserhaltung und Angriffsstärke sowie der Transferierbarkeit von Angriffen auf verschiedene WAM-Varianten.

4. Experimentelle Ergebnisse

Die Autoren evaluierten BadWAM auf drei WAM-Varianten (Action-only, Joint und IDM WAM) über die LIBERO- und RoboTwin-Benchmarks hinweg.

Reduktion des Aufgabenerfolgs: Die Angriffe degradieren die Performance signifikant. Für das Action-only WAM auf LIBERO reduzierte der Action-only Angriff den Aufgabenerfolg von 96,5 % auf 43,1 % (ein Rückgang um 53,4 %). Auch Joint- und IDM WAMs verzeichneten unter Action-only Angriffen Rückgänge von 30–36 %.
Tarnung (Stealthiness): Der imaginationserhaltende Angriff konnte eine starke Angriffsleistung beibehalten (z. B. Reduktion des Erfolgs auf ~63 % für das Joint WAM), während die Distanz der vorhergesagten Zukunft zum sauberen Rollout gering blieb. Dies bestätigt, dass Sicherheitsmonitore, die ausschließlich auf der Plausibilität der Zukunft basieren, diese Angriffe nicht erkennen würden.
Systematisches Versagen: Die Fehler waren nicht zufällig, sondern systematisch, insbesondere bei räumlichen und langfristigen Aufgaben (long-horizon tasks), bei denen sich kleine Aktionsfehler über die Zeit akkumulieren. Der Angriff induzierte einen progressiven Drift statt eines sofortigen katastrophalen Fehlers.
Transferierbarkeit: Perturbationen, die für eine WAM-Variante optimiert wurden, transferierten effektiv auf andere (z. B. Joint $\to$ IDM), was darauf hindeutet, dass es sich um gemeinsame Sensitivitätsrichtungen im Beobachtungsraum handelt und nicht um modellspezifisches Overfitting.
Grenzen der Verteidigung: Einfache nicht-adaptive Abwehrmaßnahmen (Gaussian Blur, JPEG-Rauschen) milderten die Angriffe teilweise ab, jedoch auf Kosten der Clean-Performance oder einer unvollständigen Protektion. Augmentation-Consistency-Detektoren zeigten eine geringe Recall-Rate bei praktischen False-Positive-Raten, was darauf hindeutet, dass aktuelle Detektionsmethoden unzureichend sind.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die Kopplung von Aktion und Weltprognose in WAMs, die oft als Sicherheitsmerkmal gepriesen wird, eine einzigartige Schwachstelle einführt. Die primäre Bedeutung liegt in dem Nachweis, dass Zukunftsprognose allein kein zuverlässiges Sicherheitssignal ist.

Die Autoren argumentieren, dass das sicherheitskritische Objekt nicht die Aktion oder die Imagination isoliert betrachtet werden darf, sondern deren Abstimmung (Alignment). Ein WAM kann so manipuliert werden, dass es desynchronisierte Aktionen ausführt, die zum Aufgabenfehler führen, während es eine „plausible“ vorgestellte Zukunft beibehält. Dieser Befund impliziert, dass Sicherheitsmechanismen für Embodied AI über die Prüfung der Plausibilität vorgestellter Zukünfte hinausgehen müssen; sie müssen explizit die Synchronisation zwischen der vorgestellten Trajektorie und der ausgeführten Aktion unter adversen Bedingungen verifizieren. Das Paper schließt mit der Feststellung, dass BadWAM ein notwendiges Diagnoseprotokoll zur Evaluierung der wahren Robustheit von Welt-Aktions-Modellen bereitstellt.