🤖 machine learning

Attacking the Trusted Imagination: Oracle-Level Integrity Attacks on Imagine-then-Act World Models

Diese Arbeit identifiziert die „vertrauenswürdige Vorstellungskraft“ (trusted imagination) in Imagine-then-Act-Weltmodellen als eine kritische Schwachstelle, bei der Angreifer zukünftige latente Trajektorien leicht korrumpieren können, um Sicherheitssysteme zu umgehen und Aufgabenfehler zu verursachen, während sie gleichzeitig einen parameterfreien Denoiser-Detektor vorschlägt, der eine perfekte Detektion gegen solche Off-Manifold-Perturbationen erreicht.

Ursprüngliche Autoren: Linghan Chen, Kaiyan Ji, Minyu Guo

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Linghan Chen, Kaiyan Ji, Minyu Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Der „Vertrauenswürdige Traum“

Stellen Sie sich einen Roboter vor, der nicht nur auf das reagiert, was er gerade sieht, sondern zuerst davon träumt, was in den nächsten Sekunden passieren wird. Er erstellt einen mentalen Film (einen sogenannten „Imagination“) der Zukunft, überprüft diesen Film und entscheidet dann basierend auf diesem Traum, was er tun soll.

Dieses Paper argumentt, dass während der tatsächliche Körper des Roboters (seine „reaktive Policy“) robust und schwer zu täuschen ist, sein Traum unglaublich zerbrechlich ist. Wenn man den Traum manipulieren kann, kann man den Roboter dazu bringen, eine schreckliche Entscheidung zu treffen, selbst wenn der Körper des Roboters noch perfekt funktioniert.

Die zwei Arten von Robotern

Die Autoren erklären, dass es zwei Wege gibt, wie ein Roboter diese Träume nutzt:

Der „reaktive“ Roboter (Der Sichere):
- Wie er funktioniert: Er träumt zwar von der Zukunft, nutzt den Traum aber nur als schnellen Hinweis. Er prüft ständig die reale Welt, um zu sehen, ob sein Traum richtig war. Wenn der Traum sagt „spring“, aber die reale Welt sagt „da ist eine Wand“, ignoriert der Roboter den Traum und stoppt.
- Das Ergebnis: Selbst wenn ein Angreifer den Traum manipuliert, ist der Roboter sicher. Er ignoriert einfach den schlechten Traum und arbeitet weiter. Das Paper bezeichnet dies als „Nullergebnis“ – es ist langweilig, weil dem Roboter bei seiner eigentlichen Aufgabe nichts Schlimmes passiert.
Der „Oracle“-Roboter (Der Verwundbare):
- Wie er funktioniert: Dieser Roboter betrachtet seinen Traum als die absolute Wahrheit. Er prüft die reale Welt nicht, bevor er handelt. Er fragt: „Was sagt mein Traum, was passieren wird?“ und handelt dann nach dieser Vorhersage. Dies ist wie ein Sicherheitsgate, das sagt: „Wenn der Traum ‚sicher‘ sagt, öffnen wir die Tür“, ohne nach draußen zu schauen.
- Das Ergebnis: Dies ist die Schwachstelle. Wenn man den Traum korrumpiert, handelt der Roboter auf Basis einer Lüge. Das Paper zeigt, dass für diesen Typ von Roboter eine winzige, fast unsichtbare Änderung des Kamera-Inputs ausreicht, um eine erfolgreiche Aufgabe in ein totales Scheitern zu verwandeln.

Der Angriff: Den Traum manipulieren

Die Forscher fanden einen Weg, diesen „Träumprozess“ zu hacken.

Die Methode: Sie fügen dem Bild, das der Roboter sieht, eine winzige, unsichtbare Menge an „Rauschen“ (Störsignal) hinzu. Da das Gehirn des Roboters mit Mathematik aufgebaut ist, die glatte Berechnungen ermöglicht (differenzierbar), können die Forscher eine Technik namens Projected Gradient Descent verwenden.
Die Analogie: Stellen Sie sich vor, der Traum des Roboters ist eine Karte. Die Forscher müssen nicht die ganze Karte neu zeichnen; sie müssen nur den Startpunkt leicht verschieben. Da die Karte zusammenhängend ist, verschiebt dieser winzige Stoß den gesamten vorhergesagten zukünftigen Pfad.
Die Asymmetrie (Die Kernerkenntnis):
- Den Traum zu brechen ist einfach: Es ist sehr leicht, den Traum an einen „falschen“ Ort zu drücken. Die Forscher fanden heraus, dass sie den Traum 60-mal effektiver korrumpieren konnten als durch das bloße Hinzufügen von zufälligem Rauschen. Der Traum wird zu einem verschwommenen, sinnlosen Durcheinander.
- Den Traum zu steuern ist schwer: Es ist sehr schwierig, den Traum dazu zu zwingen, eine spezifische neue Szene zu zeigen (z. B. den Roboter träumen zu lassen, er sei in einer Küche, obwohl er eigentlich in einer Garage ist). Der Traum wehrt sich dagegen, präzise gelenkt zu werden. Es ist, als würde man versuchen, einen schweren Felsbrocken gezielt an einen bestimmten Punkt einen Hügel hinaufzuschieben; man kann ihn leicht vom Weg abbringen, aber man kann ihn nicht perfekt zielen.

Die Verteidigung: Der „Spürhund“

Da die Forscher wissen, dass ein korrumpierter Traum „falsch“ aussieht (er verlässt den natürlichen Pfad der Realität), haben sie einen Detektor gebaut.

Wie er funktioniert: Sie nutzen einen „Denoiser“ (ein Werkzeug, das versucht, verschwommene Bilder zu bereinigen), um den Traum zu prüfen. Wenn der Traum eine natürliche, saubere Vorhersage ist, ist der Denoiser zufrieden. Wenn der Traum gehackt wurde, ist der Denoiser verwirrt und schlägt Alarm.
Das Ergebnis: Dieser Detektor ist unglaublich gut. Er hat 100 % der gehackten Träume erkannt (AUC 1.0).
Der Haken: Die Forscher versuchten, einen „adaptiven Angreifer“ zu bauen, der versucht, den Hack vor dem Detektor zu verbergen. Sie fanden heraus, dass der Angreifer aufhören muss zu hacken, um den Hack zu verbergen. Man kann den Traum nicht gleichzeitig korrumpieren und gleichzeitig natürlich aussehen lassen. Die Verteidigung hält stand.

Der Realitätscheck

Die Forscher testeten dies an einem spezifischen Robotersystem namens LaDi-WM, das seinen Traum nutzt, um seine Bewegungen zu planen (ein „Oracle“).

Das Ergebnis: Als sie den Traum mit einer winzigen Menge an Rauschen angriffen (so wenig, dass ein Mensch es nicht bemerken würde), stürzte die Erfolgsrate des Roboters von 70 % auf 5 % ab.
Der Vergleich: Wenn sie die gleiche Menge an zufälligem Rauschen (kein gezielter Angriff) hinzufügten, funktionierte der Roboter weiterhin gut (70 %). Dies beweist, dass der Angriff nicht nur „die Kamera kaputt gemacht“ hat, sondern gezielt die Imagination des Roboters angegriffen hat.

Zusammenfassung

Das Problem: Roboter, die ihren eigenen „Zukunftsprognosen“ vertrauen, sind verwundbar.
Der Angriff: Man kann diese Vorhersagen mit winzigen, unsichtbaren Änderungen am Input sehr leicht zerstören.
Die Verteidigung: Man kann diese zerstörten Vorhersagen leicht erkennen, da sie „unnatürlich“ aussehen.
Die Lehre: Nur weil der Körper eines Roboters robust ist, heißt das nicht, dass sein Gehirn (oder sein Planer) sicher ist. Wenn der Roboter auf einer vertrauenswürdigen Vorhersage der Zukunft basiert, ist diese Vorhersage ein neuer, gefährlicher Schwachpunkt.

Technisches Resümee: Angriff auf die vertrauenswürdige Vorstellungskraft

Problemstellung

Neuere Vision-Language-Action (VLA)-Policies nutzen zunehmend eine „Imagine-then-Act“-Architektur (erst vorstellen, dann handeln), bei der ein World-Action-Model (WAM) zuerst eine latente Trajektorie zukünftiger visueller Repräsentationen ( $\tilde{z}$ ) generiert, bevor die Aktions-Policy konditioniert wird. Während sich die bisherige Adversarial-Forschung auf Angriffe auf den Beobachtungs-zu-Aktions-Pfad reaktiver Policies konzentriert, identifiziert dieses Paper eine neue, distinkte Angriffsfläche: die vertrauenswürdige Vorstellungskraft (trusted imagination), die von nachgeschalteten Orakeln konsumiert wird.

Die Autoren argumentieren, dass während reaktive Policies in einem realen geschlossenen Regelkreis operieren, in dem Feedback aus der Umwelt Fehler korrigiert, nachgeschaltete Orakel (wie etwa Sicherheits-Gates, visuelle Model-Predictive-Control (MPC)-Planer oder „Imagine-then-Check“-Verifizierer) die imaginierte Zukunft $\tilde{z}$ als eine vertrauenswürdige Vorhersage behandeln, der es an realen korrigierenden Signalen mangelt. Folglich impliziert die Robustheit der reaktiven Policy nicht die Robustheit von Systemen, die auf der Vorstellungskraft des WAM basieren. Das Kernphänomen ist eine Asymmetrie: Die Vorstellungskraft zu korrumpieren (sie von ihrer natürlichen Mannigfaltigkeit wegzudrücken) ist einfach, aber sie präzise zu einem spezifischen Ziel auf der Mannigfaltigkeit zu steuern, ist schwer.

Methodik

Bedrohungsmodell

Die Autoren verwenden ein kapazitätsbasiertes White-Box-Bedrohungsmodell:

Angreifer-Kapazitäten: Der Angreifer hat vollen Zugriff auf das WAM und den Encoder (Kerckhoffs’sches Prinzip) und kann die aktuelle Kamera-Beobachtung $o$ mit einer $\ell_\infty$ -beschränkten Perturbation $\delta$ ( $\|\delta\|_\infty \leq \epsilon$ ) stören.
Beschränkungen: Der Angreifer kann weder die Modellgewichte modifizieren, noch Zugriff auf das Innere des Orakels nehmen oder die wahre Zukunft beobachten.
Differenzierbarkeit: Das Paper nutzt die Tatsache, dass für kontinuierliche Diffusions-basierte WAMs die Abbildung von der Beobachtung zur imaginierten Zukunft ( $o \to \tilde{z}$ ) end-to-end differenzierbar ist (keine diskrete Vektorsquantisierung oder In-Place-Cache-Schreibvorgänge), was ein echtes Projected Gradient Descent (PGD) ermöglicht.

Angriffsziele

Das Paper definiert zwei Angriffsziele (Definition 2):

Ungestielte Korruption (Untargeted Corruption): Maximiert die Divergenz zwischen der adversariellen Vorstellung $\tilde{z}_{adv}$ und der sauberen Vorstellung $\tilde{z}_{clean}$ durch Minimierung ihrer Kosinus-Ähnlichkeit. Dies zielt darauf ab, $\tilde{z}$ von der natürlichen Zukunfts-Mannigfaltigkeit wegzudrücken.
Gesteuerte Lenkung (Targeted Steering): Versucht, $\tilde{z}_{adv}$ in Richtung eines spezifischen, vom Angreifer gewählten Ziels $\tilde{z}_{tgt}$ zu treiben (z. B. eine andere Szene oder Instruktion).

Detektionsmechanismus

Die Autoren schlagen einen parameterfreien Denoiser-Selbstkonsistenz-Detektor vor. Da korrumpierte Vorstellungskraft inhärent „off-manifold“ ist (von der niedrigdimensionalen Mannigfaltigkeit natürlicher Zukünfte, die das Modell gelernt hat, abweicht), misst der Detektor die mittlere Geschwindigkeits-Vorhersage-Norm der zukünftigen Frames bei geringem Rauschen. Eine hohe Norm deutet darauf hin, dass die Probe off-manifold und wahrscheinlich korrumpiert ist. Dieser Detektor benötigt keine saubere Referenz.

Zentrale Beiträge

Neue Angriffsfläche: Der erste White-Box-Integritätsangriff auf die vertrauenswürdige Vorstellungskraft von Imagine-then-Act-WAMs. Die Autoren zeigen, dass die Abbildung von Beobachtung zu Vorstellung echte gradientenbasierte Angriffe auf die latente Zukunft ermöglicht.
Asymmetrie-Mechanismus: Das Paper etabliert, dass ungestielte Korruption signifikant einfacher ist (ca. 60-mal stärker als zufälliges Rauschen) und visuell wahrnehmbar ist, während die gezielte Lenkung auf beliebige Szenen streng begrenzt bleibt. Diese Asymmetrie wird durch die dekodierten Frames begründet, nicht nur durch die latente Kosinus-Ähnlichkeit.
Robuster Schutz: Ein parameterfreier Denoiser-Detektor erreicht eine Area Under the Curve (AUC) von 1,0 bei der Unterscheidung zwischen sauberer und adversarieller Vorstellung. Entscheidend ist, dass der Schutz gegen adaptive Angreifer besteht; ein Angreifer, der versucht, die Detektion zu umgehen, indem er auf der Mannigfaltigkeit bleibt, muss die Fähigkeit opfern, die Vorstellung zu korrumpieren.
Aufgaben-Level Null vs. Orakel-Fehlfunktion: Das Paper liefert ein „ehrliches Null-Ergebnis“, das zeigt, dass reaktive Policies gegenüber korrumpierter Vorstellungskraft robust bleiben (Erfolgsraten sinken kaum). Es demonstriert jedoch den ersten adversarienspezifischen Aufgaben-Fehler in einer nativen, imaginationsgesteuerten MPC, bei der das Vertrauen des Orakels in das korrumpierte $\tilde{z}$ zu katastrophalen Entscheidungen führt.

Experimentelle Ergebnisse

Die Studie evaluiert drei Ziele, die die Kopplung von Vorstellung und Aktion abdecken: RynnVLA-002 (getrennte Kopplung), LingBot-VA (schwache Kopplung/Orakel) und LaDi-WM (starke native Kopplung).

Ungestielte Korruption: Auf LingBot-VA erreichten ungestielte Angriffe bis zu das 60-fache der Korruption von zufälligem Rauschen. Bei $\epsilon=0,1$ stufte ein Fidelity-Verifizierer in 100 % der Fälle auf „unzuverlässig“ um, bei 0 % Falsch-Positiven. Die dekodierten Frames zeigten visuell wahrnehmbare Artefakte (Verschmieren, Ghosting).
Gesteuerte Lenkung: Während latente Kosinus-Metriken auf eine gewisse Lenkung hindeuteten, zeigten dekodierte Frames und Verifizierer, dass die Lenkung zu einer genuin anderen Szene begrenzt war. Für Cross-Scene-Ziele war die geschlossene Lücke nur ~0,2, und der Verifizierer lehnte die adversarielle Vorstellung in 0/8 Fällen korrekt ab.
Detektion: Der Denoiser-Selbstkonsistenz-Detektor erreichte eine AUC von 1,0 bei $\epsilon \geq 0,2$ . Oberflächenstatistiken (RMS, Max-Abs) konnten den Angriff nicht detektieren, was bestätigt, dass der Angriff innerhalb des $\ell_\infty$ -Budgets bleibt, aber von der Mannigfaltigkeit abweicht.
Adaptive Angreifer: Wenn Angreifer eine Loss-Funktion minimierten, die Korruption und Detektions-Score kombinierte, erforder die Umgehung der Detektion eine signifikante Reduktion der Korruption (von 0,279 auf 0,064), was beweist, dass der Schutz hält.
Aufgaben-Fehlfunktion (LaDi-WM MPC): In einem Sampling-MPC-Setup verursachte die adversarielle Korruption einen Zusammenbruch der Erfolgsrate. Bei $\epsilon=0,01$ hielt zufälliges Rauschen eine Erfolgsrate von ~0,70 (ähnlich wie bei „clean“), während der adversarielle Angriff die Erfolgsrate auf 0,05 senkte (Fisher $p < 10^{-4}$ ). Dieses „adversarienspezifische Fenster“ zeigt, dass das Vertrauen des Orakels in die Vorstellung eine einzigartige Schwachstelle schafft, die in der reaktiven Policy nicht vorhanden ist.

Bedeutung und Ansprüche

Das Paper behauptet, dass Policy-Robustheit nicht gleich System-Robustheit bedeutet, wenn das System eine vertrauenswürdige Vorstellung voraussetzt. Die zentrale These ist, dass die „vertrauenswürdige Vorstellung“ eine kritische Schwachstelle für nachgeschaltete Orakel (Planer, Verifizierer, Sicherheits-Gates) darstellt, denen korrigierende Signale aus der realen Welt fehlen.

Die Bedeutung liegt in:

Der Identifizierung, dass das „Imagine-then-Act“-Paradigma eine spezifische Angriffsfläche einführt, die sich vom Aktionspfad unterscheidet.
Dem Nachweis, dass während reaktive Policies korrumpierte interne Features tolerieren können, Systeme, die auf diesen Features als Vorhersagen handeln (Orakel), unter adversarienspezifischen Fehlern leiden.
Dem Aufzeigen, dass die inhärente „Off-Manifold“-Natur der Korruption eine hochwirksame, parameterfreie Detektion ermöglicht, selbst gegen adaptive Angreifer.

Die Autoren merken explizit Einschränkungen an: Die Evaluierung ist simulationsbasiert (LIBERO-10), die gezielte Lenkung ist begrenzt (keine beliebige Kontrolle der Szene möglich) und die Auswirkungen auf die „Verfügbarkeit“ (Abfall der Erfolgsrate) sind statistisch signifikant, aber im Vergleich zu frühen Pilot-Schätzungen moderat in ihrer Größenordnung. Die Arbeit kommt zu dem Schluss, dass die primäre Bedrohung die Korrumpierung des Entscheidungsprozesses des Orakels ist und nicht die willkürliche Übernahme der Kontrolle über das Verhalten der Policy.