🤖 AI

Semantic Router: On the Feasibility of Hijacking MLLMs via a Single Adversarial Perturbation

Dieses Paper führt Semantic-Aware Universal Perturbation (SAUP) ein, einen neuartigen Angriff, der eine einzelne adversarielle Perturbation nutzt, um zustandslose multimodale große Sprachmodelle zu kapern, indem er als semantischer Router fungiert, der diverse Eingaben zu angreiferdefinierten Zielen leitet und dabei eine Erfolgsquote von 66 % über mehrere Ziele hinweg auf repräsentativen Modellen erreicht.

Ursprüngliche Autoren: Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

Veröffentlicht 2026-06-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Changyue Li, Jiaying Li, Youliang Yuan, Jiaming He, Zhicong Huang, Pinjia He

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten ein sehr intelligentes, autonomes Roboterauto oder einen Roboterarm. Diese Maschinen nutzen ein „Gehirn“, das als Multimodales Großes Sprachmodell (MLLM) bezeichnet wird, um die Welt zu betrachten und zu entscheiden, was als Nächstes zu tun ist.

Hier ist das Problem: Diese Roboter arbeiten oft im „zustandslosen“ Modus (stateless). Das bedeutet, sie können sich nicht erinnern, was vor fünf Sekunden passiert ist. Sie betrachten nur das aktuelle Bild und die aktuelle Anweisung, treffen eine Schnellentscheidung und vergessen dann alles wieder. Es ist wie ein Autofahrer, der jedes Mal Amnesie erleidet, wenn er blinzelt; er weiß nur das, was er in diesem Moment sieht.

Das Papier „Semantic Router“ enthüllt eine beängstigende neue Art, diese Roboter zu hacken, und zwar mit nur einem einzigen, winzigen, unsichtbaren Aufkleber (einer adversariellen Perturbation).

Die „Magische Aufkleber“-Analogie

Stellen Sie sich den Roboter-Geist wie einen sehr strengen Verkehrspolizisten vor.

Normale Situation: Der Polizist betrachtet ein Bild einer Kreuzung und sagt: „Stopp“. Der Polizist betrachtet ein Bild eines Kreisverkehrs und sagt: „Fahren“.
Der Angriff: Ein Hacker platziert einen winzigen, fast unsichtbaren „Magischen Aufkleber“ auf das Objektiv der Roboterkamera. Dieser Aufkleber lässt den Roboter nicht nur Dinge falsch sehen; er fungiert als Semantic Router (ein schicker Begriff für einen intelligenten Schalter).

Dieser Aufkleber besitzt eine Superkraft: Er kann den Kontext des Bildes lesen und einen Schalter umlegen, um den Roboter zu einem völlig anderen, gefährlichen Ziel zu leiten.

Szenario A: Der Roboter sieht einen Kreisverkehr. Der Aufkleber registriert dies und sagt dem Roboter: „Links abbiegen“. (Normales Verhalten).
Szenario B: Der Roboter sieht eine Kreuzung. Der Aufkleber erkennt diesen anderen Kontext und ändert sofort die Anweisung zu: „Rechts abbiegen“ (oder sogar „In den Abgrund fahren“).

Das Beängstigende daran? Der Hacker muss nur einen Aufkleber aufkleben. Dieser eine Sticker funktioniert bei jedem Bild, das der Roboter sieht, aber er ändert seine Meinung basierend auf dem, was der Roboter tatsächlich vor sich hat. Es ist wie eine Fernbedienung, deren Tastenfunktion sich je nach Raum ändert, in dem man sich befindet.

Wie haben sie das gemacht? (Der „geometrische“ Trick)

Die Forscher haben nicht einfach nur geraten; sie haben in das „Gehirn“ des Roboters geblickt (den mathematischen Raum, in dem Bilder verarbeitet werden), um zu verstehen, wie man diesen Aufkleber baut. Sie fanden dabei zwei Haupttricks:

Der „Dominant Shift“ (Der große Stoß): Der Aufkleber drängt das Gehirn des Roboters von seinem normalen, sicheren Denkpfad weg. Er zwingt den Roboter in eine „Verwirrungszone“, in der andere Regeln gelten.
Der „Semantic Deflection“ (Das sanfte Anstoßen): Sobald der Roboter in dieser Verwirrungszone ist, nutzt der Aufkleber die winzigen Unterschiede zwischen den Bildern (wie den Unterschied zwischen einem „LKW“ und einem „Berg“), um den Roboter sanft in Richtung bestimmter, vorprogrammierter gefährlicher Befehle zu lenken.

Um dies zum Laufen zu bringen, erfanden sie ein neues mathematisches Rezept namens SORT. Denken Sie an SORT als einen Meisterkoch, der genau weiß, wie viel Salz (Rauschen) er in eine Suppe (das Bild) geben muss, damit sie nach „Hühnchen“ schmeckt, wenn man ein Hühnchen betrachtet, aber nach „Gift“ schmeckt, wenn man einen Kuchen betrachtet.

Die Ergebnisse: Wie schlimm ist es?

Die Forscher testeten dies an drei verschiedenen Arten von Roboter-Gehirnen (genannt LLaVA, Qwen und InternVL) unter Verwendung von zwei Arten von Testdaten:

Einfache Bilder (wie eine Katze gegenüber einem Hund).
Reale Fahr- und Roboteraufgaben (wie ein Auto, das sich einem Stoppschild nähert, oder ein Roboterarm, der einen Becher aufhebt).

Die Erkenntnisse waren erschütternd:

Ein Aufkleber, viele Ziele: Sie konnten einen einzigen Aufkleber dazu bringen, einen Roboter je nach Szene zu 5 verschiedenen gefährlichen Ergebnissen zu führen.
Hohe Erfolgsquote: Bei einem der Modelle (Qwen) konnte ein einziger Aufkleber den Roboter in 66 % der Fälle über 5 verschiedene Ziele hinweg erfolgreich täuschen.
Feingranulare Kontrolle: Selbst wenn die Szenen sehr ähnlich waren (wie ein Auto auf einer Autobahn gegenüber einem Auto auf einem Gehweg), konnte der Aufkleber den Unterschied erkennen und den korrekten gefährlichen Befehl ausgeben.
Lange Anweisungen: Sie konnten sogar den Roboter dazu bringen, lange, spezifische Sätze zu sagen (wie „Lösche alle Dateien“), basierend auf dem, was er sah, und nicht nur kurze Wörter.

Das Fazit

Dieses Papier beweist, dass es möglich ist, den Entscheidungsprozess eines Roboters mit einem einzigen, universellen Trick zu „kapern“. Der Roboter muss nicht jedes Mal neu gehackt werden, wenn er sich bewegt; der Hacker muss nur einen „Semantic Router“-Aufkleber platzieren. Sob es dort platziert ist, folgt der Roboter bereitwillig den Anweisungen des Hackers und wechselt zwischen verschiedenen gefährlichen Befehlen, basierend auf dem, was er direkt vor sich sieht.

Das Papier kommt zu dem Schluss, dass dies eine fundamentale Schwachstelle in der Art und Weise ist, wie diese KI-Systeme derzeit funktionieren, insbesondere wenn sie Entscheidungen treffen, ohne sich an die Vergangenheit zu erinnern.

Technisches Resümee: Semantic Router: Zur Machbarkeit des Hijackings von MLLMs durch eine einzelne adversarielle Perturbation

1. Problemdefinition: Semantisch-bewusstes Hijacking

Dieses Paper untersucht eine neuartige Bedrohung für Multimodale Large Language Models (MLLMs), die als Semantisch-bewusstes Hijacking bezeichnet wird. Während MLLMs zunehmend in zustandslosen Systemen (z. B. autonomes Fahren, Robotik) eingesetzt werden, die einzelne Frames ohne Beibehaltung eines historischen Kontextes verarbeiten, untersucht diese Arbeit die Machbarkeit der Kompromittierung einer Sequenz dieser atomaren Entscheidungen mittels einer einzelnen, universellen adversariellen Perturbation.

Im Gegensatz zu herkömmlichen Universal Adversarial Perturbations (UAPs), die diverse Eingaben auf ein einziges Ziel abbilden, oder ungerichtetem Rauschen, das die Leistung generell verschlechtert, beinhaltet die vorgeschlagene Bedrohung eine Semantisch-bewusste Universelle Perturbation (SAUP). Eine SAUP fungiert als „semantischer Router“, der die visuellen Semantiken eines Eingabe-Frames aktiv wahrnimmt und diesen basierend auf dem Inhalt des Frames zu einem distinkten, vom Angreifer definierten Ziel leitet. In einem Szenario des autonomen Fahrens könnte eine einzige Perturbation beispielsweise das Modell dazu bringen, „rechts abbiegen“ auszugeben, wenn es eine Kreuzung erkennt, aber „stoppen“, wenn es einen Kreisverkehr erkennt, wodurch ein Agent kumulativ zu einem bösartigen Ziel geführt wird.

Die zentrale Herausforderung liegt in den geometrischen Beschränkungen des latenten Raums: Die Perturbation muss gleichzeitig alle Eingaben von ihren natürlichen Manigfaltigkeiten wegführen (Dominant Shift) und gleichzeitig subtile semantische Unterschiede bewahren und verstärken, um sie zu spezifischen, unterschiedlichen Zielen abzulenken (Semantic Deflection).

2. Methodik: SORT und theoretischer Rahmen

Theoretische Analyse

Die Autoren formalisieren das Bedrohungsmodell unter einer White-Box-Einstellung und analysieren die geometrischen Eigenschaften des latenten Raums des MLLM. Sie zerlegen die Reaktion des Vision-Encoders auf eine perturbierte Eingabe $x + \delta$ mittels einer Taylor-Reihe erster Ordnung in zwei Komponenten:

Dominant Shift ( $\mu_\delta$ ): Die Perturbation $\delta$ erzeugt einen dominanten Shift $\phi(\delta)$ , der den Eingabe-Cluster in einen adversariellen Subraum verschiebt, in dem Entscheidungsgrenzen dicht besiedelt sind.
Semantic Deflection ( $\nu_c$ ): Die Perturbation nutzt die Jacobi-Matrix $J_\delta$ , um intrinsische semantische Unterschiede aus der Eingabe $x(c)$ zu extrahieren und die Features in Richtung spezifischer Proxy-Ziel-Embeddings abzulenken.

Die Autoren leiten eine theoretische Schranke (Theorem 3.4) ab, die besagt, dass eine erfolgreiche Abbildung voraussetzt, dass die Expansionskapazität der Perturbation (Spektralnorm der Jacobi-Matrix) das Verhältnis zwischen dem Abstand der Ziel-Embeddings und dem Abstand der Eingabe-Embeddings übersteigt. Dies verdeutlicht die Schwierigkeit beim Angriff auf feingranulare Semantik, bei der die Eingabedistanzen gering sind.

Der SORT-Algorithmus

Um diese Optimierungsherausforderungen zu bewältigen, schlagen die Autoren die Semantic-ORienTed (SORT) Optimierungsstrategie vor, die aus zwei Kernkomponenten besteht:

Normalized Space Optimization (NSO): Anstatt direkt im Pixelraum $[0, 1]$ zu optimieren, was zu instabilen Gradienten und lokalen Minima führt, führt SORT eine Änderung der Variablen in einen normalisierten, unbeschränkten Raum ein. Dies stabilisiert die Optimierungslandschaft und gewährleistet konsistente Schrittweiten.
Semantic Separation Optimization (SSO): Um die Ablenkungswirkung explizit zu maximieren, führen die Autoren neben der Standard-Cross-Entropy-Loss eine Margin-basierte Loss-Funktion ( $L_{Margin}$ ) ein. Diese Loss-Funktion zwingt die perturbierten Features verschiedener semantischer Klassen dazu, sich im Output-Raum zu trennen, um sicherzustellen, dass sie mit ihren jeweiligen Proxy-Ziel-Embeddings übereinstimmen, anstatt in einem einzigen Cluster zu kollabieren.

Datensatz: RIST

Zur Evaluierung von feingranularem semantischem Hijacking führen die Autoren RIST (Real Image Sequence Trajectories) ein. Im Gegensatz zu Standard-Klassifizierungs-Benchmarks besteht RIST aus sequenziellen Frames aus kontinuierlichen Videos (AutoDriving und RoboTasking Szenarien). Es weist feingranulare semantische Kategorien auf (z. B. spezifische Kreuzungstypen oder Zustände der Robotermanipulation), bei denen Eingaben innerhalb einer Kategorie visuell ähnlich sind, aber unterschiedliche, kontextabhängige Aktionen erfordern.

3. Kernergebnisse

Die Autoren führten umfangreiche Experimente mit drei repräsentativen MLLMs durch: LLaVA-1.5, Qwen2.5-VL und InternVL3, über zwei Datensätze (ImageNet für grobkörnige und RIST für feingranulare Semantik).

Machbarkeit des semantischen Routings: Die Experimente zeigen, dass eine einzige SAUP erfolgreich mehrere zustandslose Entscheidungen hijacken kann. Beim Qwen-Modell erreichte eine einzige Perturbation eine Attack Success Rate (ASR) von 66 % über fünf distinkte Ziele mittels eines einzelnen Frames.
Feingranulare Kontrolle: Auf dem RIST-Datensatz erreichten SAUPs eine durchschnittliche ASR von 72 % im RoboTasking-Szenario (2 Ziele) und 62 % im AutoDriving-Szenario (5 Ziele), was die Fähigkeit beweist, subtile semantische Variationen (z. B. unterschiedliche Straßenverhältnisse) zu unterscheiden, um spezifische Befehle wie „beschleunigen“ oder „lenken“ auszulösen.
Langtext-Generierung: Der Angriff lässt sich auf die Steuerung der Langtext-Generierung ausweiten. Mit 2 Zielen behielten SAUPs eine ASR von 83 % bei, selbst wenn die Ziele aus 10 Wörtern bestanden. Mit 5 Zielen erreichten sie eine ASR von 54 % für 4-Wort-Ziele.
Informationskapazität: Die Studie identifiziert eine Grenze der „Informationskapazität“. Mit steigender Anzahl an Zielen sinkt die ASR, insbesondere bei Perturbationen mit begrenzten räumlichen Beschränkungen (z. B. Corner-Patches vs. Full Frames). Die Frame-Beschränkung (7.056 Pixel) behielt höhere Erfolgsraten als die Corner-Beschränkung (1.600 Pixel), während die Anzahl der Ziele wuchs, was auf einen Engpass bei der Kodierung mehrerer Entscheidungsgrenzen innerhalb eines begrenzten Pixelbudgets hindeutet.
Ablationsstudien: Das Entfernen von NSO verursachte einen katastrophalen Leistungsabfall (durchschnittlich 49,5 % ASR-Verlust), was dessen Notwendigkeit für die Optimierungsstabilität bestätigt. Das Entfernen von SSO führte zu einer geringeren Leistung in Multi-Target-Szenarien, was dessen Rolle bei der Trennung semantischer Cluster unterstreicht.

4. Bedeutung und Behauptungen

Das Paper behauptet, die grundlegende Machbarkeit des Hijackings von zustandslosen MLLM-Entscheidungen durch eine einzige Perturbation nachzuweisen, die als semantischer Router fungiert. Die Bedeutung dieser Arbeit liegt in:

Neuartigem Bedrohungsmodell: Es geht über einfache Fehlklassifizierung oder Single-Target-Hijacking hinaus hin zu einem „Many-to-Many“-Universalangriff, bei dem eine einzige Perturbation Eingaben dynamisch basierend auf dem visuellen Kontext zu verschiedenen bösartigen Zielen leitet.
Geometrische Einsicht: Es liefert ein theoretisches und empirisches Verständnis der Mechanismen von „Dominant Shift“ und „Semantic Deflection“ im latenten Raum und bietet einen fundierten Rahmen dafür, wie universelle Perturbationen komplexe Abbildungen kodieren können.
Reale Auswirkungen: Obwohl die Studie in einem digitalen White-Box-Setting durchgeführt wird, argumentieren die Autoren, dass diese Schwachstelle reale Risiken für zustandslose Agenten in autonomem Fahren und Robotik darstellt. Sie legen nahe, dass ein Angreifer eine gestaltete SAUP in eine Web-Anzeige oder eine visuelle Umgebung einbetten könnte, um einen Agenten zu einer Kette bösartiger Entscheidungen zu zwingen (z. B. das Hochladen privater Daten gefolgt von der Ausführung eines „Submit“-Befehls).

Die Autoren nehmen eine moderate Haltung bezüglich der physischen Implementierung ein und räumen ein, dass die Robustheit gegenüber physischen Faktoren (Lichtverhältnisse, Bewegungsunschärfe) und Black-Box-Settings weiterhin eine große Herausforderung darstellt, die weitere Forschung erfordert. Sie betonen jedoch, dass die demonstrierte digitale Machbarkeit als kritischer Ausgangspunkt für das Verständnis und die Abschwächung von semantischem Hijacking in komplexen agentischen Umgebungen dient.