🤖 AI

Vision Token Manipulation Attacks on Cloud-Edge Inference of Large Vision-Language Models

Diese Arbeit enthüllt eine kritische Schwachstelle bei der Cloud-Edge-Inferenz von Large Vision-Language-Modellen (LVLM), indem sie demonstriert, dass ein Black-Box-Angreifer lediglich 10 % der übertragenen Vision-Token manipulieren kann, um die Modellgenauigkeit bei verschiedenen hochmodernen Modellen um bis zu 88,31 % zu reduzieren.

Ursprüngliche Autoren: Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zikai Zhang, Rui Hu, Olivera Kotevska, Jiahao Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Assistenten (ein Large Vision-Language Model), der in einem riesigen, leistungsstarken Rechenzentrum in der „Cloud“ lebt. Sie jedoch befinden sich auf einem kleinen, batteriebetriebenen Gerät wie einem Smartphone oder einer intelligenten Kamera am „Edge“.

Um den Roboter nach Fragen zu einem von Ihnen aufgenommenen Bild zu fragen, senden Sie nicht das ganze, schwere Bild in die Cloud. Stattdessen führt Ihr Telefon einen schnellen, leichtgewichtigen Scan durch und verwandelt das Bild in einen Satz digitaler „Notizen“, die Vision Tokens genannt werden. Diese Notizen werden dann über das Internet an die Cloud gesendet, wo das große Gehirn die Arbeit vollendet und eine Antwort zurückschickt.

Die neue Schwachstelle: Der Bote

Das Paper argumentiert, dass dieser „Übergabeprozess“ zwischen Ihrem Telefon und der Cloud eine neue, gefährliche Schwachstelle schafft. Stellen Sie sich die Internetverbindung als einen Boten vor, der zwischen Ihnen und dem Roboter hin und her läuft.

Die Forscher entdeckten, dass ein Hacker (ein Adversary), der sich mitten auf diesem Pfad befindet, diese digitalen Notizen abfangen kann. Er muss nicht in das Gehirn des Roboters einbrechen oder Ihr Telefon hacken; er muss lediglich die Notizen manipulieren, während sie transportiert werden.

Der Angriff: „Vision Token Manipulation“

Die Forscher bezeichnen dies als einen VTM-Angriff (Vision Token Manipulation Attack). Sie testeten vier verschiedene Arten, wie ein Hacker diese Notizen manipulieren könnte, selbst wenn er nur einen winzigen Bruchteil davon verändern konnte (nur 10 %):

Das Mischen (Permutation): Stellen Sie sich die Notizen wie ein Kartendeck vor, das ein Bild beschreibt. Der Hacker vertauscht die Reihenfolge einiger Karten. Der Roboter sieht immer noch dieselben Karten, aber die Geschichte, die sie erzählen, ist nun durcheinander und verwirrend.
Das Radieren (Masking): Der Hacker nimmt einige Notizen und verwandelt sie in leeres Papier (Nullen). Es ist, als würde man ein Foto betrachten, bei dem einige entscheidende Puzzleteile plötzlich fehlen.
Das Rauschen (Gaussian Perturbation): Der Hacker fügt den Notizen ein wenig „Rauschen“ oder statisches Signal hinzu, was sie leicht verschwommen oder verzerrt macht, wie ein Radiosignal mit Interferenzen.
Das Umkehren (Sign Flip): Dies war am zerstörerischsten. Stellen Sie sich vor, eine Notiz sagt „Rot“. Der Hacker kehrt sie so um, dass sie „Nicht Rot“ oder die exakt entgegengesetzte Richtung im Geist des Roboters bedeutet. Es ist, als würde man eine Landkarte nehmen und den Nordpfeil so drehen, dass er nach Süden zeigt. Der Roboter ist völlig orientierungslos.

Die Ergebnisse: Ein Kartenhaus

Das Team testete dies an sechs der klügsten Vision-Roboter, die heute verfügbar sind (von kleinen bis zu massiven Modellen). Die Ergebnisse waren schockierend:

Winzige Änderungen, riesige Abstürze: Durch die Änderung von nur 10 % der Notizen konnten sie die Intelligenz des Roboters zum Einsturz bringen.
Das „Umkehren“ war tödlich: In einigen Fällen reduzierte der „Sign Flip“-Angriff die Genauigkeit des Roboters von fast 88 % auf nahezu 0 %. Es ist, als ob ein kluger Mensch plötzlich verlernt hätte zu lesen oder zu sehen, nachdem er nur ein einziges, subtiles Flüstern in sein Ohr erhalten hat.
Nicht alle Roboter sind gleich: Einige Robotermodelle (wie die Qwen-Familie) brachen fast augenblicklich unter diesen Angriffen zusammen. Andere (wie die InternVL-Familie) waren etwas robuster, aber dennoch verwundbar.

Der „intelligente“ Hack

Die Forscher fanden auch einen Weg, den Angriff noch schlimmer zu machen. Anstatt die Notizen zufällig auszuwählen, nutzten sie eine mathematische Methode, um die wichtigsten Notizen (diejenigen, auf die der Roboter am meisten angewiesen ist) zu finden und zielte speziell auf diese ab. Dies bewirkte, dass der Roboter noch schneller versagte.

Das Fazrtit

Das Paper kommt zu dem Schluss, dass die Aufteilung der Arbeit zwischen Ihrem Telefon und der Cloud zwar effizient ist, aber eine Tür für Hacker öffnet, um das System durch Manipulation der Daten während des Transports zu sabotieren. Selbst eine kleine, gezielte Manipulation der „Notizen“, die vom Edge zur Cloud gesendet werden, kann dazu führen, dass selbst die fortschrittlichsten KI-Visionssysteme vollständig versagen.

Technische Zusammenfassung: Vision-Token-Manipulationsangriffe auf die Cloud-Edge-Inferenz von Large Vision-Language Models

Problemstellung
Das Paper adressiert eine kritische Sicherheitslücke in der Cloud-Edge-Inferenzsystemen für Large Vision-Language Models (LVLMs). In dieser Architektur führen ressourcenbeschränkte Edge-Geräte ein leichtgewichtiges visuelles Encoding durch und übertragen die intermediären Vision-Token an Cloud-Server, auf denen der rechenintensive Text-Encoder und das Large Language Model (LLM)-Backbone residieren. Die Autoren identifizieren die Kommunikationsverbindung zwischen Edge und Cloud als eine neue, bisher unerschlossene Angriffsfläche. Im Gegensatz zu traditionellen Angriffen, die auf rohe visuelle Eingaben (z. B. adversarielle Perturbationen) oder Text-Prompts abzielen, konzentriert sich diese Arbeit auf Vision-Token-Manipulationsangriffe (VTM-Attacks). Das Kernproblem besteht darin, dass ein Angreifer in einem Black-Box-Man-in-the-Middle (MitM)-Szenario in der Lage ist, eine Teilmenge dieser übertragenen Vision-Token abzufangen und zu manipulieren. Da Vision-Token kompakte, hochdimensionale Repräsentationen sind, die semantische Inhalte kodieren, kann deren Manipulation das Verständnis des LVLM für räumliche Beziehungen und semantische Hinweise stören, was zu signifikanten Inferenzfehlern führt, ohne dass der Angreifer Zugriff auf die Modellgewichte oder die Rohbilddaten benötigt.

Methodik
Die Autoren schlagen eine Familie von VTM-Angriffen unter einer beschränkten Black-Box-Bedingung vor, bei der der Angreifer keinen Zugriff auf die Modellparameter auf der Edge oder in der Cloud hat. Der Angriff unterliegt zwei primären Einschränkungen:

Dimensionale Konsistenz: Die manipulierten Token müssen die ursprüngliche Form ( $L_v \times d$ ) beibehalten, um eine sofortige Entdeckung oder einen Pipeline-Fehler zu vermeiden.
Manipulationsbudget: Der Angreifer kann nur eine Teilmenge von Token ( $I$ ) modifizieren, die durch eine Token-Manipulationsrate ( $\rho$ ) definiert ist, um die Unauffälligkeit zu wahren.

Die Methodik unterteilt sich in zwei Komponenten:

Naive Angriffsstrategien: Die Autoren entwerfen vier Baseline-Manipulationsstrategien, die auf zufällig ausgewählten Token angewendet werden:
- Permutation (strukturbasiert): Vertauscht die Positionsanordnung ausgewählter Token unter Beibehaltung ihrer Werte, wodurch die strukturelle Konsistenz gestört wird.
- Maskierung (wertbasiert): Setzt ausgewählte Token auf Null, wodurch der Informationsgehalt entfernt wird.
- Gaußsche Perturbation (wertbasiert): Injiziert normskalierte Rauschsignale in ausgewählte Token, um deren Magnitude und Richtung stochastisch zu verändern.
- Vorzeichenumkehr (Sign Flip, wertbasiert): Kehrt die Richtung ausgewählter Token im Embedding-Raum um ( $\hat{v}_i = -v_i$ ), während ihre Norm erhalten bleibt. Dies erzeugt eine große Verschiebung im Repräsentationsraum.
Optimierungsbasierte Token-Selektion: In der Erkenntnis, dass eine zufällige Auswahl suboptimal ist, schlagen die Autoren eine Optimierungsstrategie vor, um die einflussreichsten Vision-Token zu identifizieren. Da eine direkte Messung der Auswirkungen auf die Output-Verteilung in einem Black-Box-Ssetting nicht handhabbar ist, verwenden sie die Self-Attention-Disruption als Proxy. Sie formulieren ein Ziel, um die Diskrepanz zwischen den Self-Attention-Outputs der ursprünglichen und der manipulierten Token ( $L_{SA}$ ) zu maximieren. Um einen Selektionsbias hin zu Token mit hoher Norm zu verhindern (die durch nachgeschaltete Schichten herausnormalisiert werden könnten), führen sie einen normbewussten Regularisierungsterm ( $L_{norm}$ ) ein. Das finale Ziel maximiert $L_{SA} - \lambda L_{norm}$ mittels Projected Gradient Ascent, um die optimale Menge an zu manipulierenden Token zu bestimmen, welche dann mittels der Sign-Flip-Strategie angegriffen werden.

Wesentliche Beiträge

Identifizierung einer neuen Angriffsfläche: Das Paper definiert formal die Schnittstelle der Übertragung von Vision-Token in Cloud-Edge-Umgebungen als eine praktische und verwundbare Angriffsfläche für LVLMs.
VTM-Attack-Framework: Es führt eine umfassende Familie von Token-basierten Angriffen ein, einschließlich sowohl strukturbasierter (Permutation) als auch wertbasierter (Maskierung, Gaußsche Perturbation, Sign Flip) Manipulationsstrategien.
Optimierungsstrategie: Es schlägt eine neuartige optimierungsbasierte Token-Selektionsmethode vor, die Self-Attention-Disruption und normbewusste Regularisierung nutzt, um die Effektivität des Angriffs unter begrenzten Budgets signifikant zu steigern.
Empirische Evaluierung: Die Studie bietet umfangreiche Evaluierungen über sechs State-of-the-Art LVLMs (von 3B bis 72B Parametern) und vier diverse Benchmarks (OCRBench, MMBench, HallusionBench, MathVista).

Experimentelle Ergebnisse
Die Experimente zeigen, dass die Cloud-Edge-LVLM-Inferenz hochgradig anfällig für VTM-Angriffe ist, selbst bei einem geringen Manipulationsbudget ( $\rho = 0,1$ , bzw. 10 % der Token):

Schweregrad der Auswirkungen: Die Manipulation von nur 10 % der Token kann die Genauigkeit um bis zu 88,31 % reduzieren. Beispielsweise reduzierte der Sign-Flip-Angriff auf dem MMBench-Benchmark die Genauigkeit von Qwen2.5-VL-72B-Instruct von 88,39 % auf 0,23 %.
Effektivität von Sign Flip: Unter den naiven Strategien produzierte der Sign Flip konsistent die katastrophalste Degradation und brachte die Modellleistung oft auf nahezu Null Genauigkeit auf MMBench und HallusionBench zurück. Dies deutet darauf hin, dass das Umkehren der semantischen Orientierung von Token destruktiver ist als das Vertauschen oder Maskieren.
Varianz der Modellrobustheit: Es wurde eine signifikante Disparität in der Robustheit zwischen den Modellfamilien beobachtet. Qwen2.5-VL-Modelle zeigten unter verschiedenen Angriffen eine katastrophale Degradation, während InternVL3.5-Modelle eine deutlich höhere Robustheit demonstrierten. Zudem war die Skalierung inkonsistent; größere InternVL-Modelle waren generell robuster, aber dieser Trend hielt bei den Qwen-Modellen nicht durchgehend stand.
Optimierungsgewinn: Die optimierungsbasierte Token-Selektionsstrategie verstärkte die Effektivität des Angriffs im Vergleich zur Zufallsselektion weiter. Beispielsweise verbesserte die Optimierungsstrategie die Erfolgsrate des Angriffs auf InternVL3.5-4B und InternVL3.5-38B auf HallusionBench um 5,79 % bzw. 21,09 % gegenüber der Zufallsauswahl.

Bedeutung
Das Paper behauptet, dass diese Ergebnisse eine kritische Schwachstelle bei der Bereitstellung von LVLMs in Cloud-Edge-Umgebungen offenbaren. Die Ergebnisse zeigen, dass die Kommunikationsverbindung, die intermediäre Repräsentationen überträgt, ein Hochrisiko-Vektor ist, der in der bestehenden Sicherheitsliteratur, die sich primär auf Input-Space-Angriffe oder rein textuelle Modalitäten konzentriert, weitgehend übersehen wurde. Die Studie unterstreicht, dass bereits begrenzte, unauffällige Manipulationen der Vision-Token die Vision-Language-Interaktion fundamental stören und zu einem vollständigen Inferenzfehler führen können. Dies verdeutlicht die dringende Notwendigkeit für sichere Übertragungsprotokolle und robuste Verteidigungsmechanismen, die speziell auf die Ebene der intermediären Repräsentation in verteilten LVLM-Systemen zugeschnitten sind.