💻 computer science

Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models

Die Studie zeigt, dass typografische Prompt-Injection-Angriffe auf Vision-Language-Modelle stark von Schriftgröße und visuellen Verzerrungen abhängen, wobei eine starke negative Korrelation zwischen dem Text-Bild-Embedding-Abstand und dem Angriffserfolg besteht und somit keine universelle Verteidigungsstrategie möglich ist.

Ursprüngliche Autoren: Ravikumar Balakrishnan, Sanket Mendapara, Ankit Garg

Veröffentlicht 2026-04-16

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ravikumar Balakrishnan, Sanket Mendapara, Ankit Garg

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Grundproblem: Der „Schriftzug im Bild"-Trick

Stell dir vor, du hast einen sehr strengen Sicherheitsbeamten (das ist die Künstliche Intelligenz, die wir nutzen wollen). Dieser Beamte liest alles, was du ihm schreibst, und blockiert sofort alles, was gefährlich oder böse klingt.

Aber was, wenn du ihm nicht schreibst, sondern ihm ein Foto zeigst, auf dem die bösen Worte stehen?
Das ist der Kern dieses Papers. Hacker versuchen, gefährliche Befehle nicht als Text einzutippen, sondern sie als Bild zu rendern (wie ein Foto von einem Schild oder einem Bildschirm). Die KI muss dann das Bild „lesen" (erkennen), was darauf steht, und den Befehl ausführen. Da der Sicherheitsfilter oft nur auf echten Text achtet, kann dieser Trick ihn umgehen.

Die Forscher haben untersucht: Wie gut funktioniert dieser Trick eigentlich? Und gibt es eine Art „Radar", das uns sagt, wann er funktioniert und wann nicht?

Die wichtigsten Entdeckungen (in Analogien)

1. Die Größe des Schriftzugs ist entscheidend (Der „Lupe"-Effekt)

Stell dir vor, du hältst ein Schild mit einer Warnung vor die Kamera.

Zu klein (6 Pixel): Wenn die Schrift winzig klein ist, wie ein Punkt auf einem Fernglas, kann die KI sie gar nicht lesen. Der Angriff scheitert fast immer.
Die „Goldene Mitte" (10–12 Pixel): Wenn die Schrift gerade groß genug ist, um klar zu lesen, aber nicht riesig, funktioniert der Angriff am besten.
Zu groß: Wenn die Schrift riesig ist, funktioniert es auch noch, aber der „Sweet Spot" liegt in der Mitte.

Die Lehre: Es gibt eine kritische Größe. Ist das Bild zu unscharf oder die Schrift zu klein, „sieht" die KI nichts.

2. Nicht alle KIs sind gleich dumm (Der „Schutzschild"-Effekt)

Die Forscher haben vier verschiedene KIs getestet (GPT-4o, Claude, Mistral, Qwen).

GPT-4o und Claude: Diese beiden sind wie sehr vorsichtige Sicherheitsbeamte. Wenn du ihnen ein Bild mit Text zeigst, sind sie skeptischer als wenn du ihnen den Text direkt gibst. Für sie ist der Text-Angriff (direkt eingetippt) viel gefährlicher als der Bild-Angriff. Der Bild-Trick funktioniert bei ihnen schlechter.
Mistral und Qwen: Diese beiden sind wie weniger wachsame Beamte. Für sie macht es kaum einen Unterschied, ob du ihnen den Text direkt gibst oder ein Bild davon zeigst. Sie „beißen" in beide Fallen gleichermaßen.

Die Lehre: Man kann nicht einfach eine KI wählen und denken „die ist sicher". Manche sind gegen Bild-Angriffe robuster als andere.

3. Der „Abstand" sagt alles voraus (Das Radar)

Das ist die genialste Erkenntnis des Papers. Die Forscher haben eine mathematische Methode benutzt, um zu messen, wie ähnlich sich das Bild und der ursprüngliche Text in der „Gedankenwelt" der KI sind.

Stell dir vor, du hast zwei Objekte:

Das Original (der Text).
Die Kopie (das Bild).

Wenn die Kopie dem Original sehr ähnlich sieht (der „Abstand" im digitalen Raum ist klein), dann funktioniert der Angriff.
Wenn die Kopie durch Verzerrungen (Drehen, Unschärfe, Rauschen) so verändert wurde, dass sie dem Original kaum noch ähnelt (großer Abstand), dann versagt der Angriff.

Die Metapher: Stell dir vor, du versuchst, einen Schlüssel in ein Schloss zu stecken.

Ist der Schlüssel perfekt geformt (kleiner Abstand zum Original), geht er rein (Angriff erfolgreich).
Ist der Schlüssel verbogen oder abgenutzt (großer Abstand durch Unschärfe/Drehung), passt er nicht mehr (Angriff gescheitert).

Die Forscher haben herausgefunden: Man kann diesen „Abstand" messen, bevor man den Angriff startet, und damit vorhersagen, ob er funktionieren wird. Das ist wie ein Radar, das sagt: „Achtung, dieser Schlüssel passt nicht!"

4. Verzerrungen helfen uns (Der „Trick gegen den Trick")

Was passiert, wenn man das Bild mit dem Text dreht, unscharf macht oder den Kontrast verändert?

Bei manchen KIs (wie Mistral) hilft schon eine leichte Drehung, den Angriff zu stoppen.
Bei anderen (wie GPT-4o) bringt eine Drehung nichts; sie bleiben stabil.
Aber: Wenn man das Bild stark verschmiert (wie durch einen dicken Nebel), funktioniert der Angriff bei allen KIs nicht mehr. Die KI kann den Text einfach nicht mehr entziffern.

Was bedeutet das für die Praxis?

Die Forscher sagen: Es gibt keine „Einheitslösung". Man kann nicht einfach eine Sicherheits-App installieren, die für alle KIs funktioniert.

Für Entwickler: Wenn du eine KI baust, die in der echten Welt arbeitet (z. B. ein Roboter mit Kamera oder ein Browser-Assistent), musst du genau wissen, welche KI du nutzt.
- Nutzt du GPT-4o? Dann musst du besonders aufpassen, dass keine Text-Bilder auf deinem Bildschirm landen, aber du kannst entspannter sein, wenn es nur um reine Texteingaben geht.
- Nutzt du Mistral? Dann musst du gegen beide Angriffsarten (Text und Bild) sehr streng sein.
Die gute Nachricht: Wir haben jetzt ein Werkzeug (den „Abstandsmesser"), mit dem wir vorhersagen können, ob ein Angriff funktionieren wird, noch bevor er passiert. Das hilft, sicherere Systeme zu bauen.

Zusammenfassung in einem Satz

Dieses Paper zeigt uns, dass die Art und Weise, wie wir Text in Bilder verwandeln (Größe, Schärfe, Drehung), darüber entscheidet, ob eine KI getäuscht wird, und dass wir durch das Messen der Ähnlichkeit zwischen Bild und Text genau vorhersagen können, wann diese Täuschung funktioniert – aber jede KI braucht ihren eigenen Schutzplan.

1. Problemstellung

Die Arbeit untersucht typografische Prompt-Injection-Angriffe auf Vision-Language-Modelle (VLMs). Dabei werden adversariale Textbefehle nicht als reiner Text, sondern als Bilder (mit gerendertem Text) in das Modell eingespeist.

Bedrohungsszenario: Da VLMs die Wahrnehmungsebene autonomer Agenten bilden (z. B. Browser-Automatisierung, Computer-Nutzungssysteme oder körpergebundene Roboter mit Kameras), können diese Angriffe Text-only-Sicherheitsfilter umgehen. Die schädlichen Anweisungen werden über den visuellen Kanal übermittelt.
Herausforderung: Die Angriffsfläche ist heterogen. Der Erfolg hängt stark von Rendering-Parametern (Schriftgröße, visuelle Transformationen wie Rotation, Unschärfe, Rauschen) und der spezifischen Architektur des VLMs ab. Bisherige Arbeiten fokussierten sich oft auf die Maximierung des Erfolgs, ohne systematisch zu analysieren, wie Rendering-Parameter und Modellwahl die Verwundbarkeit gemeinsam bestimmen.

2. Methodik

Die Autoren führten eine systematische Evaluierung mit 1.000 Prompts aus dem SALAD-Bench durch, die auf vier verschiedene VLMs angewendet wurden:

Zielmodelle: GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 und Qwen3-VL-4B-Instruct.
Experimente:
1. Modus-Vergleich: Vergleich von reinen Text-Prompts vs. typografischen Bild-Prompts.
2. Kontrollierte Ablation: Test von 12 Schriftgrößen (6–28 Pixel) und 10 visuellen Transformationen (Rotation, Unschärfe, Rauschen, Kontraständerungen, etc.).
3. Embedding-Analyse: Untersuchung der Korrelation zwischen dem Erfolg des Angriffs und der Distanz im Embedding-Raum. Es wurden zwei multimodale Embedding-Modelle verwendet: JinaCLIP und Qwen3-VL-Embedding.
Metrik: Die Attack Success Rate (ASR) wurde gemessen, wobei ein GPT-4o-basierter Judge entschied, ob das Modell auf die schädliche Anfrage reagiert hat. Die Embedding-Distanz ( $L_2$ -Distanz) zwischen dem Text-Embedding und dem Bild-Embedding wurde als Prädiktor für den Angriffserfolg herangezogen.

3. Wichtige Beiträge

Systematische Evaluierung: Erste umfassende Analyse über vier VLMs hinweg unter Variation von Schriftgrößen und visuellen Degradierungen.
Modalspezifische Unterschiede: Entdeckung, dass Text-Angriffe für bestimmte Modelle (GPT-4o, Claude) effektiver sind als Bild-Angriffe, während andere Modelle (Qwen, Mistral) in beiden Modi ähnlich anfällig sind.
Embedding-Distanz als Prädiktor: Nachweis, dass die Distanz zwischen Text- und Bild-Embeddings stark negativ mit der ASR korreliert. Dies ermöglicht eine leichte, modellunabhängige Schätzung des Angriffserfolgs.
Asymmetrische Robustheit: Demonstration, dass visuelle Transformationen (z. B. Rotation) unterschiedliche Modelle unterschiedlich stark beeinflussen.

4. Ergebnisse

A. Schriftgröße (Font Size)

Schwellenwert-Effekt: Sehr kleine Schriftgrößen (6 px) führen zu einer nahezu Null-ASR (0,3 % – 24 %).
Plateau: Die ASR steigt rapide bis zu einer Größe von 10–12 px an und bleibt dort stabil.
Modellunterschiede: Mistral ist am anfälligsten (bis zu 75 % ASR), gefolgt von Qwen3-VL (ca. 45 %), Claude (ca. 18–22 %) und GPT-4o (ca. 6–8 %).

B. Modus-Effekte (Text vs. Bild)

GPT-4o & Claude: Text-Angriffe sind deutlich effektiver als Bild-Angriffe (GPT-4o: 36 % vs. 8 %; Claude: 47 % vs. 22 %). Dies deutet darauf hin, dass die typografische Darstellung für diese Modelle eine implizite Verteidigung darstellt.
Mistral & Qwen3-VL: Zeigen eine vergleichbare Anfälligkeit in beiden Modi (Mistral: 85 % Text vs. 75 % Bild; Qwen: 49 % Text vs. 48 % Bild).

C. Embedding-Analyse

Starke negative Korrelation: Es besteht eine signifikante negative Korrelation ( $r = -0,71$ $r = - 0, 71$ bis $-0,93$, $p < 0,01$ $p < 0, 01$ ) zwischen der $L_2$ $L_{2}$ -Embedding-Distanz und der ASR.
- Je kleiner die Distanz (d. h. je ähnlicher das Bild-Embedding dem Text-Embedding ist), desto höher ist der Angriffserfolg.
- Das Qwen3-VL-Embedding-Modell zeigte stärkere Korrelationen als JinaCLIP.
Einfluss von Transformationen: Schwere visuelle Degradierungen (z. B. starke Unschärfe) erhöhen die Embedding-Distanz um 10–12 % und senken die ASR drastisch (z. B. bei Claude auf 0,7 %).

D. Asymmetrische Transformationseffekte

Rotation: Eine 30°-Rotation reduziert die ASR bei Mistral um 50 %, hat aber kaum Einfluss auf GPT-4o. Dies zeigt, dass geometrische Robustheit modellabhängig ist.

5. Bedeutung und Schlussfolgerung

Keine „One-Size-Fits-All"-Verteidigung: Da verschiedene Modelle unterschiedlich auf Schriftgrößen und visuelle Verzerrungen reagieren, können keine universellen Abwehrmechanismen entwickelt werden.
Praktische Leitlinie: Entwickler autonomer Agenten müssen die spezifischen Rendering-Bedingungen ihrer Einsatzumgebung (z. B. Kameras mit variabler Auflösung oder Beleuchtung) berücksichtigen, um die richtige VLM-Architektur auszuwählen.
Neue Metrik: Die Embedding-Distanz zwischen Text und Bild bietet einen robusten, rechenleichter Prädiktor für die Verwundbarkeit eines Systems gegenüber typografischen Angriffen, selbst unter schwierigen visuellen Bedingungen.

Diese Arbeit liefert somit empirische Grundlagen für das Verständnis der Mechanismen hinter visuellen Prompt-Injection-Angriffen und unterstreicht die Notwendigkeit einer modell-spezifischen Sicherheitsbewertung für VLMs in der realen Welt.