Reading Between the Pixels: Linking Text-Image Embedding Alignment to Typographic Attack Success on Vision-Language Models

Probleemstelling

Het artikel onderzoekt typografische prompt-injectie-aanvallen op Vision-Language Models (VLM's). Bij deze aanval wordt kwaadaardige tekst als een afbeelding gerenderd om tekstgebaseerde veiligheidsfilters te omzeilen. Dit vormt een groeiende bedreiging voor autonome agenten (zoals browser-automatisering en camera-uitgeruste robots) die VLM's gebruiken als hun waarnemingskern.

De huidige uitdagingen zijn:

1. Heterogene aanvalsoppervlakken: Aanvallen treden op onder uiteenlopende omstandigheden (verschillende lettergroottes, rotatie, vervaging, ruis).
2. Modelvariatie: Het ecosysteem van VLM's vertoont aanzienlijke verschillen in kwetsbaarheid, waardoor een "one-size-fits-all" verdediging onmogelijk is.
3. Ontbrekende systematische analyse: Bestaand werk focust vaak op het maximaliseren van aanvalssucces zonder te analyseren hoe renderingsparameters en modelkeuze de kwetsbaarheid gezamenlijk bepalen.

Methodologie

De auteurs hebben een systematische evaluatie uitgevoerd met de volgende opzet:

• Dataset: 1.000 prompts uit de SALAD-Bench Attack Enhanced dataset, gedekt over zes schadelijkheidscategorieën.
• Doelmodellen: Vier VLM's werden getest:
  • Propriëtaire modellen: GPT-4o, Claude Sonnet 4.5, Mistral-Large-3.
  • Open-source model: Qwen3-VL-4B-Instruct.
• Experimenten:
  1. Modaal en Lettergrootte-effect: Vergelijking tussen tekst- en afbeeldingsaanvallen over 12 lettergroottes (6px tot 28px).
  2. Visuele Transformaties: Toepassing van 10 transformaties op afbeeldingen met een basislettergrootte van 20px (o.a. rotatie, vervaging, ruis, contrastverandering, kleurinvertie).
  3. Embeddingruimte-analyse: Gebruik van twee multimodale embedding-modellen (JinaCLIP en Qwen3-VL-Embedding) om de L2-afstand te berekenen tussen de tekst-prompt en de gerenderde afbeelding. De hypothese is dat een kleinere afstand (hogere alignement) correleert met een hoger aanvalssucces.
• Meting: Attack Success Rate (ASR), bepaald door een GPT-4o-gebaseerde "judge" die beoordeelt of het model schadelijke instructies opvolgt.

Belangrijkste Bijdragen

1. Systematische Evaluatie: Eerste studie die ASR analyseert over vier verschillende VLM's, twaalf lettergroottes en tien visuele transformaties.
2. Modale Asymmetrie: Ontdekking dat tekstaanvallen effectiever zijn dan typografische afbeeldingsaanvallen voor bepaalde modellen (GPT-4o en Claude), terwijl andere modellen (Qwen3-VL, Mistral) even kwetsbaar zijn voor beide modaliteiten.
3. Embedding als Voorspeller: Demonstreert dat de afstand in de embeddingruimte tussen tekst en afbeelding een sterke, model-onafhankelijke voorspeller is voor aanvalssucces.
4. Asymmetrische Robuustheid: Toont aan dat visuele transformaties modellen verschillend beïnvloeden (bijv. rotatie heeft een enorme impact op Mistral maar nauwelijks op GPT-4o).

Resultaten

1. Effect van Lettergrootte

• Drempelwaarde: Zeer kleine lettergroottes (6px) leiden tot een ASR van bijna 0% tot 24%.
• Plateau: De ASR stijgt snel tot 10–12px en plateaut daarna. Dit suggereert dat VLM's pas betrouwbaar tekst kunnen "lezen" vanaf een bepaalde resolutie.
• Modelverschil: Mistral is het meest kwetsbaar (67–75% ASR), gevolgd door Qwen3-VL (41–48%), Claude (17–22%) en GPT-4o (6–8%).

2. Modale Effecten (Tekst vs. Afbeelding)

• GPT-4o & Claude: Tekstaanvallen zijn veel effectiever dan afbeeldingsaanvallen (bijv. GPT-4o: 36% tekst vs. 8% afbeelding). Dit suggereert dat het renderen van tekst als afbeelding voor deze modellen een impliciete verdediging biedt.
• Mistral & Qwen3-VL: Deze modellen tonen vergelijkbare ASR's voor tekst en afbeeldingen, wat aangeeft dat ze minder gevoelig zijn voor de modale overgang.

3. Embedding-ASR Correlatie

• Er is een sterke negatieve correlatie gevonden tussen de L2-afstand in de embeddingruimte en de ASR.
  • JinaCLIP: $r = -0.71$ tot $-0.80$($p < 0.01$).
  • Qwen3-VL-Embedding: $r = -0.81$ tot $-0.93$($p < 0.01$).
• Hoe kleiner de afstand tussen de tekst-embeddings en de afbeelding-embeddings, hoe groter de kans dat de aanval slaagt. Qwen3-VL-Embedding toont de sterkste correlatie, vooral bij het Qwen3-VL model zelf.

4. Visuele Transformaties

• Zware degradatie: Zware vervaging en gecombineerde degradaties verhogen de embedding-afstand met 10–12% en verlagen de ASR drastisch (bijv. Claude daalt naar 0.7%).
• Rotatie: Heeft een asymmetrisch effect. Rotatie (30° of 90°) verlaagt de ASR voor Mistral met ~50% en Qwen3-VL met ~50%, maar heeft weinig effect op GPT-4o en Claude.

Significantie en Conclusie

De studie concludeert dat er geen universele verdediging bestaat tegen typografische aanvallen vanwege de model-specifieke patronen van robuustheid.

• Voor de praktijk: Ontwikkelaars van agenten-systemen moeten de specifieke kwetsbaarheden van hun gekozen VLM-backbone begrijpen. De keuze van het model is cruciaal; sommige modellen (zoals GPT-4o) bieden inherent meer weerstand tegen typografische injecties dan andere.
• Detectie: De embedding-afstand tussen tekst en afbeelding kan dienen als een lichtgewicht, model-onafhankelijke indicator om de effectiviteit van een potentiële aanval te schatten, zelfs onder vervormde omstandigheden.
• Toekomstig werk: De bevindingen onderstrepen de noodzaak om beveiliging te testen onder de specifieke visuele omstandigheden (lettergrootte, hoek, kwaliteit) die verwacht worden tijdens de daadwerkelijke inzet van de agent.