One Perturbation, Two Failure Modes: Probing VLM Safety via Embedding-Guided Typographic Perturbations

1. Probleemstelling

Vision-Language Models (VLM's) worden steeds vaker gebruikt om autonome agenten aan te sturen, wat een beveiligingskwetsbaarheid creëert die bekendstaat als Typographic Prompt Injection (TPI). Bij TPI-aanvallen worden kwaadaardige instructies als tekst binnen afbeeldingen weergegeven. Omdat de instructie via de visuele modus arriveert, kan deze traditionele op tekst gebaseerde veiligheidsfilters omzeilen.

Hoewel eerder onderzoek zich heeft gericht op het maximaliseren van de Attack Success Rate (ASR) door middel van nieuwe aanvalontwerpen, ontbreekt er inzicht in waarom bepaalde visuele weergaven (bijvoorbeeld specifieke lettergroottes, rotaties of vervagingen) veiligheidsuitlijning omzeilen terwijl andere falen. De auteurs beogen deze kloof te dichten door de relatie tussen visuele degradatie, model-embeddings en veiligheidsfouten te karakteriseren.

2. Methodologie

Het paper stelt een tweeledige aanpak voor: een empirische studie om voorspellers van aanvalssucces te identificeren, en een optimalisatiekader om deze voorspellers te exploiteren.

A. Empirische Studie: Embedding-afstand als Voorspeller

De auteurs voerden een gecontroleerde studie uit over vier VLM's (GPT-4o, Claude Sonnet 4.5, Mistral-Large-3 en Qwen3-VL) met behulp van 1.000 prompts van SALAD-Bench.

• Variabelen: Ze testten 12 lettergroottes (6–28px) en 10 visuele transformaties (rotatie, vervaging, ruis, enz.).
• Methode: Ze berekenden de L2-afstand tussen de multimodale embedding van de gerenderde afbeelding en de embedding van de bron-tekstprompt met behulp van kant-en-klare modellen (JinaCLIP en Qwen3-VL-Embedding).
• Hypothese: Een kleinere afstand in de embedding-ruimte (wat betekent dat de afbeelding voor de encoder meer op de tekst lijkt) correleert met een hoger aanvalssucces.

B. Optimalisatiekader: Embedding-Gedreven Red Teaming

Op basis van de empirische bevindingen ontwikkelden de auteurs een red-teaming-tool om VLM-beveiliging te testen zonder toegang tot de interne gewichten of veiligheidsclassificatoren van het doelmodel.

• Doel: maximaliseren van de cosinus-ähnelijkheid tussen een gedegradeerde typografische afbeelding en de bron-tekstembedding onder gebonden $\ell_\infty$-perturbaties.
• Algoritme: Ze pasten CWA-SSA (Common Weakness Attack with Spectral Simulation Augmentation) aan.
  • Ensemble: De optimalisatie maakt gebruik van een ensemble van 4 surrogaat-embeddingmodellen (Qwen3-VL-Embedding, JinaCLIP, OpenAI CLIP, SigLIP) om ervoor te zorgen dat de perturbaties robuust en overdraagbaar zijn.
  • Proces: Het algoritme past iteratief pixelwaarden aan om de embedding-afstand te minimaliseren, waardoor de gedegradeerde afbeelding effectief wordt "geduwd" naar een regio in de embedding-ruimte waar de VLM waarschijnlijker zal voldoen.

3. Belangrijkste Bijdragen

1. Ontdekking van een Sterke Correlatie: Het paper stelt vast dat multimodale embedding-afstand een sterke, interpreteerbare en model-agnostische voorspeller is van TPI-succes.
   • Correlatiecoëfficiënten ($r$) variëren van -0,71 tot -0,93 (negatieve correlatie: kleinere afstand = hogere ASR).
   • Dit biedt een proxy-maatstaf voor aanvalssucces zonder dat het doelvLM herhaaldelijk hoeft te worden bevraagd.
2. Identificatie van Twee Gelijktijdige Foutmodi: De optimalisatie onthult dat het verkleinen van de embedding-afstand de ASR verbetert via twee distincte mechanismen:
   • Herstel van Perceptuele Leesbaarheid: De perturbatie maakt de tekst semantisch parseerbaar voor het model wanneer deze eerder onleesbaar was door degradatie (bijvoorbeeld zware vervaging of kleine lettergrootte).
   • Ontduiken van Veiligheidsuitlijning: De perturbatie verandert de holistische afbeeldingrepresentatie voldoende om de veiligheidsredenering van het model te omzeilen, zelfs als de tekst al leesbaar was.
3. Een Model-Agnostische Red Teaming-tool: De voorgestelde methode stelt beveiligingsonderzoekers in staat de robuustheid van VLM-beveiliging te onderzoeken met uitsluitend surrogaat-embeddingmodellen, zonder toegang tot de gradiënten of veiligheidsfilters van het doelmodel.

4. Experimentele Resultaten

De auteurs testten hun optimalisatie op vijf degradatie-instellingen (6px lettergrootte, 8px lettergrootte, 90° rotatie, drievoudige degradatie en zware vervaging) over de vier doelvLM's.

• Kwantitatieve Winsten:

  • Claude Sonnet 4.5 toonde de meest significante verbeteringen, met name in scenario's met "Zware Vervaging", waar de ASR met +28% steeg (van 0,7% naar 28,5%).
  • GPT-4o toonde winst in rotatiescenario's (+22%) en zware vervaging (+10%), hoewel het robuuster bleef dan de anderen.
  • Mistral en Qwen (die een hogere basale ASR hadden) zagen soms een daling in prestaties na optimalisatie, wat suggereert dat de perturbatie per ongeluk veiligheidsmechanismen activeerde die eerder sluimerden.

• Kwalitatieve Analyse (Foutmodi):

  • Dominantie van Leesbaarheid: Bij extreme degradatie (6px lettergrootte, zware vervaging) kwam de primaire winst voort uit het feit dat het model de tekst eindelijk kon "lezen". Bijvoorbeeld, bij GPT-4o met 6px-tekst daalden leesbaarheidsfouten van 35 naar 10, maar steeg het aantal veiligheidsweigeringen, wat aangeeft dat de veiligheidsfilter de nu leesbare kwaadaardige aanvraag oppikte.
  • Dominantie van Weigeringreductie: Bij matige degradatie (90° rotatie, 8px) werden de winsten gedreven doordat het model de aanvraag niet weigerde, ondanks dat het de tekst kon lezen. Dit suggereert dat de perturbatie de veiligheidsuitlijnlogica succesvol verwarde.
  • Modelafhankelijkheid: De dominante foutmodus hangt af van de inherente sterkte van de veiligheidsfilter van het model. Sterkere filters (zoals GPT-4o) falen vaak eerst op leesbaarheid; zwakkere filters falen op uitlijning.

5. Betekenis en Implicaties

• Kwetsbaarheid van Veiligheidsmechanismen: De bevindingen suggereren dat VLM-veiligheidsuitlijning breekbaar is in de representatieruimte. Kleine perturbaties die het visuele uiterlijk (pixel-domein) niet significant veranderen, kunnen de interne representatie van het model drastisch veranderen, wat leidt tot veiligheidsomzeilingen.
• Verdedigingsstrategie: Huidige verdedigingen die vertrouwen op visuele degradatie (bijvoorbeeld tekst vervagen om deze te verbergen) zijn ontoereikend. Verdedigingen moeten robuust zijn in de embedding-ruimte, waarbij wordt gegarandeerd dat het model schadelijke instructies weigert, ongeacht of de tekst perfect leesbaar is of lichtelijk verstoord.
• Red Teaming-standaard: Het paper biedt een nieuwe, efficiënte methodologie voor het evalueren van VLM-beveiliging die geen zwarte-doos-toegang vereist tot de trainingsdata of interne architectuur van het doelmodel, maar in plaats daarvan vertrouwt op embedding-uitlijning.

Beperkingen: De studie is beperkt tot één dataset (SALAD-Bench) en een specifieke renderstijl (zwarte tekst op wit). De optimalisatie is rekenkundig duur (~2,5 uur per steekproef) en is niet geëvalueerd tegen op detectie gebaseerde verdedigingen.