VisInject: Disruption != Injection -- A Dual-Dimension Evaluation of Universal Adversarial Attacks on Vision-Language Models

Op basis van de verstrekte paper volgt hier een gedetailleerde technische samenvatting van VisInject: Disruptie ≠ Injectie — Een tweedimensionale evaluatie van universele adversariële aanvallen op Vision-Language Models.

Probleemstelling

Recente literatuur over Universele Adversariële Aanvallen (UAA) tegen Vision-Language Models (VLMs) rapporteert hoge Aanvalsuccespercentages (ASR) in het bereik van 60–80%. Deze cijfers suggereren dat onwaarneembare pixelverstoringen kunnen fungeren als een levensvatbaar kanaal voor prompt-injectie, wat potentieel veiligheidsuitlijningen kan overrulen. De auteurs betogen echter dat deze gerapporteerde cijfers twee verschillende gebeurtenissen door elkaar halen:

1. Invloed (Drift): De output van het model wordt verstoord en wijkt af van de schone basislijn.
2. Precieze Injectie (Payload-levering): De specifieke doelstring of het specifieke doelconcept van de aanvaller verschijnt daadwerkelijk in het antwoord.

De paper stelt dat bestaande benchmarks, die vaak vertrouwen op een enkele metriek "veranderde de output?", de bruikbaarheid van visuele aanvallen als leveringsvector voor specifieke payloads systematisch overdrijven.

Methodologie

De auteurs stellen VisInject voor, een drie-traps pijplijn die bestaande aanvalsmethoden combineert met een nieuw tweedimensionaal evaluatiekader.

1. Aanvalspijplijn (Stadia 1 & 2):

• Stadium 1 (Generatie van universeel signaal): Gebruikt de Universele Adversariële Aanval (UAA)-methode van Rahmatullaev et al. (24). Een enkele "universele" adversariële afbeelding wordt geoptimaliseerd via PGD (Projected Gradient Descent) tegen een ensemble van 2–4 open VLMs (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL, BLIP-2) met behulp van 60 onschadelijke prompts. Het doel is een afbeelding te creëren die het model naar een gekozen doelzin drijft, ongeacht de prompt van de gebruiker.
• Stadium 2 (Realistische carrier-fusie): Gebruikt het AnyAttack encoder-decoder-kader van Zhang et al. (29). Het universele adversariële signaal uit Stadium 1 wordt gecodeerd via een bevroren CLIP-encoder en gedecodeerd tot een $L_\infty$-gebonden ruis-tensor. Deze ruis wordt toegevoegd aan willekeurige schone foto's (bijv. natuurlijke scènes, screenshots) om realistische adversariële carriers te creëren. Het verstoringbudget is beperkt tot $L_\infty \le 16/255$ (PSNR $\approx$ 25,2 dB).

2. Tweedimensionale Evaluatie (Stadium 3):
In plaats van een enkele ASR-metriek, scoort de pijplijn elk (schone, adversariële) antwoordpaar langs twee onafhankelijke assen met behulp van een LLM-rechter (DeepSeek-V4-Pro, gekalibreerd tegen Claude Opus 4.7):

• Invloed (Drift): Meet of het antwoord afweek van de schone basislijn. Geëvalueerd via een deterministische Ratcliff-Obershelp-stringsimilariteitscore (programmatieke basislijn) en een 4-traps ordinale LLM-beoordeling (geen, licht, aanzienlijk, compleet).
• Precieze Injectie (Payload-levering): Meet of het specifieke doelconcept verscheen. Geëvalueerd via een 4-traps ordinale LLM-beoordeling:
  • Geen: Geen doelinhoud.
  • Zwak: Thematische fragmenten (bijv. "PRESIDENT" voor een verkiezingsdoel).
  • Gedeeltelijk: Semantische-klassevarianten (bijv. "rekeningnummer" voor "kaartnummer").
  • Bevestigd: Letterlijke of bijna letterlijke doelzin.

Experimentele Opstelling:
De studie doorloopt een $7 \times 7 \times 3$-matrix: 7 doelprompts (variërend van letterlijke URL's tot semantische categorieën zoals desinformatie), 7 testafbeeldingen (natuurlijke foto's en screenshots in documentstijl) en 3 surrogate-ensemble-configuraties, geëvalueerd over 4 open VLMs. Dit levert 6.615 antwoordparen op.

Belangrijkste Resultaten

De centrale bevinding is een enorme divergentie tussen verstoring en injectie:

• Hoge Verstoring, Lage Injectie: Over alle 6.615 paren heen is de programmatieke verstoringssnelheid 66,4%, en de door de LLM beoordeelde "aanzienlijke of complete" verstoringssnelheid is 46,6%. De Precieze Injectie-snelheid is echter drastisch lager:

  • Brede Injectie (enige niet-geen trap): 0,756% (50/6.615 paren).
  • Strikte/Letterlijke Injectie (Bevestigde trap): 0,030% (2/6.615 paren).
  • Dit vertegenwoordigt een ongeveer 90× divergentie tussen het verstoren van het model en het leveren van de payload.

• Architecturale Sensitiviteit:

  • Transformer-stijl VLMs (Qwen2.5-VL, Qwen2-VL, DeepSeek-VL) worden universeel verstoord (100% programmatieke verstoring) maar vertonen minimale injectiepercentages (0,09%–1,5%).
  • BLIP-2 (met een Q-Former-bottleneck) toont 0,00% waarneembare drift of injectie over alle 2.205 paren, zelfs wanneer het wordt gebruikt als een Stage-1 surrogate. De auteurs hypothetiseren dat de informatiebottleneck van de Q-Former en de resolutie-downsampling de verstoring filteren.

• Afhankelijkheid van Afbeelding en Payload:

  • Injecties die wel voorkomen, clusteren rond screenshots/documentstijl-afbeeldingen (bijv. code-editors, rekeningen, webpagina's) waar de antwoordruimte van nature teksttranscriptie uitnodigt of URL-/account-vormige tokens bevat.
  • Natuurlijke foto's (hond, kat) tonen hoge verstoring maar nul letterlijke injecties.
  • Letterlijke tekstpayloads (URL's) overleven Stadium 2-fusie beter dan semantische payloads, maar zelfs dan zijn exacte string-overeenkomsten zeldzaam.

Belangrijkste Bijdragen

1. Tweedimensionaal Kader: Een methodologie die "drift" ontkoppelt van "payload-levering", en aantoont dat enkel-cijferige ASR-metrieken kwalitatief verschillende faalmodi door elkaar halen.
2. Systematische Doorloop: Een uitgebreide evaluatie van 6.615 paren over vier VLMs, die de ~90× kloof tussen verstoring en injectie blootlegt.
3. Architecturale Observatie: Identificatie van de immuniteit van BLIP-2 tegen deze aanvallen bij $L_\infty=16/255$, wat suggereert dat Q-Former-stijl bottlenecks inherent adversariële robuustheid kunnen bieden zonder hertraining.
4. Publieke Dataset: Publicatie van de volledige dataset (universele afbeeldingen, adversariële foto's, antwoordparen en rechter-caches) om bit-precieze reproduceerbaarheid mogelijk te maken zonder API-sleutels.

Betekenis en Claims

De paper claimt dat het huidige narratief van "visuele modus als een zachte onderbuik" voor prompt-injectie overdreven is wanneer het strikt wordt gedefinieerd door payload-levering. Hoewel universele adversariële verstoringen effectief zijn in het verstoren van modeloutput (wat hallucinaties of onderwerpverschuivingen veroorzaakt), zijn ze ineffectief in het betrouwbaar injecteren van specifieke door de aanvaller gekozen zinnen in de antwoordstroom.

De auteurs concluderen dat:

• Evaluatiestandaarden: Toekomstige benchmarks zowel Invloed als Precieze Injectie apart moeten rapporteren, aangezien een enkele ASR-metriek de ware moeilijkheid van payload-levering verbergt.
• Defensie-implicaties: Architecturale keuzes, specifiek informatiebottlenecks zoals de Q-Former, kunnen aanzienlijke robuustheid bieden tegen $\epsilon$-gebonden aanvallen zonder de noodzaak van dure adversariële fine-tuning.
• Realiteit van het Bedreigingsmodel: Voor een aanvaller die betrouwbare payload-levering nastreeft (bijv. het exfiltreren van gegevens of het injecteren van een specifieke URL), zijn visuele universele aanvallen op kleine open VLMs momenteel een niet-concurrerende vector in vergelijking met niet-adversariële kanalen, met succespercentages die rond de 0,2% hangen.

De paper houdt een bescheiden standpunt aan, met de opmerking dat de bevindingen specifiek zijn voor de geteste open VLMs en het $L_\infty=16/255$-budget, en dat systematische overdraagbaarheid naar frontier gesloten modellen (zoals GPT-4o) een open vraag blijft, hoewel initiële anekdotische tests suggereren dat de aanval niet overdraagbaar is.