💬 NLP

Exploiting Vision Encoder Vulnerabilities for Universal Adversarial Perturbations on Large Vision-Language Models

Dit artikel introduceert VEV-UAP, een kostenefficiënt en taakagnostisch aanvalskader dat structureel geconcentreerde kwetsbaarheden in de waardecomponenten van middelste aandachtmechanismen binnen de visuele encoders van LVLM's exploiteert om universele adversariële perturbaties te genereren die staat van de kunst succespercentages bereiken over modellen en taken heen zonder tekstuele inputs te vereisen.

Oorspronkelijke auteurs: Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

Gepubliceerd 2026-06-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hee-Seon Kim, Minbeom Kim, Seokil Ham, Changick Kim

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Large Vision-Language Model (LVM) voor als een hoog intelligente, tweepersoonsploeg die samen puzzels oplost.

De Ogen (Vision Encoder): Deze partner kijkt naar een afbeelding en beschrijft wat hij ziet.
Het Brein (Language Model): Deze partner luistert naar de beschrijving en schrijft het uiteindelijke antwoord.

Lange tijd dachten onderzoekers dat je, om dit team te misleiden een fout antwoord te geven, de gehele "Ogen"-partner moest verstoren. Ze namen aan dat elk deel van de ogen even belangrijk en even gemakkelijk te misleiden was. Ze probeerden een klein beetje "statische ruis" aan de hele afbeelding toe te voegen, in de hoop het hele systeem in de war te brengen.

De Grote Ontdekking van het Papier: De "Zwakke Schakel"
De auteurs van dit artikel realiseerden zich dat de "Ogen"-partner geen uniforme blok spier is; het is meer een complexe fabriek met veel verschillende stations. Ze onderzochten de fabrieksvloer en ontdekten iets verrassends: niet alle stations zijn even kwetsbaar.

Ze ontdekten dat de middelste stations van de fabriek, speciflijk de stations die verantwoordelijk zijn voor het vasthouden van de werkelijke inhoud (de zogenaamde "value vectors"), de zwakke schakels zijn.

De Analogie: Stel je voor dat de fabriek een lopende band heeft. De vroege stations sorteren alleen de dozen (laagniveau details), en de latere stations verpakken de definitieve dozen (hoogniveau samenvattingen). De middelste stations zijn de plek waar de dozen daadwerkelijk worden geopend, geïnspecteerd en waar de inhoud wordt bepaald.
De onderzoekers ontdekten dat als je de inhoud op dit specifieke middelste stadium verstoort, de hele fabriek instort. Als je de sortering of de verpakking verstoort, negeert de fabriek dit vaak en werkt gewoon door.

De Nieuwe Strategie: VEV-UAP
Op basis hiervan creëerde het team een nieuwe aanvalsmethode genaamd VEV-UAP. In plaats van te proberen de hele "Ogen"-partner in de war te brengen, richten ze zich chirurgisch op alleen die middelste inhoud-vasthoudende stations.

Zo werkt het in eenvoudige termen:

Vind de Zwakke Plek: Ze analyseerden het model en bepaalden exact de middelste lagen waar de "inhoud" het meest fragiel is.
De Universele "Glitch": Ze creëerden één enkel, minuscuul patroon van ruis (een "universele perturbatie"). Denk hierbij aan een specifiek type statische ruis op een tv-scherm.
De Magie: Wanneer dit enkele patroon aan elke afbeelding wordt toegevoegd (een kat, een auto, een zonsondergang), verstoort het specifiek die middelste "inhoud"-stations.
Het Resultaat: De "Ogen"-partner raakt in de war over wat de afbeelding eigenlijk is. Hij geeft een onzinnige, foute beschrijving door aan het "Brein". Het "Brein", dat onzin hoort, schrijft een volkomen fout antwoord.

Waarom dit een Groot Ding is

Eén maat voor iedereen: Je hoeft niet voor elke afbeelding een nieuwe truc te bedenken. Eén kleine "glitch" werkt op duizenden verschillende plaatjes.
Super Snel: Omdat ze alleen de zwakke middelste plekken targeten en de rest van het model negeren, hoeven ze veel minder berekeningen te doen. Het is alsof je een slot kiest met een specifieke sleutel in plaats van te proberen de hele deur neer te halen.
Het Verspreidt Zich: Als twee verschillende AI-teams dezelfde "Ogen"-partner gebruiken (zelfs als ze verschillende "Breinen" hebben), werkt deze enkele glitch op beide. Het is als een virus dat een specif kind orgaan aanvalt; als twee mensen dat orgaan hebben, worden ze allebei ziek, ook al zijn hun lichamen anders.

Wat Er Gebeurt Als Het Werkt?
Het papier laat zien dat wanneer deze aanval wordt gebruikt, de antwoorden van de AI ontsporen.

In plaats van "Een rode boot" te zeggen, kan het bijvoorbeeld zeggen: "De afbeelding is van een houten bureau."
In plaats van een vraag te beantwoorden, kan het simpelweg het woord "de" herhalen.
Het verbreekt effectief de verbinding tussen wat de AI ziet en wat hij zegt.

De Kern van het Verhaal
Het papier bewijst dat AI-modellen niet overal even sterk zijn. Ze hebben specifieke, verborgen "choke points" in hun middelste lagen. Door deze punten te vinden en te targeten, kun je een zeer efficiënte, universele truc creëren die de visie van de AI in de war brengt en hem doet falen bij bijna elke taak, zonder dat je de specifieke vraag of het antwoord vooraf hoeft te kennen.

Technische Samenvatting: Exploitatie van Kwetsbaarheden in Vision Encoders voor Universele Adversariële Perturbaties op Large Vision-Language Models

Probleemstelling

Large Vision-Language Models (LVLMs) hebben significante prestaties bereikt in multimodale taken, maar blijven zeer gevoelig voor adversariële perturbaties. Bestaande adversariële aanvalstrategieën behandelen de vision encoder doorgaans als een monolithisch, uniform kwetsbaar oppervlak, waarbij perturbaties worden geoptimaliseerd tegen de uiteindelijke output-embeddings van de encoder. Deze benadering negeert echter de interne structurele heterogeniteit van de encoder, wat het adversariële effect kan verwateren door te richten op robuuste componenten. Bovendien vertrouwen de meeste voorgaande methoden op beeld-specifieke perturbaties, wat resulteert in hoge computationele kosten en een beperkte schaalbaarheid voor de evaluatie van robuustheid over grote beeldensets. Er is een gebrek aan systematische analyse met betrekking tot welke interne componenten van de vision encoder het meest kritiek zijn voor het gedrag van het downstream taalmodel en hoe deze kwetsbaarheden efficiënt geëxploiteerd kunnen worden.

Methodologie: VEV-UAP

De auteurs stellen Vision Encoder Vulnerable-Component-Targeted Universal Adversarial Perturbation (VEV-UAP) voor, een framework ontworpen om een enkele, universele perturbatie te genereren die de prestaties van LVLMs over afbeeldingen en taken degradeert zonder betrokkenheid van tekstuele inputs of het taalmodel tijdens de optimalisatie. De methodologie verloopt in twee hoofdfasen:

1. Structurele Kwetsbaarheidsanalyse

De auteurs voeren een systematische component- en laag-gewijze analyse uit van de aandachtmechanismen binnen vision encoders om de "Representation Robustness (RR) Score" te identificeren. Deze score meet de cosinus-gelijkenis tussen de hidden states van het downstream Large Language Model (LLM) vóór en na het perturberen van specifieke aandachtcomponenten (Attention weights, Query, Key, en Value vectoren) op verschillende lagen.

Belangrijkste bevinding: De analyse laat zien dat adversariële kwetsbaarheid niet uniform verdeeld is. In plaats daarvan is het structureel geconcentreerd in de value vectoren van de middelste lagen van de vision encoder. Het perturberen van deze specifieke componenten induceert de grootste divergentie in de LLM hidden states, terwijl het perturberen van vroege/late lagen of andere componenten (Query, Key, Attention weights) aanzienlijk minder impact heeft.

2. Aanvalsoptimalisatie

Op basis van de kwetsbaarheidsanalyse optimaliseert VEV-UAP een universele perturbatie $\delta$ door de divergentie van de value vectoren in de geïdentificeerde kwetsbare middelste lagen ( $L_{vul}$ ) over een set invoerbeelden $X$ te maximaliseren.

Doel: De optimalisatie minimaliseert de RR Score (maximaliseert de cosinus-afstand) tussen de value vectoren van schone afbeeldingen $V_l(x)$ en geperturbeerde afbeeldingen $V_l(x+\delta)$ voor lagen $l \in L_{vul}$ .
Restricties: De perturbatie wordt beperkt door een $L_\infty$ norm ( $\|\delta\|_\infty \leq \epsilon$ ) om onzichtbaarheid te garanderen.
Efficiëntie: Het proces is volledig gebaseerd op de vision encoder. Het vereist geen gradiënten van de LLM, gebruikt geen tekstuele prompts tijdens de optimalisatie en genereert een enkele perturbatie die gedeeld wordt over alle afbeeldingen, waardoor de kosten voor per-afbeelding optimalisatie worden geëlimineerd.

Belangrijkste Bijdragen

Identificatie van Kwetsbare Componenten: Het artikel biedt de eerste systematische component- en laag-gewijze analyse van LVLM vision encoders, waarbij de middelste value vectoren worden geïdentificeerd als het primaire propagatiepad voor adversariële effecten naar het taalmodel.
VEV-UAP Framework: De auteurs introduceren een methode voor universele adversariële perturbatie die deze specifieke kwetsbare componenten target. Deze benadering bereikt een hoge Attack Success Rate (ASR) terwijl het taak-agnostisch is en geen tekstuele supervisie of toegang tot de LLM vereist tijdens de training.
Efficiëntie en Transfereerbaarheid: De voorgestelde methode demonstreert superieure computationele efficiëntie vergeleken met full-model optimalisatie baselines. Cruciaal is dat een enkele VEV-UAP, geoptimaliseerd op een specifieke vision encoder, effectief overdraagt naar verschillende LVLMs die dezelfde vision encoder delen, zelfs wanneer ze gekoppeld zijn aan verschillende taalmodellen.

Experimentele Resultaten

De auteurs evalueerden VEV-UAP over meerdere LVLMs (LLaVA-1.5, LLaVA, InstructBLIP, MiniGPT-4, Qwen2.5-VL) en taken (Beeldclassificatie, Beeldbeschrijving, Visual Question Answering).

Attack Success Rates (ASR): VEV-UAP presteerde consequent beter dan bestaande baselines (Text-Emb, Img-Emb, Both-Emb). Zo behaalde VEV-UAP bij LLaVA-1.5 voor classificatie een ASR van 96,1% (bij $\tau=0,9$ ), vergeleken met 29,9% voor de beste baseline. In VQA-taken reduceerde het de modelscores tot bijna nul (bijv. 0,3 op VQAv2 voor LLaVA-1.5).
Transfereerbaarheid: Een enkele perturbatie gegenereerd met de EVA-CLIP vision encoder misleidde succesvol zowel InstructBLIP als MiniGPT-4, ondanks hun gebruik van verschillende taalbackbones (Vicuna-13B vs. LLaMA2-7B). Op dezelfde manier beïnvloedde een CLIP-336 gebaseerde perturbatie zowel LLaVA als LLaVA-1.5.
Robuustheid tegen Defensies: Onder JPEG-compressie ( $Q=90$ ) behield VEV-UAP een significant hogere ASR dan baselines (bijv. 88,5% vs. 65,9% voor Qwen2.5-VL classificatie).
Computationele Kosten: VEV-UAP reduceerde de optimalisatietijd tot ongeveer 3,19 uur per UAP, wat een 6,4 $\times$ versnelling biedt ten opzichte van methoden die door de volledige LVLM-architectuur optimaliseren.
Kwalitatieve Analyse: Visualisaties toonden aan dat VEV-UAP ervoor zorgt dat de distributies van de value vectoren invariant worden over verschillende invoerbeelden en leidt tot wazige, verkeerd uitgelijnde aandachtpatronen in de downstream LLM, wat resulteert in repetitieve of semantisch ongerelateerde outputs.

Betekenis en Claims

Het artikel claimt dat de adversariële kwetsbaarheid van LVLMs structureel geconcentreerd is in plaats van uniform verdeeld. Door de specifieke "bottleneck" componenten (middelste laag value vectoren) te identificeren en te targeten die de integratie van features mediëren vóór projectie naar het taalmodel, bereikt VEV-UAP een meer efficiënte en krachtige verstoring van de multimodale pipeline.

De auteurs positioneren VEV-UAP niet enkel als een aanvalstool, maar als een praktisch framework voor schaalbare robuustheidsevaluatie. Omdat het de noodzaak voor per-afbeelding en per-prompt optimalisatie elimineert en uitsluitend vertrouwt op de vision encoder, maakt het een snelle beoordeling van robuustheid mogelijk over grote beeldensets en diverse modelarchitecturen die dezelfde visuele backbone delen. Het werk suggereert dat toekomstige inspanningen om de LVLM-robuustheid te verbeteren zich expliciet moeten richten op het versterken van deze kwetsbare middelste laag value representaties.