🤖 AI

Breaking the weakest link to evade vision language models

Dit artikel stelt een computationeel efficiënte, op gradiënten gebaseerde aanvallingsmethode voor die zich uitsluitend richt op de vision encoder van Vision Language Models (VLMs) om onmerkbare adversariële perturbaties te genereren die in staat zijn de tekstuele interpretaties van de modellen te verstoren of te kapen, waardoor significante kwetsbaarheden in huidige multimodale AI-systemen worden blootgelegd.

Oorspronkelijke auteurs: Ilan Zini, Boussad Addad, Katarzyna Kapusta

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ilan Zini, Boussad Addad, Katarzyna Kapusta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het snel evoluerende landschap van kunstmatige intelligentie is een nieuwe generatie systemen opgekomen die tegelijkertijd kunnen zien en spreken. Deze machines, bekend als vision-language modellen (visuele taalmodellen), zijn ontworpen om naar een afbeelding te kijken en te beschrijven wat ze zien, of om vragen over een foto te beantwoorden. Ze werken door een foto te nemen, de visuele details ervan om te zetten in een wiskundige representatie, en die informatie vervolgens door te geven aan een taalmotor die zinnen construeert. Deze technologie voedt alles, van automatische beeldbeschrijvingen tot veiligheidssystemen in zelfrijdende auto's, en creëert zo een brug tussen de visuele wereld en menselijke communicatie. Echter, net zoals elk complex systeem zwakke punten heeft, zijn deze modellen niet immuun voor manipulatie. Onderzoekers weten al lang dat digitale afbeeldingen op manieren kunnen worden aangepast die onzichtbaar zijn voor het menselijk oog, maar die er toch toe in staat zijn de perceptie van een computer te verwarren. De vraag nu is of deze geavanceerde nieuwe systemen, die zicht en spraak combineren, ook echt veiliger zijn dan de oudere, eenvoudigere modellen die zij hebben vervangen.

Een team van onderzoekers van Thales en ESILV zette zich af om de duurzaamheid van deze vision-language modellen te testen tegen dergelijke verborgen manipulaties. Hun doel was om te zien of ze de modellen konden misleiden om dingen te zien die er niet waren, of om dingen te laten negeren die duidelijk zichtbaar waren. Ze concentreerden zich op twee specifieke soorten trucs. De eerste was een brede verstoring, waarbij de aanvaller simpelweg wilde de het model verwarren zodat het de afbeelding niet langer correct kon beschrijven. De tweede was een precieze misleiding, waarbij de aanvaller wilde dat het model een specifiek object beschreef dat totaal anders was dan het object in de foto. Bijvoorbeeld, ze wilden zien of ze een model naar een foto van een militaire tank konden laten kijken en het met vol vertrouwen een ambulance als beschrijving konden laten geven. Om dit te doen, probeerden ze niet het hele systeem in één keer te breken. In plaats daarvan identificeerden ze de meest efficiënte weg naar de kwetsbaarheid: het deel van het systeem dat de afbeelding eerst verwerkt.

De onderzoekers ontdekten dat ze deze misleidende afbeeldingen konden genereren door hun inspanningen uitsluitend te richten op het visuele component van het model, in plaats van op de volledige taalverwerkingsmachine. Deze aanpak bleek een meesterzet van efficiëntie. Waar eerdere methoden vereisten dat de computer veranderingen door de enorme, complexe taal-hersenen van het model berekende — een proces dat traag was en enorme rekenkracht vereiste — hoefde de nieuwe methode alleen de initiële beeldverwerkingsfase aan te passen. Door dit te doen, reduceerden de onderzoekers de hoeveelheid geheugen die nodig was voor de aanval met een aanzienlijke marge en verkortten ze de tijd die nodig was om een enkele misleidende afbeelding te maken van meer dan twintig minuten naar ongeveer honderd zestig seconden. Deze efficiëntie betekende dat ze hun ideeën konden testen op een grote verscheidenheid aan moderne, open-source modellen, waaronder systemen genaamd Qwen, Granite, FastVLM en Phi.

De resultaten van deze experimenten waren opvallend en onthulden een diepe fragiliteit in hoe deze modellen de wereld begrijpen. Wanneer de onderzoekers probeerden de modellen simpelweg te verwarren, waardoor ze er niet in slaagden de afbeelding correct te beschrijven, waren de aanvallen bijna universeel succesvol. Zelfs met minuscule, onzichtbare veranderingen aan de pixels, faalden de modellen er meer dan drieëntastig procent van de tijd in het herkennen van de inhoud van de afbeelding. In sommige gevallen slaagden bijna alle pogingen, wat suggereert dat de visuele representaties waarop deze modellen vertrouwen, ongelooflijk instabiel zijn. Wanneer de onderzoekers de moeilijkere taak probeerden uit te voeren om het model te dwingen een specifiek fout object te zien, varieerden de resultaten meer per model, maar bleven ze zorgwekkend. Eén model, Granite-Vision, werd in bijna de helft van de pogingen misleid om een tank als een ambulance te beschrijven, ook al zijn de twee objecten totaal ongerelateerd. Een ander model, Phi-3.5-Vision, bleek veel resistenter te zijn en viel zelden voor de truc, maar de meerderheid van de geteste systemen vertoonde aanzienlijke zwakte.

Deze bevindingen suggereren dat de huidige generatie vision-language modellen zeer vatbaar is voor manipulatie, met name wanneer het doel is om hun begrip van een afbeelding te verstoren. Het feit dat dergelijke krachtige systemen kunnen worden misleid door veranderingen die te klein zijn voor een mens om op te merken, roept ernstige vragen op over hun betrouwbaarheid in realistische situaties. Als een zelfrijdende auto of een medisch beeldveringssysteem vertrouwt op een model dat gemakkelijk kan worden misleid om een voertuig of een aandoening verkeerd te identificeren, kunnen de gevolgen ernstig zijn. De studie beweert niet het probleem van de beveiliging van deze systemen te hebben opgelost, maar het heeft duidelijk het terrein van het gevaar in kaart gebracht. Door aan te tonen dat de zwakste schakel vaak de initiële visuele verwerkingsfase is, hebben de onderzoekers een duidelijk doelwit geboden voor toekomstige verdedigingen. Het werk benadrukt dat naarmate deze modellen meer geïntegreerd raken in kritieke infrastructuur, het waarborgen dat ze bestand zijn tegen dergelijke subtiele, onzichtbare aanvallen niet alleen een technische uitdaging is, maar een fundamentele vereiste voor veiligheid.

Technische Samenvatting: De zwakste schakel doorbreken om Vision-Language Modellen te omzeilen

Probleemstelling

Vision-Language Models (VLM's) zijn cruciale componenten geworden in multimodale AI-systemen, die gezamenlijke redenering mogelijk maken over visuele en tekstuele inputs voor toepassingen variërend van beeldbeschrijving tot veiligheidskritische domeinen zoals autonoom rijden. De robuustheid van deze modellen tegen adversariële dreigingen is echter nog onvoldoende onderzocht. Specifiek is er een gebrek aan begrip over hoe kleine, voor de mens onwaarneembare perturbaties toegepast op visuele inputs de multimodale uitlijning kunnen verstoren, waardoor het model onjuiste of misleidende tekstuele beschrijvingen genereert.

Huidige adversariële aanvalsmethoden tegen VLM's vereisen vaak backpropagation door de gehele multimodale architectuur (zowel de visuele als de taalcomponenten). Deze aanpak is computationeel duur en intensief, wat de schaalbaarheid van dergelijke aanvallen en de mogelijkheid om de robuustheid over diverse modelfamilies te evalueren beperkt.

Methodologie

De auteurs stellen een nieuwe, efficiënte gradiëntgebaseerde aanvalsmethode voor die zich richt op de "zwakste schakel" van de VLM-architectuur: de visuele encoder. De kernhypothese is dat het uitsluitend optimaliseren van perturbaties op de visuele encoder voldoende is om de uiteindelijke tekstuele output te manipuleren, waardoor het computationele overhead van het optimaliseren door de volledige multimodale pipeline wordt vermeden.

Dreigingsmodel

De studie werkt onder een white-box dreigingsmodel, waarbij wordt aangenomen dat de aanvaller volledige toegang heeft tot de visuele encoder van de doelwit-VLM. Dit wordt als realistisch beschouwd, aangezien veel concurrerende VLM's (bijv. Qwen, Granite, Phi) als open-source systemen worden uitgebracht.

Aanvalontwerp

De aanvalstrategie is verdeeld in twee instellingen:

Targeted Attacks (Gerichte aanvallen): De tegenstander probeert de VLM te dwingen een specifieke semantische beschrijving te genereren die overeenkomt met een doelafbeelding, die verschilt van de bronafbeelding. De optimalisatie minimaliseert de Mean Squared Error (MSE) tussen de embedding van de adversariële afbeelding ( $h_{adv}$ ) en de embedding van de doelafbeelding ( $h_{target}$ ) geproduceerd door de visuele encoder.
Untargeted Attacks (Niet-gerichte aanvallen): Het doel is om de interpretatie van de oorspronkelijke afbeelding door het model te verstoren zonder een specifiek doel. De optimalisatie maximaliseert de afstand tussen de embedding van de adversariële afbeelding en de embedding van de bronafbeelding.

In beide gevallen wordt de optimalisatie (met behulp van I-FGSM) uitgevoerd door gradiënten alleen door de visuele encoder terug te propageren. De perturbatie wordt toegepast op de invoerafbeelding, afgekapt binnen een geldig bereik en beperkt door een perturbatiebudget ( $\epsilon$ ).

Evaluatieprotocol

De auteurs hebben hun aanpak geëvalueerd op vier open-source VLM's: Qwen2.5-VL-3B, Granite-Vision-3.2-2B, FastVLM-7B, en Phi-3.5-Vision-Instruct.

Dataset: Een subset van ImageNet werd gebruikt, met 1.000 willekeurige bron-doel paren voor gerichte aanvallen.
Succescriteria: Er werd een "LLM-as-a-Judge"-benadering gehanteerd, waarbij een apart taalmodel (Granite-4.0-micro) evalueerde of de gegenereerde beschrijving van de VLM van de adversariële afbeelding overeenkwam met het doel (voor gerichte aanvallen) of significant verschilde van de originele (voor niet-gerichte aanvallen).

Belangrijkste Resultaten

Effectiviteit van de aanval

Untargeted Attacks: De aanval bleek extreem effectief over alle modellen. Zelfs met minimale perturbaties ( $\epsilon = 0.05$ ) overstegen de succespercentages de 93% voor alle modellen, waarbij ze bijna 100% bereikten voor Granite-Vision en FastVLM. Dit geeft aan dat huidige VLM's zeer gevoelig zijn voor minimale visuele ruis wanneer het doel simpelweg het verstoren van semantische coherentie is.
Targeted Attacks: Hoewel uitdagender vanwege de willekeurige semantische afstand tussen bron- en doelparen, bereikte de aanval nog steeds aanzienlijk succes.
- Granite-Vision vertoonde de hoogste kwetsbaarheid, met succespercentages boven de 45% bij hogere perturbatiebudgetten ( $\epsilon = 0.20$ ).
- FastVLM behaalde succespercentages tussen de 26% en 29%.
- Qwen2.5-VL toonde veerkracht bij lage budgetten, maar werd steeds kwetsbaarder naarmate $\epsilon$ toenam (bereikde 25%).
- Phi-3.5-Vision bleef zeer robuust, met succespercentages die consistent rond de 2% lagen, wat suggereert dat architecturale verschillen de kwetsbaarheid aanzienlijk beïnvloeden.

Computationele Efficiëntie

Een primaire bijdrage van het werk is de reductie in de vereiste middelen. Door backpropagation te beperken tot de visuele encoder (die slechts 1,6% tot 18% van de totale parameters vormt, afhankelijk van het model):

VRAM-gebruik: Verminderd van ~44–47% (volledige VLM) naar 13–16% op een NVIDIA H100 GPU.
Generatietijd: Bij Qwen2.5-VL duurde het genereren van een adversarieel voorbeeld via de volledige pipeline >20 minuten (en faalde vaak), terwijl de visuele encoder-only benadering ongeveer 100 seconden vereiste.

Betekenis en Claims

Het artikel beweert dat moderne VLM's, ondanks hun geavanceerde multimodale capaciteiten, fundamenteel kwetsbaar blijven voor adversariële visuele manipulatie. De betekenis van het werk ligt in drie gebieden:

Efficiëntie: De voorgestelde methode laat zien dat hoog-effectieve adversariële aanvallen kunnen worden gegenereerd met een fractie van de computationele kosten van eerdere state-of-the-art methoden door zich uitsluitend op de visuele encoder te richten.
Blootlegging van Kwetsbaarheid: De resultaten benadrukken een kritieke beveiligingskloof, met name in niet-gerichte scenario's waar het verstoren van de modeloutput triviaal is. Dit vormt ernstige risico's voor veiligheidskritische toepassingen (bijv. autonoom rijden, medische beeldvorming) waar de integriteit van de input niet gegarandeerd kan worden.
Architecturale Variantie: De studie onthult dat robuustheid niet uniform is over architecturen; sommige modellen (zoals Phi-3.5-Vision) vertonen aanzienlijk meer weerstand dan andere, wat suggereert dat architecturale keuzes een cruciale rol spelen bij adversariële defensie.

De auteurs concluderen dat verbeterde robuustheid en beveiligingsmechanismen noodzakelijk zijn voor de veilige inzet van multimodale AI-systemen in echte omgevingen.