💻 computer science

Revisiting CroPA: A Reproducibility Study and Enhancements for Cross-Prompt Adversarial Transferability in Vision-Language Models

Dit artikel valideert de effectiviteit van de Cross-Prompt Attack (CroPA) op Large Vision-Language Models door middel van een reproduceerbaarheidsstudie en stelt drie belangrijke verbeteringen voor—een nieuwe initialisatiestrategie, universele perturbaties voor cross-image overdraagbaarheid en een op aandacht gerichte verliesfunctie—die gezamenlijk de succespercentages van adversariale aanvallen en de overdraagbaarheid over diverse VLM-architecturen verbeteren.

Oorspronkelijke auteurs: Atharv Mittal, Agam Pandey, Amritanshu Tiwari, Sukrit Jindal, Swadesh Swain

Gepubliceerd 2026-05-04

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Atharv Mittal, Agam Pandey, Amritanshu Tiwari, Sukrit Jindal, Swadesh Swain

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Het "Magische Oog" Dat Kan Worden Bedrogen

Stel je Vision-Language Models (VLM's) voor als ongelooflijk slimme, magische ogen die naar een afbeelding kunnen kijken, deze kunnen beschrijven, vragen erover kunnen beantwoorden of kunnen classificeren wat het is. Ze zijn als een superintelligente assistent die kan zien en spreken.

Dit paper onthult echter dat deze assistenten een zwakke plek hebben. Net zoals een goochelaar kan worden bedrogen door een specifieke handigheid, kunnen deze AI-modellen worden bedrogen door adversarial attacks (tegenstander-aanvallen). Dit zijn kleine, bijna onzichtbare veranderingen aan een afbeelding die de AI ertoe brengen om iets volledig verkeerd of schadelijk te zeggen.

De specifieke truc die dit paper bestudeert, heet CroPA (Cross-Prompt Adversarial Attack).

Het Probleem: Meestal, als je een AI bedriegt met een specifieke vraag (een "prompt"), werkt het misschien. Maar als je de vraag iets verandert (bijvoorbeeld van "Wat is dit?" naar "Beschrijf dit"), stopt de truc vaak met werken.
De Oorspronkelijke Claim: Een eerdere studie beweerde dat CroPA een "universele truc" is. Ze zeiden dat je één kleine, onzichtbare verandering aan een afbeelding kon maken die de AI zou bedriegen, ongeacht welke vraag je aan haar stelde.

De Missie: Werkte De Magische Truc Eigenlijk?

De auteurs van dit paper besloten de rol van sceptici op zich te nemen. Ze wilden:

De Magie Reproceren: Probeer de originele CroPA-truc zelf uit te voeren om te zien of het echt zo goed werkt als de oorspronkelijke auteurs beweerden.
De Truc Upgraden: Als het werkt, kunnen ze het dan nog sterker, sneller en moeilijker te detecteren maken?

Deel 1: De Reproductie (De Originele Truc Controleren)

Het team slaagde erin om de originele CroPA-methode succesvol na te maken.

Het Resultaat: Ze bevestigden dat de originele truc werkt. De AI kan inderdaad worden bedrogen over veel verschillende vragen heen.
De Haken: Ze ontdekten dat de truc wel goed werkt voor sommige taken (zoals het beantwoorden van specifieke vragen), maar wat moeite heeft met andere (zoals het gedetailleerd beschrijven van een afbeelding). Ook is de originele methode erg traag en rekenkundig duur, net als het proberen op te lossen van een Rubik's kubus door één stukje per keer te draaien gedurende zes uur.

Deel 2: De Upgrades (De Truc Beter Maken)

De auteurs hielden niet alleen bij het kopiëren van de truc; ze bedachten drie nieuwe manieren om het veel effectiever te maken.

1. De "Slimme Start" (Noise Initialization)

De Oude Manier: De originele methode begon met het toevoegen van willekeurige ruis (noise) aan de afbeelding, net als het aanzetten van een tv zonder signaal, in de hoop dat de AI in de war zou raken. Het was een blinde gok.
De Nieuwe Manier: De auteurs gebruikten een "Kristallen Bol"-benadering. Voordat ze de truc toevoegden, gebruikten ze een andere AI (een diffusiemodel) om een afbeelding te genereren die perfect overeenkomt met de betekenis van de vraag waarmee ze de AI wilden bedriegen.
De Analogie: Stel je voor dat je probeert een feestje binnen te sluipen. De oude manier was om willekeurig rond te dwalen in de hoop de achterdeur te vinden. De nieuwe manier is eerst naar het platte van het feestje te kijken, de achterdeur te vinden en er recht naartoe te lopen.
Het Resultaat: Deze "Slimme Start" maakte de aanval veel sneller en veel succesvoller, waardoor het slagingspercentage aanzienlijk steeg.

2. De "Breinchirurgie" (Target Value Vectors)

De Oude Manier: De originele methode probeerde het hele brein van de AI tegelijk in de war te brengen.
De Nieuwe Manier: De auteurs realiseerden zich dat de AI een specifiek deel van zijn brein heeft (de Vision Encoder) dat verantwoordelijk is voor het begrijpen van de afbeelding. Ze besloten om de specifieke "waardevectoren" (de interne datapakketten) binnen dit deel van het brein aan te vallen.
De Analogie: In plaats van het hele vertrek toe te schreeuwen om de AI in de war te brengen, fluisteren ze een specifieke code direct in het oor van de persoon die verantwoordelijk is voor het herkennen van gezichten.
Het Resultaat: Dit maakte de aanval ongelooflijk precies. Het werkte zo goed dat zelfs wanneer de AI probeerde "veilig" te zijn en weigerde schadelijke woorden te zeggen (zoals "Bom"), de aanval haar dwong ze toch te zeggen.

3. De "Universele Sleutel" (Cross-Image Transferability)

Het Probleem: De originele truc werkte geweldig over verschillende vragen heen, maar werkte alleen op het één specifieke beeld waarvoor het was ontworpen. Als je de truc op een andere foto legde, stopte het met werken.
De Nieuwe Manier: De auteurs gebruikten een techniek genaamd SCMix. Ze namen twee verschillende afbeeldingen, sneden ze in stukken en mixten ze tijdens het trainingsproces.
De Analogie: In plaats van te leren hoe je het slot van één specifieke deur openbreekt, oefende de dief op honderd verschillende deuren tegelijk. Dit dwong de truc om de "universele vorm" van een slot te leren in plaats van de specifieke krassen op één deur.
Het Resultaat: Hierdoor kon de truc werken op nieuwe afbeeldingen die het nooit eerder had gezien, niet alleen op die waarvoor het was getraind.

De Ruil (De "Haken")

Het paper ontdekte ook enkele belangrijke beperkingen:

De "Familie-Resemblantie" Regel: De "Breinchirurgie"-upgrade werkt geweldig als de AI-modellen zijn gebouwd door dezelfde "familie" (met dezelfde vision encoder). Als je echter probeert een truc die is ontworpen voor één type AI op een volledig ander type AI te gebruiken, faalt het vaak. Het is als een sleutel die voor een Ford is gemaakt; die opent geen Toyota.
Het Evenwichtsoefening: Het paper vond dat het maken van een truc die werkt voor veel vragen (Cross-Prompt) en het maken van een truc die werkt voor veel afbeeldingen (Cross-Image) twee verschillende doelen zijn die tegen elkaar vechten. Je kunt niet eenvoudig beide tegelijk maximaliseren zonder compromissen.

Samenvatting

Kortom, dit paper zegt:

Ja, de originele "Cross-Prompt"-truc (CroPA) is echt en gevaarlijk.
Maar, we kunnen het veel beter maken door te beginnen met een slimmere gok, de interne breinstructuren van de AI preciezer aan te vallen, en trainingsafbeeldingen te mixen om de truc te laten werken op nieuwe foto's.
Echter, er zijn grenzen. Een truc die werkt op één familie van AI-modellen, werkt misschien niet op een andere, en het is moeilijk om één enkele truc te maken die perfect werkt voor elke vraag en elke afbeelding tegelijk.

De auteurs concluderen dat het begrijpen van deze trucs vitaal is, want als we niet weten hoe we deze AI-systemen kunnen breken, kunnen we ze niet veilig genoeg bouwen om echte werelddata te beschermen.

Technische Samenvatting: Herbezinning op CroPA: Een Reproduceerbaarheidsstudie en Verbeteringen voor Cross-Prompt Adversarial Transferability in Vision-Language Modellen

1. Probleemstelling

Grote Vision-Language Modellen (VLM's) hebben taken zoals beeldclassificatie, bijschrijving en visuele vraag-antwoord (VQA) revolutionair veranderd. Ze blijven echter zeer kwetsbaar voor adversarial attacks waarbij subtiele verstoringen van invoerbeelden of -tekst leiden tot onjuiste of schadelijke outputs. Hoewel eerdere onderzoek Cross-Model Transferability (adversarial voorbeelden die werken over verschillende architecturen heen) en Cross-Image Transferability (Universele Adversarial Perturbations of UAP's) hebben vastgesteld, werd een nieuwere dimensie, bekend als Cross-Prompt Transferability, geïntroduceerd door Luo et al. (2024) via de Cross-Prompt Attack (CroPA).

CroPA beoogt adversarial beelden te genereren die effectief blijven, ongeacht de tekstuele prompt die wordt gebruikt om de VLM te bevragen. Ondanks zijn nieuwheid vereisen de robuustheid en generaliseerbaarheid van CroPA verdere validatie. Bovendien kent het oorspronkelijke CroPA-raamwerk beperkingen, waaronder:

Willekeurige Initialisatie: Afhankelijkheid van oningelichte willekeurige ruisinitialisatie, wat leidt tot instabiliteit en trage convergentie.
Taakspecifieke Zwaktes: Slechte prestaties in specifieke taken zoals Classificatie en Bijschrijving.
Rekenkrachtintensiteit: Hoge resourceverbruik (bijv. 6+ uur op een 48GB GPU voor 50 afbeeldingen).
Beperkte Cross-Image Transferability: Verstoringen zijn sterk gekoppeld aan het specifieke beeld waarop ze zijn gegenereerd, wat universele toepassing belemmert.

Deze studie adresseert deze kwesties door een uitgebreide reproduceerbaarheidsstudie van CroPA uit te voeren en verbeteringen voor te stellen om de Aanvalsuccesratio (ASR), convergentie en transferability over beelden en modellen te verbeteren.

2. Methodologie

2.1 Reproduceerbaarheidsstudie

De auteurs reproduceerden eerst de oorspronkelijke CroPA-experimenten strikt over prominente VLM's (Flamingo, BLIP-2, InstructBLIP en LLaVA). Ze valideerden vier kernclaims van Luo et al. (2024):

CroPA bereikt superieure cross-prompt transferability vergeleken met baselines (Single-P en Multi-P).
CroPA behoudt prestatiesuperioriteit zelfs naarmate het aantal prompts toeneemt.
CroPA convergeert naar een hogere ASR met meer iteraties.
CroPA presteert beter dan baselines in few-shot (in-context learning) instellingen.

De reproductie bevestigde de oorspronkelijke claims, waarbij werd vastgesteld dat CroPA consistent beter presteert dan baselines, hoewel er instabiliteit werd waargenomen in convergentietrends voor specifieke taken (bijv. Classificatie) in vergelijking met de geaggregeerde metrieken van het oorspronkelijke artikel.

2.2 Voorgestelde Verbeteringen

Om de geïdentificeerde beperkingen aan te pakken, introduceert het artikel drie belangrijke methodologische verbeteringen:

A. Ruisinitialisatie via Vision Encoding Optimalisatie

In plaats van willekeurige ruis, stellen de auteurs een semantisch geïnformeerde initialisatie voor:

Doel Synthese: Een diffusiemodel (Stable Diffusion XL) genereert een afbeelding ( $x_{target}$ ) die overeenkomt met de doeltekstprompt.
Vision-Encoder Ankeren: De initiële verstoring ( $\delta_{init}$ ) wordt afgeleid door de Mean Squared Error (MSE) te minimaliseren tussen de representatie van de vision encoder van het originele beeld plus verstoring en de representatie van de vision encoder van het gesynthetiseerde doelbeeld:
$\delta_{init} = \arg \min_{\|\delta\|_\infty \le \epsilon} \|f_v(x + \delta) - f_v(x_{target})\|^2_2$
Optimalisatie: Deze initialisatie wordt verfijnd met Projected Gradient Descent (PGD) met een MSE-verlies, zodat de verstoring begint in een semantisch betekenisvolle richting naar het adversarial doel.

B. Gidsverstorende via Doelwaardevectoren (D-UAP Integratie)

Om transferability en aanvalskracht te verbeteren, integreren de auteurs een verliesfunctie die is geïnspireerd op de Doubly-Universal Adversarial Perturbation (D-UAP) methode. Deze benadering richt zich op de interne dynamiek van het attentiemechanisme van de vision encoder:

Mechanisme: De methode verstoort de waardevectoren van de attentielagen in de vision encoder. Het minimaliseert het cosine similarity-verlies tussen de waardevectoren van het verstoord beeld en de waardevectoren van een referentiebeeld dat overeenkomt met de doeltekst.
Doelfunctie: Het uiteindelijke verlies combineert de standaard CroPA min-max doelstelling met het waardevectorverlies:
$\mathcal{L}_{re-CroPA} = \mathcal{L}_{CroPA} - \lambda \mathcal{L}_{d-UAP}$
waarbij $\mathcal{L}_{d-UAP}$ ertoe aanzet dat de waardevectoren van het verstoord beeld aligneren met de representatie van de doeltekst.

C. Cross-Image Transferability via Beeldaugmentatie

Om overfitting op specifieke beeldkenmerken te mitigeren en cross-image transferability mogelijk te maken, integreren de auteurs data-augmentatiestrategieën tijdens de verstoringgeneratie:

SCMix: Een tweestaps-mixproces dat zelf-mixing (het mengen van afgesneden patches van hetzelfde beeld) en cross-mixing (het mengen met een secundair beeld) omvat. Dit dwingt het model om kenmerken te leren die invariant zijn voor ruimtelijke variaties en beeld-over-menging.
CutMix: Een harde-masker gebaseerde regionale vervangingsstrategie die verstoringen dwingt om ruimtelijk invariant kenmerken te targeten in plaats van gelokaliseerde artefacten.

3. Belangrijkste Bijdragen en Resultaten

3.1 Reproductie Validatie

De studie reproduceerde de oorspronkelijke CroPA-resultaten succesvol, waarmee werd bevestigd dat:

CroPA aanzienlijk hogere ASR bereikt dan Single-P en Multi-P baselines over VQA-, Classificatie- en Bijschrijvingstaken.
CroPA robuust blijft zelfs wanneer in-context learning voorbeelden worden toegevoegd tijdens inferentie (few-shot instellingen).
De transferability van de methode grotendeels onafhankelijk is van de semantische betekenis of woordfrequentie van de doeltekst.

3.2 Prestaties van Verbeteringen

Ruisinitialisatie: De voorgestelde initialisatiestrategie verbeterde de ASR aanzienlijk. Op BLIP-2 bereikte CroPA+Init een totale ASR van 89,77% (tegenover 77,08% voor basis CroPA) en tot 94,58% voor specifieke doelen zoals "Het spijt me". Het verminderde ook het aantal optimalisatiestappen dat nodig was voor convergentie.
Waardevector Gids (D-UAP): Het integreren van het waardevectorverlies boostte de prestaties verder. De CroPA+D-UAP methode bereikte een totale ASR van 96,85% op BLIP-2 (een toename van 12,5% ten opzichte van basis CroPA) en 92,70% op OpenFlamingo. Opmerkelijk is dat deze verbetering effectief was zelfs tegen "schadelijke" doelteksten zoals "Bom", die doorgaans modelguardrails activeren.
Cross-Image Transferability: Waar basis CroPA worstelt met cross-image transferability, verbeterde de integratie van SCMix de totale ongerichte ASR van 43,55% naar 70,55%, en CutMix verbeterde dit naar 55,65%. Dit toont aan dat augmentatie de kloof tussen cross-prompt en cross-image transferability gedeeltelijk kan overbruggen.

3.3 Cross-Model Transferability Analyse

De studie analyseerde transferability tussen modellen met verschillende architecturen (bijv. BLIP-2 naar Flamingo versus BLIP-2 naar InstructBLIP).

Vondsten: De D-UAP-verbetering verbeterde de cross-model transferability, met name tussen modellen die vergelijkbare vision encoders delen (bijv. BLIP-2 naar InstructBLIP, waarbij de ASR sprong van 50,65% naar 68,50%).
Beperking: Transferability bleef laag tussen fundamenteel verschillende architecturen (bijv. BLIP-2 naar Flamingo), wat bevestigt dat de waardevectorgids afhankelijk is van de specifieke vision encoder-architectuur.

4. Betekenis en Claims

Het artikel claimt een robuuster raamwerk te bieden voor het genereren van transferable adversarial voorbeelden in VLM's. De betekenis hiervan ligt in:

Validatie: Bevestiging van het bestaan en de potentie van cross-prompt adversarial kwetsbaarheden in state-of-the-art VLM's.
Efficiëntie en Effectiviteit: Aantonen dat semantisch geïnformeerde initialisatie en gerichte verliesfuncties de aanvalsuccesratio's en convergentiesnelheid drastisch kunnen verbeteren.
Generalisatie: Aantonen dat hoewel cross-prompt en cross-image transferability vaak concurrerende doelen zijn, technieken zoals SCMix de cross-image generalisatie kunnen verbeteren zonder de kerncross-prompt capaciteiten te offeren.
Veiligheidsimplicaties: Benadrukken dat VLM's kwetsbaar zijn voor aanvallen die outputs manipuleren ongeacht de prompt of modelarchitectuur (tot op zekere hoogte), wat risico's oplevert voor real-world implementatie. Omgekeerd merken de auteurs op dat deze verstoringen defensief kunnen worden gebruikt om gevoelige data te beschermen door modellen te dwingen vooraf bepaalde, niet-gevoelige tekst uit te brengen.

De auteurs concluderen dat hoewel hun verbeteringen de grenzen van specifieke transferability-dimensies opschuiven, er een fundamentele trade-off bestaat tussen het optimaliseren voor cross-prompt, cross-image en cross-model transferability tegelijkertijd. Ze roepen op tot toekomstig onderzoek naar multi-objective optimalisatie en architectuur-bewuste aanvalontwerpen om deze kwetsbaarheden verder te begrijpen en te mitigeren.