Technische Samenvatting: MirrorCheck: Efficiënte Adversariële Verdediging voor Vision-Language Modellen

1. Probleemstelling

Vision-Language Modellen (VLM's) hebben state-of-the-art prestaties bereikt in taken zoals beeldbeschrijving, visuele vraag-antwoordvragen (VQA) en beeld-tekst retrievel. Ze zijn echter steeds meer kwetsbaar voor geavanceerde adversariële aanvallen. In tegenstelling tot traditionele verdedigingen voor beeldclassificatie, vertrouwen bestaande strategieën voor VLM's vaak op taakspecifieke afstemming, dure hertraining, of zijn ze beperkt tot enkele modaliteiten, waardoor ze geen rekening houden met complexe visueel-linguïstische interacties. Bovendien zijn veel huidige verdedigingen vatbaar voor adaptieve aanvallen, waarbij aanvallers met witte-doos-toegang tot het model beschermingsmechanismen systematisch omzeilen. Er is een kritieke behoefte aan een robuust, model-onafhankelijk detectiekader dat effectief werkt zonder hertraining en bestand is tegen adaptieve bedreigingen.

2. Methodologie: MirrorCheck

MirrorCheck is een plug-and-play, model-onafhankelijk kader voor adversariële detectie, ontworpen voor zowel unimodale als multimodale omgevingen. Het werkt op de kernintuïtie dat adversariële perturbaties de semantische consistentie verstoren tussen een invoerbeeld en de tekstuele beschrijving die door een VLM wordt gegenereerd.

2.1. Kernpijplijn (Vanilla MirrorCheck)

Het kader volgt een proces van drie stappen:

1. Extraheren: Een invoerbeeld $x_{in}$ wordt door het slachtoffer-VLM ($\mathcal{F}_\theta$) gevoerd om een tekstuele output (beschrijving, antwoord of klassenomschrijving) $t$ te genereren.
2. Genereren: De gegenereerde tekst $t$ wordt ingevoerd in een voorgetraind Tekst-naar-Beeld (T2I) model ($G_\psi$) om een synthetisch beeld $x_{gen}$ te reconstrueren.
3. Vergelijken: Het originele beeld $x_{in}$ en het gegenereerde beeld $x_{gen}$ worden gecodeerd met behulp van een voorgetrainde beeldencoder ($I_\phi$) om feature-embeddings ($z_{in}$ en $z_{gen}$) te verkrijgen. De gelijkenis tussen deze embeddings wordt berekend met cosinusgelijkenis.
   • Beslissing: Als de gelijkenis-score $S(z_{in}, z_{gen})$ onder een drempelwaarde $\tau$ daalt, wordt de invoer gemarkeerd als adversariëel.

Belangrijke Ontwerpkiesingen:

• Beeld-Beeld Gelijkenis: In plaats van het invoerbeeld direct te vergelijken met de tekst, vergelijkt de methode het invoerbeeld met het gereconstrueerde beeld. Dit vermijdt beperkingen in VLM's met betrekking tot positionele relaties en werkwoordgebruik, wat directe tekst-beeldgelijkenis onbetrouwbaar kan maken.
• Embeddingruimte: De methode gebruikt vector-embeddings in plaats van pixel-niveau-metrics (zoals SSIM of FID) om semantische equivalentie te vangen, zelfs wanneer visuele representaties variëren.

2.2. Stochastische MirrorCheck (Robuustheidsverbetering)

Om adaptieve aanvallen te counteren waarbij een aanvrager perturbaties probeert te optimaliseren om gelijkenis te maximaliseren, introduceert MirrorCheck een Stochastische variant met drie belangrijke innovaties:

1. Gerafelde T2I-selectie: Het systeem onderhoudt een "modeldierentuin" van T2I-generatoren. Tijdens inferentie wordt één model willekeurig geselecteerd, wat de aanvaller verhindert om te optimaliseren tegen een vaste generator.
2. Stochastische Encoder-implementatie: Een subset van beeldencoders wordt willekeurig geselecteerd uit een grotere pool voor elke inferentie.
3. Eenmalig-gebruik (OTU) Perturbaties: Voorafgaand aan feature-extractie wordt kleine willekeurige ruis ($\gamma$) geïnjecteerd in de parameters van de geselecteerde encoders. Dit zorgt ervoor dat de aanvaller niet kan vertrouwen op vooraf berekende gradiënten tegen een statische encoder.

Deze stochastische elementen verhogen de zoekruimte voor aanvallers exponentieel, waardoor witte-doos adaptieve aanvallen computationeel onuitvoerbaar worden.

2.3. Simulatie van Adaptieve Aanvallen

Om robuustheid te valideren, simuleren de auteurs een worst-case adaptieve aanvaller met volledige kennis van het systeem. De aanvaller gebruikt:

• BPDA (Backward Pass Differentiable Approximation): Om de niet-differentieerbare tekstsampling in de VLM te hanteren, mapt een leerbare Adapter de continue verborgen toestanden van de VLM naar de T2I-conditioneringsruimte.
• EoT (Expectation over Transformation): Om de willekeur in T2I-sampling en OTU-perturbaties te hanteren, middelt de aanvaller gradiënten over de stochastische samplingruis.

3. Belangrijkste Bijdragen

1. MirrorCheck Kader: Een nieuw, trainingsvrij, model-onafhankelijk detectiekader voor VLM's dat T2I-regeneratie en embedding-consistentie benut.
2. Stochastische Verdedigingsstrategie: Een uitbreiding van het kader die willekeurige modelselectie en OTU-perturbaties introduceert om specifiek adaptieve aanvallen te dwarsbomen.
3. Uitgebreide Evaluatie: Uitgebreide experimenten die aantonen dat MirrorCheck bestaande baselines overtreft over diverse VLM-architecturen (bijv. BLIP, LLaVA, MiniGPT-4) en aanvalstypes (bijv. AttackVLM, Attack-Bard, standaard classificatie-aanvallen zoals FGSM/PGD).
4. Generalisatie: Bewijs dat de methode generaliseert naar unimodale taken (beeldclassificatie) zonder modificatie.

4. Experimentele Resultaten

Het artikel evalueert MirrorCheck op 2.000 afbeeldingen (1.000 schoon, 1.000 aangevallen) over meerdere slachtoffermodellen en aanvalsscenario's.

• Detectienauwkeurigheid: MirrorCheck bereikt detectienauwkeurigheden variërend van 65% tot 99%. In de Stochastische variant presteert het consequent beter dan baselines. Bijvoorbeeld, op het BLIP-2 model onder AttackVLM-Q bereikt Stochastische MirrorCheck 0,99 nauwkeurigheid, wat significant beter is dan de volgende beste baseline (0,85).
• Gelijkenis-scores: Schone afbeeldingen leveren consequent hoge gelijkenis-scores op (bijv. ~0,70–0,80), terwijl adversariële voorbeelden significant verslechterde scores tonen (bijv. ~0,30–0,50), waardoor een duidelijke beslissingsgrens ontstaat.
• Robuustheid tegen Adaptieve Aanvallen: Onder sterke witte-doos adaptieve aanvallen (BPDA+EoT) blijft de detectienauwkeurigheid hoog. Het vergroten van de ensemble-grootte van encoders (van 1 tot 10) en het toepassen van OTU-ruis verbetert de robuustheid verder, waarbij configuraties met 7+ encoders zelfs onder adaptieve omstandigheden 98% nauwkeurigheid overschrijden.
• Baseline Vergelijking: MirrorCheck overtreft consequent unimodale verdedigingen (MagNet, PuVAE, DiffPure) en multimodale specifieke methoden (CIDER, JailGuard, SmoothVLM), vaak met een grote marge (bijv. >0,13 verbetering in sommige instellingen).

5. Betekenis en Aanspraken

Het artikel claimt een nieuw paradigma voor multimodale adversariële verdediging te vestigen. De betekenis hiervan ligt in:

• Praktijkgerichtheid: Het is een plug-and-play oplossing die geen hertraining van het slachtoffermodel vereist en geen toegang tot interne gradiënten/logits nodig heeft.
• Schaalbaarheid: Het generaliseert over diverse VLM-architecturen en kan worden toegepast op unimodale taken.
• Veiligheid: Het biedt empirische garanties tegen adaptieve aanvallen, een veelvoorkomend faalpunt voor eerdere verdedigingen.

De auteurs concluderen dat MirrorCheck een robuuste basis biedt voor het beveiligen van AI-systemen van de volgende generatie tegen evoluerende adversariële bedreigingen, en effectief de kloof tussen visuele en linguïstische modaliteiten in verdedigingsmechanismen overbrugt.