When Background Matters: Breaking Medical Vision Language Models by Transferable Attack

1. Probleemstelling

Vision-Language Models (VLMs) worden steeds vaker ingezet voor klinische diagnostiek, maar hun weerstand tegen adversariële aanvallen is onvoldoende onderzocht. Bestaande methoden voor medische aanvallen hebben twee grote tekortkomingen:

• Zichtbare vervormingen: Transferable aanvallen die zijn ontwikkeld voor natuurlijke afbeeldingen, introduceren vaak zichtbare ruis in medische beelden (vaak grijsgetint of met een beperkt kleurenpalet). Dit maakt ze voor klinici direct detecteerbaar en dus onpraktisch.
• Beperkte doelstellingen: Veel huidige studies richten zich op secundaire doelen zoals modelstelen of prompt-injectie, in plaats van het ondermijnen van de kern van de diagnostische redenering op een manier die klinisch geloofwaardig is.

Er is een dringende behoefte aan een zwarte-kist (black-box) aanval die transferable is (werkt op verschillende modellen), onopvallend blijft (imperceptibel) en toch leidt tot foutieve maar klinisch plausibele diagnoses.

2. Methodologie: MedFocusLeak

De auteurs stellen MedFocusLeak voor, een geavanceerde, multimodale, transferable aanval die de aandacht van het model manipuleert zonder de diagnostische inhoud van het beeld te verstoren. De aanpak bestaat uit vier kernprincipes:

• Focus op niet-diagnostische achtergronden: In plaats van de pathologische gebieden (zoals tumoren of fracturen) aan te tasten, detecteert en maskeert de methode eerst het klinisch relevante gebied (met behulp van MedSAM). De adversariële perturbaties worden uitsluitend geïntroduceerd in de niet-diagnostische achtergrond. Dit garandeert dat de medische integriteit van het beeld behouden blijft.
• Multimodale Adversariële Representatie: De aanval genereert niet alleen een aangepast beeld, maar ook een bijbehorende adversariële tekst. Er wordt een gecoördineerde optimalisatie uitgevoerd waarbij beeldruis en tekstbewerkingen samenwerken om de cross-modale fusie in het model te verstoren, terwijl de semantische coherentie behouden blijft.
• Aandacht-afleiding (Attention Distraction): Dit is het kernmechanisme. De methode gebruikt een specifieke attention-shift loss. Deze loss forceert het model om zijn visuele aandacht te verleggen van de diagnostisch cruciale voorgrond naar de gemanipuleerde achtergrond. Hierdoor baseert het model zijn diagnose op irrelevante achtergrondsignalen in plaats van op de werkelijke pathologie.
• Transferability via Surrogate Modellen: De aanval wordt gegenereerd op een ensemble van surrogate modellen (zoals CLIP-varianten) en is ontworpen om over te springen naar zowel open-source als gesloten bronnen (black-box) VLMs, zonder dat de aanvaller toegang heeft tot de interne parameters van het doelmodel.

3. Belangrijkste Bijdragen

1. Eerste systematische studie: Dit is het eerste werk dat de haalbaarheid van transferable adversariële aanvallen in de medische vision-language setting onderzoekt onder realistische zwarte-kist dreigingsmodellen.
2. MedFocusLeak Framework: Een nieuw framework dat semantisch bewuste perturbaties genereert die visueel onzichtbaar zijn, zelfs voor experts, maar wel leiden tot foutieve diagnoses.
3. Universele Evaluatie: De auteurs introduceren een nieuw evaluatiekader met specifieke metrics:
   • MTR (Medical Text Adversarial Score): Meet de mate van diagnostische misleiding.
   • AvgSim (Average Similarity): Meet de visuele gelijkenis tussen het originele en het aangevallen beeld (imperceptibiliteit).
   • MAS (Medical Attack Score): Een gecombineerde metric die zowel succes als onopvallendheid weegt.
4. Empirische Validatie: Uitgebreide tests op zes verschillende medische beeldvormingsmodaliteiten (o.a. X-ray, MRI, CT, dermatoscopie) en diverse VLMs.

4. Resultaten

De experimenten tonen aan dat MedFocusLeak aanzienlijk beter presteert dan bestaande baselines (zoals AttackVLM, M-Attack, FOA-Attack):

• Superieure Succesratio: Op modellen zoals InternVL-8B bereikt MedFocusLeak een MAS van 0.670, vergeleken met 0.520 voor de beste baseline. Op gesloten modellen zoals GPT-5 en Gemini 2.5 Pro Thinking wordt de succesratio bijna verdubbeld ten opzichte van concurrenten.
• Onopvallendheid: De methode behoudt een hoge beeldkwaliteit (AvgSim > 0.85), wat betekent dat de perturbaties voor het menselijk oog onzichtbaar blijven.
• Robuustheid: De aanval blijft effectief zelfs onder standaard verdedigingsmechanismen zoals Gaussische ruis en JPEG-compressie.
• Ablatie-studies: Deze bevestigen dat de combinatie van beeld- en tekstperturbaties, evenals de attention-shift loss, essentieel is voor het succes. Zonder de attention-shift mechanisme daalt de aanvalsprestatie aanzienlijk.
• Menselijke Evaluatie: Medische stagiairs beoordeelden de gegenereerde diagnoses. MedFocusLeak scoorde het hoogst op "Adversarial Text Impact" (3.94/5) en "Image Quality Preservation" (3.5/5), wat aantoont dat de aanval zowel overtuigend als subtiel is.

5. Betekenis en Conclusie

Dit paper onthult een kritieke kwetsbaarheid in moderne medische AI-systemen: hun afhankelijkheid van visuele aandachtmechanismen die kunnen worden omgeleid door subtiele achtergrondmanipulaties.

• Veiligheidsrisico: Het toont aan dat het mogelijk is om een VLM te misleiden tot het stellen van een ernstig verkeerde diagnose (bijv. een tumor negeren of een gezonde scan als ziek bestempelen) zonder dat de arts dit merkt aan de hand van het beeld.
• Noodzaak voor Defensie: De resultaten onderstrepen dat huidige veiligheidsmaatregelen ontoereikend zijn voor de klinische praktijk. Er is een dringende behoefte aan robuustere modellen die minder gevoelig zijn voor achtergrondruis en die hun redenering steviger verankeren in diagnostisch relevante gebieden.
• Ethiek: Hoewel de aanval potentieel schadelijk is, wordt het gepresenteerd met een defensieve motivatie: het blootleggen van kwetsbaarheden om de ontwikkeling van veiligere en betrouwbaardere medische AI-systemen te versnellen.

Kortom, MedFocusLeak bewijst dat de "achtergrond" in medische beelden een onbedoelde zwakke plek is die gebruikt kan worden om geavanceerde diagnostische systemen te omzeilen, wat een fundamentele uitdaging vormt voor de toekomstige implementatie van VLMs in de zorg.