Enhancing the Safety of Medical Vision-Language Models by Synthetic Demonstrations

Probleemstelling

Generatieve medische vision-language modellen (Med-VLMs) worden steeds vaker ingezet voor taken zoals het genereren van diagnoseverslagen en het analyseren van medische beelden. Hoewel deze modellen krachtig zijn, zijn hun beveiligingskwetsbaarheden onderbelicht. Ze zijn vatbaar voor schadelijke queries, zoals verzoeken om instructies voor het misbruiken van medische beelden (bijv. verzekeringsfraude).

Er zijn twee hoofduitdagingen bij het beveiligen van deze modellen:

1. Gebrek aan specifieke veiligheidsdata: Het creëren van hoogwaardige datasets voor veiligheidsafstemming vereist medische experts, wat duur en tijdrovend is. Bestaande methoden missen vaak specifieke datasets voor Med-VLMs.
2. Het risico van "Over-defensie": Mechanismen die schadelijke queries blokkeren, kunnen leiden tot een te strenge afwijzing van onschuldige (benigne) klinische vragen. Dit schaadt de bruikbaarheid van het model in de praktijk.

Bovendien kunnen bestaande beveiligingen worden omzeild door "jailbreak"-aanvallen, waarbij aanvallers visuele ruis of tekstuele suffixen manipuleren om het model tot het geven van schadelijke antwoorden te dwingen.

Methodologie

De auteurs stellen een inference-time verdedigingsstrategie voor die gebruikmaakt van synthetische demonstraties via In-Context Learning (ICL). Dit betekent dat het model tijdens het uitvoeren van taken leert uit voorbeelden in de prompt, zonder dat het model zelf opnieuw getraind (fine-tuned) hoeft te worden.

Het proces bestaat uit twee hoofdfasen:

1. Generatie van Synthetische Demonstraties:
   Omdat het verzamelen van echte medische data duur is, gebruiken de auteurs Large Language Models (LLMs) om twee soorten demonstraties te synthetiseren:

   • Benign-Affirmative (B-A): Veilige, medisch plausibele vraag-antwoordparen over medische beelden (gegenereerd door een veiligheids-gealigneerd model zoals GPT-4o).
   • Harmful-Refusal (H-R): Demonstraties waarin een schadelijke query wordt afgewezen (gegenereerd door een niet-gealigneerd model zoals WizardLM voor de query, gekoppeld aan een veiligheids-gealigneerd antwoord).

2. In-Context Learning met Gemengde Demonstraties:
   Tijdens de inferentie worden deze demonstraties aan de prompt van het Med-VLM toegevoegd. De auteurs introduceren een gemengde strategie waarbij B-A en H-R demonstraties worden gecombineerd met een specifieke mix-ratio ($\alpha$).

   • De formule is: $c_m = Mix(c_h, c_b; n_h, n_b)$, waarbij $n$ het aantal demonstraties is.
   • Door de verhouding te variëren, kan het model leren zowel schadelijke verzoeken af te wijzen als nuttige antwoorden te geven op veilige vragen.

Belangrijkste Bijdragen

1. Synthetische Dataset voor Medische Veiligheid: De auteurs hebben een schaalbare methode ontwikkeld om hoogwaardige, multimodale veiligheidsdemonstraties te genereren zonder menselijke experts, wat de kostbarheid van data-aanmaak oplost.
2. Inference-time Verdediging: Ze tonen aan dat ICL op synthetische data effectief is voor bestaande Med-VLMs (zoals Llava-Med), zelfs zonder extra fine-tuning.
3. Oplossing voor Over-defensie: Ze identificeren dat over-defensie voornamelijk optreedt bij een beperkt budget aan demonstraties (few-shot). Ze lossen dit op met een gemengde demonstratiestrategie die een balans vindt tussen veiligheid en prestaties.
4. Analyse van Jailbreak-resistentie: Ze onderzoeken waarom deze methode werkt tegen geavanceerde, optimalisatie-gebaseerde jailbreak-aanvallen (zoals PGD voor beelden en GCG voor tekst).

Resultaten

De experimenten zijn uitgevoerd op het O2M-benchmark met diverse beeldmodi (CT, MRI, Röntgen, etc.) en twee state-of-the-art modellen (Llava-Med-v1 en v1.5).

• Aanvalssuccesrate (ASR) verlaagd: Het gebruik van H-R demonstraties verlaagde de ASR aanzienlijk. Bijvoorbeeld, voor Llava-Med-v1 daalde de ASR van 72,58% (baseline) naar 17,88% met slechts 2 demonstraties.
• Over-defensie probleem: Bij een klein aantal demonstraties (few-shot) leidde puur H-R gebruik tot een hoge "Refusal Rate" (RR) voor veilige vragen (bijv. 30,56% afwijzingen voor veilige vragen). Dit probleem nam af naarmate het aantal demonstraties ($n$) toenam.
• Gemengde Strategie Effect: Door B-A en H-R demonstraties te mixen (Mix 3-strategie, willekeurige volgorde), werd een optimale balans bereikt. Dit hield de ASR laag (goede beveiliging) terwijl de RR laag bleef (goede bruikbaarheid voor veilige vragen).
• Resistentie tegen Jailbreaks: De methode bleef effectief tegen zowel tekstuele (GCG, AIM) als visuele (PGD) jailbreak-aanvallen. De auteurs tonen aan dat H-R demonstraties de "loss landscape" van het model veranderen, waardoor het moeilijker wordt voor aanvallers om het model te manipuleren.
• Mix-volgorde: De volgorde van demonstraties bleek belangrijk. Het plaatsen van B-A voor H-R (Mix 2) gaf de beste beveiliging maar de slechtste bruikbaarheid. Een willekeurige mix (Mix 3) bood de beste algehele balans.

Betekenis en Conclusie

Dit werk is significant omdat het een lichtgewicht, modulaire oplossing biedt voor de beveiliging van medische AI zonder de noodzaak van kostbare hertraining of menselijke data-annotatie. Het adresseert het kritieke probleem van "over-defensie", wat vaak een belemmering is voor de praktische toepassing van veilige AI in de zorg.

De studie toont aan dat synthetische demonstraties Med-VLMs in staat stellen om ethisch verantwoord te handelen (schadelijke queries afwijzen) terwijl ze hun diagnostische capaciteiten behouden voor legitieme medische vragen. Dit is een belangrijke stap naar het betrouwbaar inzetten van generatieve AI in klinische besluitvorming.

Beperkingen: De auteurs erkennen dat synthetische data mogelijk niet alle nuances van menselijke klinische redenering vangt en dat de kwaliteit afhankelijk is van de gebruikte LLMs voor generatie. Toekomstig werk richt zich op adaptieve selectie van demonstraties en menselijke validatie.