Consistent but Dangerous: Per-Sample Safety Classification Reveals False Reliability in Medical Vision-Language Models

Probleemstelling

Medische Vision-Language Models (VLM's) worden steeds vaker ingezet voor klinische taken, zoals het beantwoorden van visuele vragen over borstfoto's (röntgenfoto's). Een cruciale vereiste voor de veilige implementatie van deze systemen is betrouwbaarheid: artsen moeten erop kunnen vertrouwen dat semantisch equivalente vragen (parafrazen) tot identieke antwoorden leiden.

Huidige evaluaties gebruiken de flip-rate (het percentage gevallen waarin een parafraze een ander antwoord geeft dan de originele vraag) als proxy voor betrouwbaarheid. Een lage flip-rate wordt geïnterpreteerd als stabiel gedrag.
De auteurs betogen dat deze interpretatie een fundamenteel blind punt heeft: een model kan een perfecte flip-rate van 0% bereiken door te vertrouwen op tekstpatronen in plaats van de inputafbeelding. Een model dat bijvoorbeeld altijd "ja" antwoordt op de vraag "Is er een pleurale effusie?", ongeacht de foto, is consistent (0% flip-rate) en kan zelfs een hoge nauwkeurigheid behalen op onbalans datasets, maar is klinisch gevaarlijk omdat het de afbeelding negeert.

Methodologie

De auteurs introduceren een nieuw evaluatiekader dat per steekproef (per-sample) twee binaire eigenschappen combineert:

1. Consistentie: Het model geeft hetzelfde antwoord voor een vraag en al zijn semantisch equivalente parafrazen.
2. Afbeeldingsafhankelijkheid (Image Reliance): Het antwoord verandert wanneer de afbeelding wordt verwijderd en alleen de tekst wordt ingevoerd ($f(x, q) \neq f(\emptyset, q)$).

Op basis van deze twee eigenschappen wordt een vier-kwadranten taxonomie opgezet:

• Ideal (Ideaal): Consistent én afbeeldingsafhankelijk. (Stabiele voorspellingen gebaseerd op visuele bewijzen).
• Fragile (Fragiel): Niet consistent, maar wel afbeeldingsafhankelijk. (Het model gebruikt de afbeelding, maar is gevoelig voor formulering).
• Dangerous (Gevaarlijk): Consistent, maar niet afbeeldingsafhankelijk. (Stabiele voorspellingen die identiek zijn zonder afbeelding; een vals gevoel van betrouwbaarheid).
• Worst (Slechtste): Niet consistent en niet afbeeldingsafhankelijk.

Experimenteel Opzet:

• Modellen: Vijf configuraties van twee medische VLM-families: MedGemma-4B-IT (Base, Targeted LoRA, Full LoRA) en LLaVA-Rad (Base, LoRA).
• Datasets: Twee datasets voor borstfoto's: MIMIC-CXR (gebalanceerd, ~50% "ja") en PadChest (ongebalanceerd, ~81% "ja", out-of-distribution).
• Baseline: Voor elke steekproef wordt een "text-only" forward pass uitgevoerd (zonder afbeelding) om afbeeldingsafhankelijkheid te testen.

Belangrijkste Resultaten

1. De Consistentie-Veiligheids Paradox:
   Er is een sterke negatieve correlatie ($r = -0.89$) tussen de flip-rate en het aandeel "Dangerous" samples. Modellen die geoptimaliseerd zijn voor consistentie (lage flip-rate) vertonen juist het hoogste percentage gevaarlijke, tekst-afhankelijke voorspellingen.

   • Voorbeeld: LLaVA-Rad Base op PadChest heeft een flip-rate van slechts 1,5% (uitstekend volgens oude standaarden), maar 98,5% van de samples valt in het "Dangerous" kwadrant.

2. Het Nauwkeurigheidsvalstrik:
   Samples in het "Dangerous" kwadrant vertonen vaak een hogere nauwkeurigheid dan "Ideal" samples. Op de onbalans dataset PadChest (waar 81% "ja" is) behalen "Dangerous" modellen een nauwkeurigheid van tot wel 99,6% door simpelweg "ja" te voorspellen zonder naar de foto te kijken. Dit maakt ze onzichtbaar voor standaard nauwkeurigheidsmetingen.

3. Falen van Onzekerheidsmetingen:
   "Dangerous" samples hebben een lage entropie (hoge zekerheid). Omdat het model een betrouwbaar tekstpatroon heeft geleerd, is het zeer zelfverzekerd in zijn foutieve (tekst-gebaseerde) voorspelling. Standaard onzekerheids-screening (die hoge entropie signaleert) faalt hier volledig en filtert juist de "Fragile" (echte visuele) samples eruit, terwijl de "Dangerous" samples doorgaan.

4. Invloed van Fine-tuning (LoRA):
   Het toepassen van LoRA (Low-Rank Adaptation) om consistentie te verbeteren, verschuift samples systematisch van het "Fragile" naar het "Dangerous" kwadrant. De modellen leren tekstkoppelingen om variatie in antwoorden te elimineren, ten koste van visuele grondslag.

Bijdragen

1. Nieuwe Taxonomie: Introductie van een vier-kwadranten per-sample veiligheidsframework dat consistentie en afbeeldingsgrondslag gelijktijdig evalueert.
2. Empirisch Bewijs: Demonstratie van de "Consistency-Safety Paradox" over vijf modelconfiguraties en twee datasets, waarbij wordt aangetoond dat optimalisatie voor consistentie de veiligheid ondermijnt.
3. Detectie van Onzichtbare Risico's: Aantonen dat "Dangerous" samples ondetecteerbaar zijn voor standaard methoden (nauwkeurigheid, flip-rate, entropie) omdat ze er betrouwbaar uitzien maar geen visuele input gebruiken.
4. Praktische Aanbeveling: Een eenvoudige, goedkope test voor implementatie: koppel elke consistentie-evaluatie aan een text-only baseline (één extra forward pass zonder afbeelding) om de "vals betrouwbaarheid" te onthullen.

Significantie en Conclusie

De studie waarschuwt dat huidige evaluatiestandaarden voor medische AI gevaarlijke systemen kunnen selecteren die er op papier perfect uitzien (hoge nauwkeurigheid, lage flip-rate, hoge zekerheid), maar in de praktijk de patiëntfoto negeren.

De kernboodschap is dat consistentie noodzakelijk maar niet voldoende is voor veiligheid. Een model dat consistent is, kan gevaarlijk zijn als die consistentie gebaseerd is op tekstshortcuts in plaats van visuele redenering. De auteurs pleiten ervoor dat evaluaties voor klinische implementatie altijd een text-only baseline-test moeten bevatten om te garanderen dat voorspellingen daadwerkelijk gebaseerd zijn op de medische beelden en niet op statistische patronen in de vraagtekst. Dit is een essentiële stap om "vals betrouwbaarheid" te voorkomen en echte klinische veiligheid te waarborgen.