Assessing VLM Reliability for Medical Image Quality Evaluation Under Corruption and Bias

Technische Samenvatting: Beoordeling van de Betrouwbaarheid van VLM's voor de Evaluatie van Medische Beeldkwaliteit onder Corruptie en Bias

Probleemstelling
Vision-Language Models (VLM's) worden steeds vaker ingezet voor medische taken zoals rapportgeneratie en visuele vraag-en-antwoord-systemen. De betrouwbaarheid ervan in veiligheidskritische contexten, specif으로 voor Medische Beeldkwaliteitsbeoordeling (MIQA), is echter nog onvoldoende onderzocht. Klinische implementatie vereist modellen die in staat zijn om de integriteit van beelden robuust te evalueren ondanks real-world degradaties (bijv. ruis, onscherpte) en die objectief blijven wanneer ze worden gepresenteerd met contextuele metadata. De huidige literatuur mist een uitgebreide benchmark die kwantificeert hoe VLM's reageren op systematische beeldcorrupties en of tekstuele biases (bijv. institutionele prestige, demografie van de operator) onbedoeld de kwaliteitsbeoordeling beïnvloeden. Deze studie adresseert het gat in het begrip van VLM-gedrag onder deze condities om diagnostische fouten te voorkomen en patiëntveiligheid te waarborgen.

Methodologie
De auteurs voerden een zero-shot benchmarking-studie uit met de MediMeta-C dataset, die bestaat uit schone medische beelden en systematisch gecorrumpeerde versies over zeven corruptietypen (Motion Blur, Zoom Blur, Gaussian Noise, Impulse Noise, Brightness, Contrast, Pixelation) bij vijf ernstgraden.

• Geëvalueerde Modellen: In totaal werden 16 open-source VLM's getest, waaronder 11 algemene modellen (bijv. LLaVA, Qwen, InternVL) en 5 medisch georiënteerde modellen (bijv. MedGemma, Lingshu Medical).
• Evaluatiepijplijn:
  1. Visuele Robuustheid: Modellen werden gepromptt om de beeldkwaliteit te beoordelen op een schaal van 1–5 voor zowel schone als gecorrumpeerde beelden. De studie kwantificeerde het percentage verandering in scores ten opzichte van de schone baselines.
  2. Embedding Geometrie: Om de interne representatie van kwaliteit te begrijpen, analyseerden de auteurs de Euclidische afstand tussen de zwaartepunten (centroids) van de embeddings van schone beelden en die van gecorrumpeerde beelden in de latente ruimte.
  3. Tekstuele Bias Analyse: De studie introduceerde gecontroleerde biases in systeem-prompts door metadata toe te voegen met betrekking tot vier categorieën: Demografie (ras/naam van de arts), Expertise (student versus expert), Infrastructuur (oud versus high-tech apparaat) en Instituut (lokaal versus wereldklasse). De impact van deze niet-visuele cues op de kwaliteitsscores werd gemeten.

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: Een zero-shot evaluatiekader vastgesteld voor MIQA over 16 VLM's, zeven modaliteiten (inclusief celmicroscopie, mammografie, OCT en thoraxfoto's) en meerdere corruptietypen.
2. Mapping van Corruptiegevoeligheid: Specifieke degradatiepatronen in kaart gebracht aan scoreverlagingen, waarbij werd vastgesteld dat VLM's zeer gevoelig zijn voor pixelatie (wat fijne details maskeert) maar relatief ongevoelig voor helderheidsveranderingen.
3. Correlatie tussen Embedding en Prestatie: Aangetoond dat er een directe correlatie bestaat tussen de geometrische verplaatsing van beeld-embeddings in de latente ruimte en de omvang van de kwaliteitsscore-veranderingen, wat suggereert dat VLM's kwaliteitinformatie impliciet coderen binnen hun feature-representaties.
4. Kwantificering van Bias Kwetsbaarheid: Systematisch blootgelegd hoe contextuele metadata de visuele bewijslast kan overstemmen, wat leidt tot significante fluctuaties in scores op basis van irrelevante tekstuele attributen.

Resultaten

• Impact van Beeldcorruptie:

  • Pixelatie veroorzaakte de meest significante prestatiedegradatie, met een gemiddelde scorevermindering van -20,58% over alle modellen en modaliteiten. Voor Optical Coherence Tomography (OCT) bereikte deze reductie -34,4%.
  • Helderheid (Brightness) had de minste impact, met een gemiddelde reductie van slechts -0,81%.
  • Contraintuïtief Gedrag: Sommige modellen vertoonden verhoogde kwaliteitsscores voor gecorrumpeerde beelden. Zo gaven InternVL-8B en InternVL-14B scores toe tot wel +31% hoger voor mammografiebeelden die gecorrumpeerd waren met impulse noise, wat potentieel ruis-artefacten verkeerd interpreteert als klinisch relevante calcificaties.
  • Embedding Analyse: De grootste embedding-verplaatsing (69,99) kwam overeen met gepixeliseerde OCT-beelden, wat overeenkomt met de grootste scoreverminderingen. Dit bevestigt dat VLM's grote verschuivingen in de latente ruimte interpreteren als kwaliteitsdegradatie.
  • Model Correlatie: Modellen binnen dezelfde familie vertoonden een hoge correlatie in scoregedrag (0,67–0,83), terwijl sommige modellen (bijv. LLaVA-Med-Mistral-7B) bijna nul correlatie vertoonden met anderen, wat wijst op uiteenlopende evaluatiecriteria.

• Impact van Tekstuele Bias:

  • Institutionele Prestige: Prompts die verwezen naar "high world-class medical institutions" verhoogden de gemiddelde scores met +17,15%.
  • Apparatuurleeftijd: Prompts die verwezen naar "oude apparaten" verlaagden de gemiddelde scores met -14,7%.
  • Extreme Variabiliteit: De bias-effecten waren modelafhankelijk. InternVL-8B vertoonde een enorme scoreverhoging van +95,62% voor mammografie-calcificaties onder beïnvloede prompts, terwijl MedGemma-modellen een afname van -37,7% lieten zien wanneer ze werden geprompt met de metadata "oude apparatuur".
  • Demografie en Expertise: Scores varieerden significant op basis van of het beeld werd toegeschreven aan een "wereldberoemde expert" versus een "medisch student", of op basis van de demografische achtergrond van de arts, wat duidt op een gebrek aan objectiviteit.

Significantie en Claims
Het artikel concludeert dat huidige VLM's aanzienlijke beperkingen bezitten voor geautomatiseerde medische beeldkwaliteitsbeoordeling. De auteurs stellen het volgende:

1. Privacy-Betrouwbaarheidsttrade-off: Pixelatie, vaak gebruikt als een privacy-beschermende transformatie, degradeert de prestaties van VLM's ernstig, wat wijst op een trade-off tussen patiëntprivacy en modelbetrouwbaarheid.
2. Metadata als Bron van Bias: De gevoeligheid van VLM's voor contextuele metadata (instituut, apparatuur, demografie) duidt op een gebrek aan objectiviteit. De auteurs argumenteren dat metadata niet louter administratief is, maar een bron van systematische bias die klinische oordelen kan veranderen.
3. Verweven Vereisten: Het beschermen van privacy (door metadata te verwijderen of te anonimiseren) en het waarborgen van objectieve kwaliteitsbeoordeling zijn diep met elkaar verbonden vereisten. De auteurs stellen dat robuuste privacy-beschermende pijplijnen technisch essentieel zijn voor het betrouwbaar functioneren van VLM's in klinische settings, aangezien metadata-lekkage zowel de eerlijkheid als de diagnostische nauwkeurigheid in gevaar brengt.
4. Noodzaak voor Systematische Evaluatie: De studie benadrukt dat zonder dergelijke benchmarking, kwetsbaarheden met betrekking tot corruptiegevoeligheid en bias-gevoeligheid verborgen kunnen blijven tot na klinische implementatie, wat risico's voor de patiëntveiligheid met zich meebrengt.