🤖 machine learning

Visual concept ranking uncovers medical shortcuts used by large multimodal models

Dit artikel introduceert de Visual Concept Ranking-methode om te onthullen hoe grote multimodale modellen in de gezondheidszorg, met name bij het classificeren van huidlaesies, onbetrouwbare visuele shortcuts gebruiken die leiden tot prestatiekloven tussen verschillende demografische groepen.

Oorspronkelijke auteurs: Joseph D. Janizek, Sonnet Xu, Junayd Lateef, Roxana Daneshjou

Gepubliceerd 2026-02-16

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Joseph D. Janizek, Sonnet Xu, Junayd Lateef, Roxana Daneshjou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: Hoe we de "geheime trucs" van medische AI hebben onthuld

Stel je voor dat je een zeer slimme, maar soms wat onvoorspelbare robotarts hebt. Deze robot (een Groot Meervoudig Model of LMM) is getraind om foto's van huidlaesies te bekijken en te zeggen of ze kwaadaardig (kanker) of onschuldig zijn. Hij lijkt geweldig, maar zoals elke student die net zijn examen heeft gehaald, heeft hij soms afkoppelingen (shortcuts) gebruikt in plaats van echt te begrijpen wat hij ziet.

De auteurs van dit papier hebben een nieuwe methode bedacht, genaamd VCR (Visual Concept Ranking), om te achterhalen waar deze robot precies naar kijkt. Het is alsof je een detective bent die de robot ondervraagt om te zien welke aanwijzingen hij echt belangrijk vindt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De robot kijkt naar de verkeerde dingen

In het verleden hebben we al gezien dat AI-modellen soms "valstrikken" lopen. Bijvoorbeeld: ze zeggen dat een longfoto ziek is, niet omdat ze een vlek in de long zien, maar omdat er een speciaal merkteken van het ziekenhuis in de hoek van de foto staat.

De auteurs ontdekten iets vreemds bij huidkanker-modellen:

Als je de robot vraagt om een foto te beoordelen zonder voorbeelden, doet hij het redelijk.
Maar als je hem voorbeelden geeft (bijvoorbeeld: "Kijk, dit is een kwaadaardige plek, en dit is een onschuldige"), gedraagt hij zich raar. Voor mensen met een donkere huidskleur wordt hij beter, maar voor mensen met een lichte huidskleur wordt hij slechter.

Waarom? Wat zag hij precies in die voorbeelden?

2. De oplossing: De "Concept-Radar" (VCR)

Om dit op te lossen, hebben de onderzoekers de VCR ontwikkeld. Je kunt dit zien als een superkrachtige scanner die de hersenen van de robot afzoekt.

Stel je voor dat je de robot een foto van een huidplek geeft. VCR doet dan het volgende:

Het testen van duizenden ideeën: De scanner vraagt zich af: "Kijkt de robot naar 'tatoeages'? Naar 'blauwe vlekken'? Naar 'haren'? Naar 'de nek'?" Ze testen dit met duizenden verschillende concepten.
Het meten van de reactie: Ze kijken hoe de robot reageert als ze een bepaald concept (bijv. een blauwe stip) in de foto versterken of verzwakken.
De ranglijst: Ze maken een lijst van de concepten die de robot het meest beïnvloeden.

3. Wat vonden ze? De "Blauwe Stip" en de "Huidskleur"

Met hun scanner ontdekten ze twee belangrijke geheimen:

Geheim 1: De Blauwe Stip (De "Shortcut")
De robot bleek extreem gevoelig te zijn voor blauwe of paarse stippen op de huid.

Waarom? In de echte wereld gebruiken dermatologen vaak blauwe inkt om plekken te markeren die ze willen biopsieren (een stukje weefsel afnemen).
Het probleem: De robot leerde dat "blauwe stip = kanker". Maar dit is een valstrik! Niet elke blauwe stip is kanker, en niet elke kanker heeft een stip.
Het verrassende resultaat: Deze "blauwe stip-truc" werkte voor mensen met een donkere huidskleur, zelfs als je voorbeelden gaf. Maar voor mensen met een lichte huidskleur stopte de robot met hierop te vertrouwen als je voorbeelden gaf. Dit verklaarde waarom de robot voor lichte huidskleuren ineens slechter werd: hij verloor zijn favoriete "cheat code".

Geheim 2: De Achtergrond (De "Locatie")
De robot bleek ook te oordelen op basis van waar de plek zat.

Als een plek op een neus of hals zat, dacht de robot: "Oh, dit is waarschijnlijk onschuldig."
Als dezelfde plek op een neutrale, witte achtergrond zat, dacht hij: "Dit is waarschijnlijk kanker."
Dit is gevaarlijk! Als een arts een foto maakt van een plek op de neus, zou de robot die kunnen onderschatten, wat kan leiden tot gemiste diagnoses.

4. Waarom is dit belangrijk?

Voorheen konden we alleen kijken naar de uitslag van de robot (goed of fout). We wisten niet waarom hij fout zat.
Met VCR kunnen we nu zeggen: "Hé robot, je kijkt niet naar de kanker, maar naar de blauwe inkt van de arts!" of "Je bent bang voor haren op het hoofd, terwijl dat niets te maken heeft met kanker."

Dit is als het geven van een röntgenfoto van de gedachten van de AI.

Conclusie

Deze studie laat zien dat zelfs de slimste AI-modellen soms slordig zijn en "trucs" gebruiken in plaats van echt te leren. De VCR-methode is een krachtig gereedschap om die trucs op te sporen. Het helpt ervoor te zorgen dat medische AI eerlijk is voor iedereen, ongeacht hun huidskleur, en dat ze echt kijken naar de ziekte en niet naar de inktvlekken of de achtergrond.

Kortom: We hebben de robotarts niet alleen getest, we hebben hem ook uitgelegd hoe hij denkt, zodat we hem kunnen corrigeren voordat hij een patiënt verkeerd behandelt.

Probleemstelling

De betrouwbaarheid van machine learning-modellen in veiligheidskritieke domeinen zoals de gezondheidszorg is een groot zorgpunt. Hoewel Large Multimodal Models (LMM's) – modellen die zowel tekst als beelden verwerken – indrukwekkende prestaties leveren, vertonen ze vaak onvoorspelbare tekortkomingen en "shortcuts" (korte wegjes).

Shortcuts: Modellen leren vaak om te vertrouwen op irrelevante visuele aanwijzingen (bijvoorbeeld hospital-specifieke markers of achtergrondartefacten) in plaats van op de werkelijke pathologische kenmerken.
Demografische dispariteiten: Recent onderzoek toonde aan dat LMM's, wanneer ze worden geprompt met voorbeelden (In-Context Learning of ICL), hun prestaties kunnen verbeteren voor bepaalde demografische groepen (bijv. donkere huidskleur) ten koste van andere (bijv. lichte huidskleur).
Beperkingen van bestaande methoden: Bestaande interpretatiemethoden, zoals saliency maps (die pixel-gebaseerde belangrijkheid tonen), zijn beperkt in het identificeren van abstracte concepten (zoals "algemene helderheid" of "achtergrondtype"). Correlatiegebaseerde methoden (zoals MA-MONET) kunnen misleidend zijn omdat ze verbanden vinden in de testdata die niet causaal zijn voor het model, vooral bij dataset-shifts.

Er is dus behoefte aan een methode die causale afhankelijkheden van visuele concepten kan identificeren en valideren, zelfs bij complexe LMM's.

Methodologie: Visual Concept Ranking (VCR)

De auteurs introduceren Visual Concept Ranking (VCR), een methode om de belangrijkste visuele concepten te identificeren die een LMM gebruikt voor een specifieke taak. VCR combineert de kracht van Vision-Language Models (VLM's) met interne modelactivaties (gradiënten) om causale relaties te testen.

Het proces bestaat uit vier hoofdstappen:

Genereren van conceptlabels:
- Een voorgeprogrammeerd VLM (bijv. OpenCLIP) wordt gebruikt om een "probe set" van afbeeldingen te labelen met een reeks concepten (bijv. 20.000 Engelse woorden).
- Voor elke afbeelding-concept-paar wordt de cosine-afstand tussen de visuele en tekstuele embeddings berekend, wat resulteert in een genormaliseerde conceptlabelmatrix $Y$ .
Leren van Concept Activation Vectors (CAV's):
- De activaties van de target LMM (bijv. OpenFlamingo) worden geëxtraheerd uit een specifieke laag (meestal de laatste transformer-blok) voor elke afbeelding in de probe set.
- Er wordt een lineaire regressiemodel getraind om de conceptlabels ( $Y$ ) te voorspellen op basis van deze modelactivaties ( $A$ ). De gewichten van dit model definiëren de Concept Activation Vectors (CAV's), die de richting in de activatieruimte vertegenwoordigen die overeenkomt met een specifiek visueel concept.
Meten van gevoeligheid (Sensitivity):
- De belangrijkheid van een concept wordt bepaald door de directionele afgeleide van de taakscore (bijv. de log-probabiliteit van het woord "malignant") langs de CAV.
- Dit meet hoe sterk de output van het model verandert wanneer de activaties in de richting van het concept worden verstoord. Dit is een directe maat voor causale invloed, in tegenstelling tot puur correlatieve methoden.
Statistische significantie:
- Om de betrouwbaarheid te garanderen, wordt het proces herhaald met bootstrap-resampling van de probe set.
- Een t-test wordt uitgevoerd om te bepalen of de gevoeligheidsscores significant verschillen van nul, met correctie voor meervoudige toetsing (Bonferroni).

Belangrijkste Bijdragen

VCR-methode: Een nieuwe, schaalbare aanpak voor het auditen van LMM's die in staat is om duizenden visuele concepten te testen zonder vooraf gedefinieerde hypothesen ("hypothesis-free").
Validatie op synthetische data: De auteurs tonen aan dat VCR sterk correleert met de werkelijke causale effecten (interventies) en robuust is tegen dataset-shifts, terwijl puur correlatieve methoden (zoals CLIP-only of MA-MONET) hierin falen.
Ontdekking van medische shortcuts: Toepassing op dermatologische data onthulde dat modellen afhankelijk zijn van blauwe/paarse inktmarkeringen (gebruikt door artsen voor biopsies) als een shortcut voor kwaadaardigheid, en dat deze afhankelijkheid verschilt per huidskleur en prompt-stijl (zero-shot vs. ICL).
Anatomische bias: De methode identificeerde dat modellen de kans op kwaadaardigheid systematisch onderschatten voor laesies op specifieke lichaamsdelen (zoals het gezicht of de hoofdhuid) ten opzichte van een neutrale huidachtergrond.

Resultaten

Synthetische benchmarks:
- VCR toonde een sterke correlatie (Pearson's $r \approx 0.53$ ) met de werkelijke causale effecten op synthetische data.
- Bij een experiment met dataset-shift (waar een "spurious" feature tijdens training negatief correleerde maar tijdens testen positief), identificeerde VCR de ware causale relatie in 92% van de gevallen. Een correlatieve baseline (CLIP-only) deed dit slechts in 18% van de gevallen.
Dermatologie (Huidlaesies):
- Inktmarkeringen: VCR ontdekte dat concepten zoals "tattoo" en "Purpura/Petechiae" in feite verwijzen naar blauwe/paarse inktvlekken. Deze waren sterke voorspellers voor kwaadaardigheid bij patiënten met donkere huid (FST V/VI), maar verloor zijn voorspellende waarde bij lichte huid (FST I/II) wanneer voorbeelden (ICL) werden toegevoegd. Handmatige interventies (het toevoegen van inktvlekken aan synthetische huid) bevestigden deze hypothese.
- Anatomische context: Concepten als "neck" (nek) en "hair" (haar) bleken de kans op kwaadaardigheid te verlagen. Experimenten toonden aan dat een laesie op een achtergrond van een gezicht of hoofdhuid een lagere maligniteitskans krijgt dan dezelfde laesie op een neutrale huidachtergrond.
Aanvullende experimenten:
- CheXpert (Röntgenfoto's): VCR identificeerde "wiring" (draden) als een top-concept. De analyse toonde aan dat het model kijkt naar medische apparatuur (pacemakers, EKG-leads) als een shortcut voor "abnormaal", in plaats van naar de longpathologie zelf.
- Imagenette: De methode bleek ook toepasbaar op niet-medische taken, waarbij het semantisch coherente concepten voor visserij en golfballen identificeerde.

Betekenis en Conclusie

Dit werk is van groot belang voor de veilige implementatie van AI in de gezondheidszorg:

Betrouwbaarheid: VCR biedt een manier om te controleren of modellen echt "zien" wat ze moeten zien, of dat ze trucs gebruiken die in de praktijk kunnen falen.
Demografische rechtvaardigheid: Het onderzoek benadrukt dat de prestaties van LMM's niet statisch zijn; ze veranderen afhankelijk van de prompt (bijv. toevoegen van voorbeelden) en kunnen ongelijkheid versterken als de demonstratievoorbeelden niet zorgvuldig worden gecureerd.
Complementariteit: VCR vult bestaande methoden aan. Waar saliency maps goed zijn voor lokale features, is VCR superieur voor het detecteren van diffuse concepten (zoals achtergrondtype) en het onderscheiden van causale versus correlatieve afhankelijkheden.

De auteurs concluderen dat VCR een essentieel hulpmiddel is voor het auditen van LMM's, hoewel het menselijke interpretatie vereist om de semantische betekenis van de gevonden concepten te valideren. Het is een stap in de richting van "justified trust" in medische AI.