Learning to Select Like Humans: Explainable Active Learning for Medical Imaging

Dit paper introduceert een uitlegbare actieve leerframework voor medische beeldanalyse dat een dual-criteria selectiestrategie combineert—onvoorspelbaarheid en afwijking van radioloog-gedefinieerde aandachtspunten—om met een beperkt aantal voorbeelden modellen te trainen die zowel nauwkeurig als klinisch interpreteerbaar zijn.

De kern

Leren zoals een mens: Hoe een slimme AI beter leert van medische scans

Stel je voor dat je een jonge arts in opleiding hebt die moet leren tumoren te herkennen op MRI-scans of longontstekingen op röntgenfoto's. Om dit goed te leren, heeft deze arts duizenden voorbeelden nodig. Maar hier zit het probleem: echte medische experts (zoals radiologen) zijn duur, hebben weinig tijd en moeten elke foto met de hand nakijken om te zeggen: "Ja, hier zit een tumor" of "Nee, dit is gezond weefsel".

Normaal gesproken proberen computers (AI) dit probleem op te lossen door Actief Leren te gebruiken. Het idee is simpel: de computer kiest zelf de foto's uit die het meest nodig heeft om te leren, zodat we niet duizenden foto's hoeven te laten nakijken, maar slechts een paar honderd.

Maar tot nu toe was de computer een beetje dom in zijn keuze. Hij keek alleen naar één ding: "Hoe onzeker ben ik?"

• Als de computer zegt: "Ik weet het niet zeker, dit is 50/50", dan kiest hij die foto.
• Als hij zegt: "Ik weet het zeker, dit is 100% een tumor", dan slaat hij die foto over, zelfs als hij dat verkeerd heeft.

Het probleem: Zekerheid is niet altijd goed
Stel je voor dat de computer een foto van een tumor bekijkt. Hij zegt heel zelfverzekerd: "Dit is een tumor!" Maar in werkelijkheid kijkt hij naar de verkeerde plek. Hij ziet een schaduw van een rib of een knoop op een shirt en denkt dat dat de tumor is. Omdat hij zo zeker is van zijn antwoord, denkt de oude methode: "Ah, hij weet het al, we hoeven deze niet te laten nakijken."

Dit is gevaarlijk. In de medische wereld wil je niet dat de AI zeker is, maar op de verkeerde plek kijkt.

De oplossing: Kijk ook naar waar de AI kijkt
De auteurs van dit paper hebben een nieuwe manier bedacht, genaamd EG-AL. Ze zeggen: "Laten we niet alleen kijken naar hoe zeker de AI is, maar ook naar waar hij naar kijkt."

Ze gebruiken een creatieve analogie met een zoeklicht:

1. De oude methode: Kijkt alleen of de AI twijfelt over het antwoord.
2. De nieuwe methode (EG-AL): Kijkt ook of het zoeklicht van de AI op het juiste doelwit schijnt.

Ze vergelijken het zoeklicht van de AI (een techniek die ze 'Grad-CAM' noemen) met de echte tekeningen van de medische expert.

• Als de AI zegt: "Ik weet het niet" (onzeker) EN hij kijkt naar de verkeerde plek, dan is dat een perfecte foto om te laten nakijken.
• Als de AI zegt: "Ik weet het zeker!" maar hij kijkt naar de verkeerde plek (bijvoorbeeld naar een rib in plaats van de long), dan is dat nog belangrijker om te laten nakijken! Dit is een fout die de oude methode nooit zou zien.

Hoe werkt het in de praktijk?
De computer doet dit in een cyclus:

1. Hij krijgt een kleine set foto's die al door experts zijn bekeken.
2. Hij leert hier een beetje van.
3. Hij bekijkt een grote stapel onbekeken foto's.
4. Hij geeft elke foto een score op basis van twee dingen:
   • Twijfel: Hoe onzeker is hij?
   • Afleiding: Kijkt hij naar de verkeerde plek?
5. Hij kiest de top-foto's uit die het beste zijn om te laten nakijken (of omdat hij twijfelt, of omdat hij op de verkeerde plek kijkt).
6. De expert kijkt deze foto's na, en de AI leert ervan.

Wat is het resultaat?
De auteurs hebben dit getest op drie verschillende medische datasets (hersentumoren, borstfoto's en longfoto's).
Het resultaat is indrukwekkend:

• Met slechts 570 slim gekozen foto's (in plaats van duizenden willekeurige foto's) presteerde hun AI veel beter dan een AI die willekeurige foto's leerde.
• De AI werd niet alleen slimmer in het geven van het juiste antwoord, maar leerde ook waar hij moest kijken. Hij leerde echt naar de tumor te kijken en niet naar de randen van de foto.

Conclusie in één zin
Deze nieuwe methode zorgt ervoor dat een AI niet alleen leert wat het moet zeggen, maar ook waar het moet kijken, door slimme vragen te stellen aan medische experts. Het is alsof je een leerling niet alleen vraagt "weet je het antwoord?", maar ook "kijk je wel naar het juiste ding op de foto?". Hierdoor wordt de AI veiliger, sneller en betrouwbaarder voor echte ziekenhuizen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Learning to Select Like Humans: Explainable Active Learning for Medical Imaging" in het Nederlands.

Titel: Leren Selecteren zoals Mensen: Verklarende Actief Leren voor Medische Beeldvorming

Auteurs: Ifrat Ikhtear Uddin, Longwei Wang, Xiao Qin, Yang Zhou en KC Santosh.

---

1. Probleemstelling

Medische beeldanalyse vereist grote hoeveelheden gelabelde data voor het trainen van modellen. Echter, het verkrijgen van expertannotaties (door radiologen) is duur, tijdrovend en vereist gespecialiseerde kennis. Actief Leren (Active Learning - AL) lost dit op door strategisch de meest informatieve samples te selecteren voor annotatie.

De huidige staat van de kunst in AL leunt echter bijna uitsluitend op voorspellende onzekerheid (bijv. entropie). Dit heeft een fundamenteel nadeel:

• Een model kan een hoge zekerheid hebben over een voorspelling, maar tegelijkertijd focussen op klinisch irrelevante gebieden (bijv. ruggenmerg in plaats van een tumor).
• Dergelijke "zeker maar verkeerd" fouten worden door onzekerheidsgebaseerde methoden niet gedetecteerd, omdat de entropie laag is.
• Voor klinische toepassing is het echter cruciaal dat modellen niet alleen de juiste klasse voorspellen, maar ook op de juiste anatomische regio's focussen (spatial interpretability).

Het artikel stelt de vraag: Kan de uitlijning van aandacht (attention) met expert-annotaties worden gebruikt om samples te selecteren die efficiënter zijn dan onzekerheid alleen?

---

2. Methodologie: EG-AL Framework

De auteurs introduceren Explainability-Guided Active Learning (EG-AL), een framework dat een dubbele criterium-strategie hanteert voor de selectie van samples.

A. Het Dubbele Criterium

Voor elke ongeannoteerde sample $x$ wordt een score berekend die twee orthogonale foutmodi combineert:

1. Classificatieonzekerheid ($H(x)$):

   • Gemeten via Shannon-entropie van de voorspelde klassenverdeling.
   • Identificeert samples waar het model twijfelt over de label (hoge entropie).
   • Formule: $H(x) = -\sum p(y=k|x) \log p(y=k|x)$.

2. Uitleg-misalignering ($D_{exp}(x)$):

   • Dit is de kerninnovatie. Het meet de discrepantie tussen waar het model naar kijkt en waar de expert naar kijkt.
   • Grad-CAM wordt gebruikt om een aandachtskart (attention map) te genereren voor de voorspelde klasse.
   • De Dice-afstand wordt berekend tussen deze Grad-CAM kaart en de expert-annotatie (ROI-masker).
   • Een hoge $D_{exp}$ betekent dat het model focust op de verkeerde gebieden, zelfs als het zeker is van zijn voorspelling.
   • Formule: $D_{exp}(x) = 1 - \frac{2 \cdot |CAM \cap ESM|}{|CAM| + |ESM|}$.

B. Composite Acquisition Score

De uiteindelijke score voor selectie is een gewogen som:
$$Score(x) = \lambda \cdot H(x) + (1 - \lambda) \cdot D_{exp}(x)$$
Waarbij $\lambda$ de afweging bepaalt tussen onzekerheid en misalignering. De auteurs vinden dat $\lambda = 0.5$ (of 0.6 voor VinDr-CXR) de beste balans biedt.

C. Iteratief Proces

1. Start met een kleine set gelabelde data (seed set).
2. Train een baseline model.
3. Bereken de composite score voor alle ongeannoteerde samples.
4. Selecteer de top-K samples met de hoogste scores.
5. Laat experts deze annoteren (zowel labels als ROI-maskers).
6. Retraining: Het model wordt opnieuw getraind met een compositie verliesfunctie:
   $$L_{total} = L_{cls} + \alpha \cdot L_{exp}$$
   Waarbij $L_{exp}$ de Dice-loss is tussen de Grad-CAM output en de expert-ROI. Dit zorgt ervoor dat het model niet alleen de label leert, maar ook de ruimtelijke focus verbetert.

---

3. Belangrijkste Bijdragen

1. Nieuwe Acquisition Functie: Voor het eerst wordt ruimtelijke uitleg-misalignering (gemeten via Dice-similariteit tussen Grad-CAM en expert-ROIs) direct geïntegreerd in het AL-selectieproces.
2. Formele Karakterisering van Foutpatronen: Het framework onderscheidt drie soorten fouten die onzekerheid alleen mist:
   • Hoge onzekerheid + Hoge misalignering.
   • Hoge onzekerheid + Lage misalignering.
   • Kritiek: Lage onzekerheid + Hoge misalignering (het model is zeker, maar kijkt naar het verkeerde).
3. Empirische Validatie: Succesvolle toepassing op drie expert-geannoteerde datasets (MRI en X-ray) met bewijs dat uitlegkwaliteit een complementair signaal is voor onzekerheid.

---

4. Resultaten

Het framework werd getest op drie datasets: BraTS (hersentumoren, MRI), VinDr-CXR (borstkas X-stralen) en SIIM-COVID-19 (COVID-19 X-stralen).

• Data-efficiëntie: Met slechts 570 strategisch geselecteerde samples (verspreid over 7 iteraties) presteerde EG-AL consistent beter dan willekeurige selectie (Random Sampling).
• Prestaties (Accuracy):
  • BraTS: EG-AL bereikte 77,22% (vs. 58,01% bij random).
  • VinDr-CXR: EG-AL bereikte 52,37% (vs. 45,49% bij random).
  • SIIM-COVID: EG-AL bereikte 52,66% (vs. 38,28% bij random).
• Stabiliteit: EG-AL vertoonde een lagere standaarddeviatie dan willekeurige selectie, wat wijst op stabielere leertrajecten.
• Visuele Validatie: Grad-CAM visualisaties bevestigden dat modellen getraind met EG-AL selectie zich richten op diagnostisch relevante regio's (bijv. tumorgrenzen of longopaciteiten) en spurious correlaties (zoals ribben of harten) vermijden.

---

5. Betekenis en Conclusie

De studie demonstreert dat de vraag "welke samples moeten worden geannoteerd?" niet alleen kan worden beantwoord door te kijken naar label-onzekerheid. Door ook ruimtelijke redeneringskwaliteit te meten, kunnen modellen sneller en nauwkeuriger leren met minder data.

• Klinische relevantie: Het voorkomt dat modellen "korte paden" vinden (bijv. een diagnose stellen op basis van een artefact in plaats van de pathologie).
• Toekomst: Dit opent een nieuwe dimensie voor actief leren in veiligheidskritieke domeinen, waarbij interpretatie en nauwkeurigheid hand in hand gaan.

Kortom, EG-AL zorgt ervoor dat het model leert "zoals een mens": niet alleen door onzekerheid te verminderen, maar ook door de juiste visuele focus te ontwikkelen.