Beyond Attention Heatmaps: How to Get Better Explanations for Multiple Instance Learning Models in Histopathology

Dit artikel introduceert een algemeen framework voor het evalueren van de kwaliteit van warmtekaarten in multiple instance learning-modellen voor histopathologie, waarbij wordt aangetoond dat methoden zoals perturbation en LRP betrouwbaardere verklaringen bieden dan traditionele attention-mechanismen, wat leidt tot betere modelvalidatie en biologische inzichten.

De kern

Titel: Waarom de "Lichtjes" op de kaart soms liegen: Een nieuwe manier om AI in de pathologie te begrijpen

Stel je voor dat een patholoog (een arts die weefsels onder de microscoop bekijkt) een gigantische digitale foto van een tumor moet analyseren. Deze foto is zo groot dat hij niet in één keer te zien is; hij bestaat uit miljoenen kleine stukjes, net als een enorme puzzel.

Vroeger keken artsen met het blote oog naar deze puzzelstukjes. Vandaag de dag doet een Kunstmatige Intelligentie (AI) dat voor hen. Maar hier zit een probleem: de AI is een "zwarte doos". We zien het antwoord (bijvoorbeeld: "dit is kanker"), maar we weten niet waarom de AI dat denkt.

Om dit op te lossen, gebruiken wetenschappers vaak warmtekaarten (heatmaps). Dit zijn kaarten op de digitale foto waarop bepaalde stukjes rood worden gekleurd. Rood betekent: "Hier kijkt de AI naar, dit is belangrijk."

Het probleem: De "Aandacht" is vaak een leugen
Deze paper zegt: "Stop met blind vertrouwen op die rode vlekken!"
Veel AI-modellen gebruiken een techniek die "aandacht" (attention) heet. Het is alsof de AI een lantaarnpaal vasthoudt en zegt: "Kijk hier!" Maar onderzoekers hebben ontdekt dat die lantaarnpaal vaak op de verkeerde plekken schijnt. De AI kan wel naar een stukje kijken, maar dat betekent niet dat het daarom de diagnose stelt. Het is alsof een kind dat een raadsel oplost, naar het raam kijkt omdat daar de zon schijnt, terwijl het antwoord eigenlijk in de hoek van de kamer ligt.

De oplossing: Een nieuwe test voor de "waarheid"
De auteurs van dit onderzoek hebben een slimme nieuwe manier bedacht om te testen of die rode vlekken wel eerlijk zijn. Ze noemen dit "Patch Flipping" (het omdraaien van puzzelstukjes).

• De Analogie: Stel je voor dat je een team van detectives hebt die een moordzaak oplossen. Je wilt weten welke bewijzen echt belangrijk zijn.
  • De oude manier: Je kijkt naar wie de detective aandacht schenkt.
  • De nieuwe manier (deze paper): Je neemt de bewijzen die de AI als belangrijk heeft gemarkeerd en verwijdert ze uit de puzzel.
  • Als de AI daarna haar antwoord verandert (bijvoorbeeld van "schuldig" naar "onschuldig"), dan was dat bewijs echt belangrijk. De kaart was eerlijk.
  • Als de AI haar antwoord niet verandert, dan was die rode vlek op de kaart nep. De AI keek er naar, maar het telde niet mee voor het oordeel.

Wat hebben ze ontdekt?
Ze hebben zes verschillende methoden getest om die rode kaarten te maken. Het resultaat is verrassend:

1. De "Aandacht"-methode (Attention): Deze is vaak de slechtste. Hij lijkt op een tovenaar die alleen maar naar de meest kleurrijke hoek van de kamer wijst, zonder te weten wat er echt gebeurt.
2. De winnaars: Drie andere methoden (genaamd Single, LRP en IG) werken veel beter. Ze zijn als een forensisch team dat echt bewijst dat een stukje puzzel de oplossing bepaalt. Ze zijn betrouwbaarder en eerlijker.

Waarom is dit belangrijk? Twee voorbeelden uit de praktijk

De auteurs tonen aan dat met deze betere kaarten je echt nieuwe dingen kunt ontdekken:

• Voorbeeld 1: Genen zien zonder DNA-test.
  Soms willen artsen weten welke genen in een tumor actief zijn, maar ze hebben geen dure DNA-test. Ze gebruiken de AI om dit te voorspellen op basis van de foto. Met de nieuwe, eerlijke kaarten konden ze zien dat de AI inderdaad keek naar de plekken waar die genen actief waren. Het was alsof ze met een magische bril door de weefsels konden kijken en de genen zagen "branden". Dit geeft vertrouwen dat de AI niet bedriegt.

• Voorbeeld 2: Het HPV-geheim.
  Bij keelkanker is het belangrijk om te weten of het virus HPV de oorzaak is. Artsen weten al een paar tekenen, maar de AI vond nieuwe, verborgen patronen.

  • Soms keek de AI naar plekken met veel ontstekingscellen (een bekend teken).
  • Maar soms keek de AI naar plekken met weinig ontstekingscellen, terwijl het toch HPV was.
  • Dit betekent dat de AI een heel ander "spoor" had gevonden dan de menselijke arts. Door de kaart te gebruiken, ontdekten ze dat de AI soms naar een heel ander type tumor keek dan verwacht. Dit kan leiden tot betere diagnoses in de toekomst.

Conclusie
Deze paper is een waarschuwing en een gids. Het zegt: "Vertrouw niet zomaar op de rode vlekken die AI maakt. Test ze eerst met onze nieuwe methode."

Als we dit doen, kunnen artsen de AI beter vertrouwen, fouten voorkomen en misschien zelfs nieuwe ziektepatronen ontdekken die zelfs de beste menselijke specialisten over het hoofd zien. Het is alsof we van een wazige kaart naar een scherpe GPS-navigatie zijn gegaan voor de medische wereld.

Technische samenvatting

Probleemstelling

In de computationele histopathologie worden Multiple Instance Learning (MIL) modellen veel gebruikt om voorspellingen te doen op het niveau van een hele dia (Whole Slide Image, WSI) door duizenden kleine weefselvlekken (patches) te aggregeren. Om deze modellen te valideren en nieuwe biologische biomarkers te ontdekken, worden vaak warmtekaarten (heatmaps) gebruikt om te tonen welke delen van de dia belangrijk zijn voor de voorspelling.

De kernproblemen die dit artikel adresseert, zijn:

1. Gebrek aan validatie: Hoewel warmtekaarten veel worden gebruikt, is hun validiteit zelden onderzocht. Het is onduidelijk of deze kaarten de werkelijke beslissingsstrategie van het model eerlijk weergeven.
2. Betrouwbaarheid van Attention: De meest gebruikte methode, het extraheren van attention weights uit het model, blijkt vaak conceptueel beperkt en reflecteert niet altijd de feitelijke bijdrage van een patch aan de uitkomst.
3. Gebrek aan richtlijnen: Er ontbreekt een gestructureerde framework om verschillende uitlegmethode (explanation methods) systematisch te vergelijken en de beste methode te selecteren voor een specifieke taak (classificatie, regressie, overleving) en architectuur.

Methodologie

De auteurs stellen een model-onafhankelijk evaluatieframework voor dat geen extra labels vereist om de kwaliteit van MIL-warmtekaarten te beoordelen.

1. Evaluatie-methode: Patch Flipping
Om de "trouw" (faithfulness) van een heatmap te testen, gebruiken ze een perturbatie-experiment genaamd Patch Flipping:

• Patches worden gesorteerd op hun relevantiescore (van de heatmap).
• Patches worden progressief verwijderd uit de "bag" (de verzameling patches van een dia) in twee richtingen: eerst de meest relevante patches (aflopende volgorde) en eerst de minst relevante (oplopende volgorde).
• De voorspelling van het model wordt opnieuw berekend na elke verwijdering.
• Symmetric Relevance Gain (SRG): De kwaliteit wordt gemeten aan de hand van het oppervlak tussen de twee resulterende perturbatiecurves. Een grote SRG betekent dat het model sterk reageert op het verwijderen van relevante patches en weinig op het verwijderen van irrelevante patches, wat wijst op een trouwe heatmap.

2. Vergelijkende Benchmark
De auteurs voeren een grootschalige experimentele studie uit met de volgende variabelen:

• 6 Uitlegmethode: Attention (Attn), Integrated Gradients (IG), Gradient × Input (G×I), Saliency (Grad2), Perturbation-based "Single", en Layer-wise Relevance Propagation (LRP).
• 3 Taaktypen: Classificatie, Regressie, en Overlevingsanalyse (Survival).
• 3 MIL Architecturen: Attention-based (AttnMIL), Transformer-based (TransMIL), en Mamba-based (MambaMIL).
• 2 Feature Extractors (Backbones): UNI2 en Virchow2 (foundation models).
• 10 Datasets: Afkomstig van TCGA en CAMELYON16, dekkend diverse kankertypen en biomarkers.

3. Validatie en Ontdekking Gebruiksgevallen
Na de benchmark worden de beste methoden getest in twee praktische scenario's:

• Biologische Validatie: Correlatie van de warmtekaarten van een gen-expressie model met ruimtelijke transcriptomics (ST) data (ground truth) om te zien of de model-attentie overeenkomt met de biologische signaalverdeling.
• Ontdekking van Modellenstrategieën: Combinatie van LRP-warmtekaarten met kwantificeerbare histologische kenmerken (celtelling, weefselcompartimenten) om te ontdekken hoe een model HPV-infectie voorspelt en om verschillende subgroepen van voorspellingen te identificeren.

Belangrijkste Resultaten

De resultaten tonen duidelijke patronen in de prestaties van de uitlegmethode:

1. Attention is vaak onbetrouwbaar: Attention-warmtekaarten presteren in bijna alle gevallen slecht en zijn vaak niet beter dan een willekeurige baseline (Random). Ze kunnen vaak niet onderscheid maken tussen positief en negatief bewijs en reflecteren de modelstrategie niet nauwkeurig.
2. Top-performers: De methoden Single (perturbatie), LRP (propagatie) en IG (geïntegreerde gradiënten) presteren consequent beter dan attention- en gradiëntgebaseerde saliency-methoden.
3. Afhankelijkheid van Architectuur en Taak:
   • Voor Transformer-based modellen (TransMIL) is LRP over het algemeen de beste keuze.
   • Voor Attention-based (AttnMIL) en Mamba-based modellen, vooral bij regressie- en overlevingstaken, presteert Single vaak het beste.
   • IG is een goede, architectuur-onafhankelijke alternatief, hoewel het soms iets minder goed presteert dan Single of LRP.
4. Biologische Validatie: In het geval van gen-expressie (FASN, ERBB2) correleerden de warmtekaarten van Single, LRP en IG sterk met de ground-truth ruimtelijke transcriptomics data. Attention-kaarten toonden hier een zwakke correlatie en veel ruis.
5. Nieuwe inzichten: Door LRP te combineren met histologische kenmerken, ontdekten de auteurs dat het model voor HPV-voorspelling verschillende strategieën gebruikt: sommige gevallen worden voorspeld op basis van lymfocytaire infiltratie (bekend), terwijl andere gevallen voorspeld worden op basis van morfologische patronen die door pathologen niet als kenmerkend voor HPV werden herkend.

Bijdragen

• Framework voor Evaluatie: Introductie van een robuust, label-vrij framework (Patch Flipping/SRG) om de kwaliteit van MIL-warmtekaarten objectief te meten.
• Grootschalige Benchmark: De eerste systematische vergelijking van zes uitlegmethode over tien datasets, drie taaktypen en drie architectuurfamilies.
• Praktische Richtlijnen: Het bieden van concrete aanbevelingen voor welke methode moet worden gebruikt afhankelijk van het model en de taak (bijv. LRP voor TransMIL, Single voor AttnMIL).
• Biologisch Bewijs: Het aantonen dat betrouwbare uitlegmethode kunnen leiden tot biologisch valide inzichten en nieuwe hypothesen genereren over ziektemechanismen.

Betekenis en Impact

Dit werk is van groot belang voor de toepassing van AI in de digitale pathologie:

• Vertrouwen en Validatie: Het benadrukt dat visuele inspectie van attention-kaarten onvoldoende is voor validatie. Het biedt een weg naar meer betrouwbare modelverificatie, wat essentieel is voor klinische adoptie.
• Biomarker Ontdekking: Door betrouwbare heatmaps te gebruiken, kunnen onderzoekers nieuwe morfologische biomarkers ontdekken die niet eerder bekend waren, wat kan leiden tot betere diagnostiek en therapie.
• Ruimtelijke Omics: Het stelt een nieuwe methode voor om "virtuele ruimtelijke omics" te genereren uit standaard H&E-slaan, wat kosteneffectief is in vergelijking met dure ruimtelijke transcriptomics experimenten.
• Standaardisatie: Het werk legt de basis voor een bredere adoptie van Explainable AI (XAI) in de pathologie, waarbij de keuze van de uitlegmethode niet langer willekeurig is, maar gebaseerd op kwantitatieve prestaties.

Kortom, het artikel beweert dat de community moet overstappen van het blind vertrouwen op attention-mechanismen naar het gebruik van geavanceerdere, geteste methoden zoals LRP en Single om de "black box" van MIL-modellen in de pathologie echt te openen.