Explaining Digital Pathology Models via Clustering Activations

Technische Samenvatting: Uitleg van Digitale Pathologie-modellen via Clustering van Activaties

Probleemstelling
De invoering van deep learning-modellen in de klinische digitale pathologie wordt gehinderd door een "vertrouwenskloof". Hoewel Convolutional Neural Networks (CNN's) weefselslides nauwkeurig kunnen classificeren (bijvoorbeeld bij het detecteren van prostaatkanker), functioneren ze als ondoorzichtige "black boxes". Pathologen zijn terughoudend om deze modellen te vertrouwen omdat standaard uitlegtechnieken, zoals occlusie, GradCAM of relevantie-propagatie, slechts ééndimensionale, lokale salientiekaarten bieden. Deze kaarten markeren gebieden die bijdragen aan een enkele voorspelling, maar falen in het uitleggen van het redeneren achter de beslissing of het globale gedrag van het model. In tegenstelling tot menselijke pathologen die diverse morfologische kenmerken en weefseltypen synthetiseren, onthullen huidige methoden niet de interne semantische representaties die het model gebruikt om gezond van kankerachtig weefsel te onderscheiden.

Methodologie
De auteurs stellen een op clustering gebaseerde uitlegtechniek voor die het globale gedrag van CNN-modellen visualiseert door vergelijkbare feature-activaties te groeperen. De methode werkt als volgt:

1. Feature-extractie: Voor een gegeven CNN-model worden featurevectoren geëxtraheerd uit een specifieke convolutielaag $\ell$ voor elke ruimtelijke locatie $(i, j)$ van invoerbeeldtegels. Deze vectoren vertegenwoordigen de activatiewaarden over alle kanalen $C$.
2. Non-Negative Matrix Factorization (NMF): Om semantische interpreteerbaarheid te waarborgen, passen de auteurs NMF toe op de featurevectoren. Aangezien NMF niet-negatieve invoer vereist, gebruiken ze de uitvoer van de laag na de ReLU-activatiefunctie.
3. Clusteringproces:
   • Training: Een trainingsmatrix $V$ van featurevectoren wordt ontbonden in niet-negatieve matrices $W$ en $H$ door de Frobenius-norm $\|V - WH\|_F^2$ te minimaliseren. De matrix $H$ vertegenwoordigt $K$ classvectoren (clustercentroïden), terwijl $W$ de intensiteit (gewicht) van elke klasse voor elke featurevector weergeeft.
   • Inferentie: Voor nieuwe data blijft $H$ vast en wordt $W$ geoptimaliseerd. Elke ruimtelijke locatie wordt toegewezen aan de cluster met het hoogste intensiteitsgewicht.
4. Aanpassing voor Whole Slide Images (WSI): Om de enorme schaal van WSIs (honderdduizenden pixels) en het probleem van tegel-overlapping het hoofd te bieden:
   • De 2-pixel rand van featurevectoren in elke tegel wordt verwijderd om randartefacten te verminderen.
   • Featurevectoren van overlappende tegels op dezelfde ruimtelijke locatie worden gemiddeld om een enkele, consistente representatie per pixel te creëren.
   • Tegels zonder weefseloverlap (achtergrond) worden verwijderd om de berekening te richten op relevante gebieden.

Belangrijkste Bijdragen

• Globale versus lokale uitleg: In tegenstelling tot salientiekaarten die specifieke gebieden markeren voor een enkele beslissing, onthult deze methode het globale gedrag van het model door interne representaties te clusteren in distincte semantische categorieën.
• Semantische segmentatie zonder supervisie: De techniek genereert een semantische segmentatie van het invoerbeeld op basis van geleerde clusters, ondanks dat het onderliggende model uitsluitend is getraind voor binaire classificatie (kanker versus niet-kanker) en nooit voor segmentatie.
• Omgaan met WSI-uitdagingen: De aanpak is specifiek ontworpen om de hoge dimensionaliteit en de verspreide weefselverdeling die kenmerkend zijn voor digitale pathologielides te beheren.
• Validatie tegen expertkennis: De methode werd geëvalueerd op een prostaatkanker-detectiemodel, waarbij bleek dat de resulterende clusters overeenkomen met waarneembare morfologische kenmerken die door pathologen worden herkend.

Resultaten
De techniek werd geëvalueerd met behulp van een prostaatkanker-detectiemodel (VGG-16 backbone) getraind op 87 WSIs van het Masaryk Memorial Cancer Institute. De auteurs trainden clusteringmodellen met $K=4, 6,$ en $8$ klassen.

• Evaluatie door patholoog: Een resident patholoog analyseerde de $K=6$ clustering-output en identificeerde dat de clusters overeenkwamen met specifieke morfologische structuren:
  • Klassen 2, 4 en 5 werden geïdentificeerd als overeenkomend met carcinomateuze gebieden (bijvoorbeeld ketens van dicht op elkaar gepakte kernen, kleine lumen).
  • Klassen 1, 3 en 6 kwamen overeen met verspreide weefselstructuren, randen of normaal epitheel.
• Kwantitatieve analyse:
  • Een logistische regressiemodel dat uitsluitend was getraind op de cluster-gewichten, behaalde hoge prestaties bij het voorspellen van kankerpositiviteit (Nauwkeurigheid: 0,984, AUC: 0,998).
  • De regressiecoëfficiënten bevestigden dat klassen 2, 4 en 5 sterk correleren met positieve kankerlabels, terwijl klassen 1, 3 en 6 correleren met negatieve labels, in overeenstemming met de kwalitatieve beoordeling van de patholoog.
• Vergelijking met GradCAM:
  • Hoewel klassen 2, 4 en 5 een hoge correlatie vertoonden met GradCAM-heatmaps, was de Intersection over Union (IoU) tussen de clusters en GradCAM-masks laag.
  • Dit geeft aan dat hoewel de clusters overlappen met de gebieden die GradCAM belangrijk acht, de clustering-methode meer genuanceerde, fijnkorrelige informatie biedt over welke specifieke kenmerken binnen die gebieden het model gebruikt.

Betekenis en Claims
Het artikel claimt dat deze op clustering gebaseerde aanpak een robuust hulpmiddel biedt voor het begrijpen van de interne werking van CNN's in de digitale pathologie. Door verder te gaan dan eenvoudige salientiekaarten om het globale semantische gedrag van het model te onthullen, helpt de methode de "black box"-aard van AI te ontsluieren. De auteurs betogen dat het bieden van interpreteerbare inzichten in de specifieke morfologische kenmerken die een model prioriteert, het vertrouwen van pathologen aanzienlijk kan vergroten, waardoor de snellere en veiligere invoering van AI-modellen in de klinische praktijk wordt vergemakkelijkt. De methode wordt gepresenteerd als toepasbaar op elke modelarchitectuur die ruimtelijke featurevectoren gebruikt, met toekomstig werk voorgesteld voor het inspecteren van fundamentele transformer-modellen.