Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology

Dit onderzoek introduceert een visueel kader voor transformer-modellen in computationele pathologie dat aantoont dat class visualizations en activation atlases gestructureerde morfologische patronen onthullen, waarbij de overeenstemming tussen experts en gegenereerde afbeeldingen afneemt naarmate de labelgranulariteit toeneemt en de intrinsieke complexiteit van de pathologie groter wordt.

De kern

De "Droom van de AI": Hoe we de gedachten van een computerpatholoog zichtbaar maken

Stel je voor dat je een super-slimme computer hebt die naar microscopische plaatjes van weefsel kijkt (zoals een patholoog doet) en daar ziektes mee kan diagnosticeren. Deze computer is zo slim dat hij zelfs moleculaire patronen kan zien die het menselijk oog mist. Maar er is een probleem: de computer is een "black box". We weten dat hij het goed doet, maar we weten niet waarom. Hij geeft een antwoord, maar zijn "gedachten" blijven onzichtbaar.

Deze paper is als een magische bril die we op de computer hebben gezet om te zien wat hij eigenlijk ziet. De onderzoekers hebben twee nieuwe methoden bedacht om de interne wereld van deze AI te visualiseren: Class Visualizations (Klas-visualisaties) en Activation Atlases (Activeringsatlassen).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De twee magische methoden

A. Class Visualizations (De "Droombeeldjes")
Stel je voor dat je de AI vraagt: "Laat eens zien wat jij denkt dat een 'gezonde darmwand' eruit ziet."
De AI begint dan te dromen. Ze creëert een volledig nieuw, synthetisch plaatje dat perfect past bij haar definitie van "gezonde darmwand".

• Het resultaat: Je ziet een droombeeld van vetweefsel (met grote lege blaasjes), spiervezels of tumorcellen.
• De les: Als de AI een goed droombeeld maakt, betekent dit dat ze het concept echt begrijpt. Maar als ze droomt over een rommelige mix van spier en tumor, dan is ze in de war.

B. Activation Atlases (De "Gedachtenkaart")
Stel je voor dat de AI een enorme bibliotheek heeft met duizenden kaarten. Elke kaart vertegenwoordigt een klein stukje van wat de AI "weet".

• De onderzoekers hebben deze bibliotheek in kaart gebracht. Ze hebben een atlas gemaakt.
• Op deze atlas zie je gebieden waar de AI denkt aan "gezond weefsel", gebieden voor "kanker", en gebieden waar de grenzen vervaagden.
• Het inzicht: In de diepere lagen van de AI (haar "diepere gedachten") worden de concepten steeds specifieker, net als bij een mens die van "een dier" naar "een hond" en dan naar "een gouden retriever" gaat.

2. Wat hebben ze ontdekt? (De verrassingen)

De onderzoekers hebben vier echte pathologen (experts) gevraagd om naar deze droombeeldjes en kaarten te kijken en te zeggen wat ze zien. Hier zijn de belangrijkste bevindingen:

• Duidelijke dingen zijn makkelijk: Als de AI moet denken aan heel verschillende dingen (bijvoorbeeld: "vet" vs. "lymfeklieren"), dan maken de droombeeldjes het heel duidelijk. De experts waren het hier bijna allemaal over eens.

  • Analogie: Het is als het onderscheid maken tussen een appel en een auto. Dat is makkelijk voor iedereen.

• Grijze gebieden zijn lastig: Toen ze de AI vroegen om heel specifieke soorten kanker te onderscheiden (bijvoorbeeld: "kanker uit de darm" vs. "kanker uit het rectum"), werd het lastig. De droombeeldjes leken op elkaar en de experts waren het niet eens over wat ze zagen.

  • Analogie: Het is als proberen een rood appel te onderscheiden van een rode peer. Zelfs voor experts is dat lastig, en de AI heeft hier ook moeite mee.

• De AI is eerlijk: De verwarring die de AI toonde in haar "droombeeldjes" bleek precies overeen te komen met de verwarring van de menselijke experts.

  • Conclusie: De AI is niet "gek" of "fout". Ze weerspiegelt gewoon de complexe, soms onduidelijke realiteit van de ziekte. Als de AI in de war is, is dat omdat de ziekte zelf in de war is (of moeilijk te onderscheiden).

3. Waarom is dit belangrijk?

Vroeger keken we alleen naar de uitkomst van de AI: "Ja, hij heeft gelijk." Nu kunnen we kijken naar het proces: "Ah, hij twijfelt hier, net zoals een mens dat zou doen."

• Vertrouwen: Artsen kunnen nu beter vertrouwen op de AI omdat ze zien hoe de AI denkt. Ze zien dat de AI niet zomaar raadt, maar echte patronen herkent.
• Verbetering: Als de AI een "droombeeld" maakt dat er raar uitziet, weten de onderzoekers precies waar ze de AI moeten bijscholen.
• Nieuwe inzichten: Misschien ziet de AI een patroon in de "droom" dat de mens nog nooit heeft opgemerkt, wat kan leiden tot nieuwe medische ontdekkingen.

Samenvattend in één zin:

Deze paper laat zien dat we de "droomwereld" van een slimme computerpatholoog kunnen visualiseren, en dat deze dromen precies laten zien waar de AI scherp is en waar ze (net als wij mensen) in de grijze gebieden van de ziekte vastloopt. Het is een stap van "blind vertrouwen" naar "begrijpend samenwerken" tussen mens en machine.

Technische samenvatting

Probleemstelling

De snelle adoptie van transformer-gebaseerde modellen (zoals Vision Transformers of ViTs) in de computationele pathologie heeft de nauwkeurige voorspelling van moleculaire en klinische biomarkers mogelijk gemaakt, direct op basis van H&E-gekleurde whole-slide beelden (WSI). Ondanks deze prestatieverbeteringen loopt de verklaarbaarheid (explainability) achter bij de complexiteit van de modellen.

• Bestaande methoden zijn voornamelijk gericht op instance-level uitleg (bijv. saliency maps, gradient-based attribution) die specifieke voorspellingen voor individuele beelden verklaren.
• Er ontbreekt een systematische evaluatie van representatie-level interpretability: hoe organiseren deze modellen concepten in hun interne feature-ruimtes?
• Methoden zoals Class Visualizations (CV) en Activation Atlases (AA), die in de computer vision gemeenschap bekend zijn, zijn nog niet systematisch toegepast of geëvalueerd voor transformer-gebaseerde histopathologie-modellen. Het is onduidelijk of deze modellen morfologische concepten structureren die overeenkomen met de expertise van pathologen.

Methodologie

De auteurs ontwikkelden een raamwerk voor concept-level feature visualisatie en pasten dit toe op een ViT-foundation model (UNI) getraind op twee grote datasets:

1. NCT-CRC-HE-100K: 100.000 patches van colorectale weefsels met 9 tissue-classes (bijv. vetweefsel, lymfocyten, tumor, stroma).
2. TCGA: Een dataset afgeleid van The Cancer Genome Atlas met patches van 11 verschillende solide kankertypes (bijv. longkanker, borstkanker, melanoom).

Technische aanpak:

• Model: Een ViT-architectuur (UNI) met een vaste backbone en een getrainde lineaire classificatielaag.
• Class Visualizations (CV): Synthetische beelden worden gegenereerd door de input te optimaliseren om de activatie van een specifieke class-logit te maximaliseren. Dit onthult prototypische patronen voor elke klasse.
• Activation Atlases (AA):
  • Interne activaties (features) worden gevangen uit specifieke lagen van het transformer-model.
  • Deze high-dimensional activaties worden geprojecteerd naar 2D met t-SNE.
  • De ruimte wordt opgedeeld in een raster (bijv. 10x10 of 20x20 cellen).
  • Voor elke cel wordt een synthetisch beeld gereconstrueerd via feature inversion (minimaliseren van de afstand tussen de synthetische activatie en de gemiddelde doel-activatie van die cel).
  • Dit resulteert in een "atlas" die de continuïteit en overvloed van concepten in de feature-ruimte visualiseert.
• Validatie:
  • Expert-analyse: Vier pathologen (waaronder één geadviseerd) annotateerden zowel de gegenereerde beelden als echte scans.
  • Metrieken: Inter-observer overeenstemming werd gemeten met Fleiss' $\kappa$, Cohen's $\kappa$ en Krippendorff's $\alpha$.
  • Surrogaat-metrieken: Er werden kwantitatieve metrics getest om expert-oordeel te benaderen, waaronder attributie-based scores, perceptuele similariteit (LPIPS, DreamSim) en statistische afstand (Mahalanobis Distance).

Belangrijkste Resultaten

1. Class Visualizations (CV):

• CV's behouden herkenbaarheid voor morfologisch distincte weefsels (bijv. vetweefsel, lymfocyten) in de NCT-dataset.
• Echter, bij overlappende kankersubklassen (bijv. colon- vs. rectum-adenocarcinoom) neemt de scheidbaarheid af en stijgt de variabiliteit tussen annotatoren.
• De overeenstemming tussen pathologen daalde aanzienlijk van scans ($\kappa = 0,75$) naar CV's ($\kappa = 0,31$) voor weefselclassificatie, en was nog lager voor complexe kankertaken.

2. Activation Atlases (AA):

• Laag-afhankelijke organisatie:
  • Vroege lagen coderen lage-niveau morfologie met beperkte scheidbaarheid.
  • Intermediaire lagen tonen coherente conceptorganisatie.
  • Diepere lagen produceren gedetailleerde maar gespecialiseerde representaties.
• Scheidbaarheid: Ruwe weefselconcepten vormen goed gescheiden regio's in de atlas, terwijl fijnere subklassen dispersie en overlap vertonen.
• Overeenstemming:
  • Voor weefselclassificatie: Matige overeenstemming ($\kappa = 0,58$).
  • Voor grove kankergroeperingen: Hoge overeenstemming ($\kappa = 0,82$).
  • Voor subklassen: Lage overeenstemming ($\kappa = 0,11$).
• De scheidbaarheid van de atlas volgt nauwkeurig de expert-ongelijkheid op echte beelden. Dit suggereert dat de "ambiguïteit" in het model niet een artefact is, maar de intrinsieke pathologische complexiteit weerspiegelt.

3. Kwantitatieve Metrieken:

• Attributie-based toewijzingen benaderden de variabiliteit tussen pathologen redelijk goed in settings met lage complexiteit.
• Perceptuele metrieken (DreamSim, LPIPS) toonden beperkte alignering en waren afhankelijk van de gebruikte feature extractor.
• Mahalanobis Distance presteerde slecht en faalde in het vastleggen van semantische structuren.

Bijdragen en Significantie

Technische Bijdragen:

1. Eerste systematische evaluatie van CV's en AA's voor transformer-gebaseerde foundation modellen in de pathologie.
2. Ontwikkeling van een raamwerk om interne representatiestructuren te analyseren in plaats van alleen individuele voorspellingen te verklaren.
3. Het aantonen dat representatie-ambiguïteit in AI-modellen direct correleert met de diagnostische moeilijkheid en subjectiviteit in de menselijke pathologie.

Significantie voor het Veld:

• Vertrouwen en Transparantie: Het onderzoek biedt een methode om te verifiëren of AI-modellen leren wat pathologen ook leren (morfologische patronen) en waar de grenzen van die kennis liggen.
• Diagnostische Validatie: Het raamwerk helpt bij het identificeren van gevallen waarin modellen (en experts) moeite hebben om klassen te onderscheiden, wat wijst op onderliggende biologische complexiteit of gebrek aan data.
• Toekomstige Richting: Het benadrukt de noodzaak van domeinspecifieke perceptuele metrieken en suggereert dat interpretatie-methoden moeten evolueren van "waar kijkt het model naar?" (attribution) naar "hoe organiseert het model concepten?" (representation).

Kortom, dit artikel bewijst dat concept-level visualisatie een krachtig hulpmiddel is om de "black box" van transformer-modellen in de pathologie te openen, en laat zien dat de interne structuur van deze modellen de complexiteit van de menselijke diagnose nauwkeurig weerspiegelt.