Class Visualizations and Activation Atlases for Enhancing Interpretability in Deep Learning-Based Computational Pathology

Diese Studie entwickelt und bewertet einen Visualisierungsrahmen für Transformer-Modelle in der computergestützten Pathologie, der zeigt, dass Klassenvisualisierungen und Aktivationsatlanten zwar morphologische Strukturen auf Gewebeebene gut abbilden, jedoch bei feineren Krebs-Subklassen eine mit der intrinsischen pathologischen Komplexität korrelierende reduzierte Trennschärfe und Experteneinigkeit aufweisen.

Das Wesentliche

🩺 Wenn KI die Mikroskopie lernt: Ein Blick hinter die Kulissen

Stell dir vor, ein Computerprogramm (eine KI) ist wie ein junger, extrem talentierter Auszubildender im Pathologie-Labor. Dieser Auszubildende hat Millionen von Bildern von Gewebeproben (unter dem Mikroskop) gesehen und lernt nun, Krankheiten wie Krebs zu erkennen. Er ist so gut, dass er oft schneller und genauer ist als erfahrene Ärzte.

Aber hier liegt das Problem: Wir wissen nicht genau, wie er das macht. Er ist wie ein "Black Box"-Magier. Er sagt: "Das ist Krebs!", aber wenn man ihn fragt: "Warum?", starrt er nur in die Leere. Er kann seine Gedanken nicht in Worte fassen.

Diese Studie von Marco Gustav und seinem Team versucht, genau das zu ändern. Sie wollen herausfinden, was in diesem "Kopf" der KI eigentlich vorgeht.

🔍 Die zwei Werkzeuge: Der "Traum" und die "Landkarte"

Um zu verstehen, wie die KI denkt, haben die Forscher zwei spezielle Werkzeuge entwickelt, die wie eine Art "Röntgenblick" für das Gehirn der KI funktionieren:

1. Die "Klassen-Visualisierung" (Der KI-Traum)

Stell dir vor, du fragst die KI: "Zeig mir, wie du dir 'Krebs im Darm' vorstellst."
Die KI versucht dann, ein künstliches Bild zu malen, das genau das ist, was sie unter "Krebs" versteht.

• Das Ergebnis: Es sieht aus wie ein surrealer Traum. Manchmal erkennt man sofort: "Ah, das sind die typischen Krebszellen!" (wie ein Haufen durcheinander gewürfelter Zellen). Manchmal sieht es aber auch aus wie ein wirrer Klecks.
• Die Erkenntnis: Bei einfachen Gewebearten (wie Fettgewebe oder Muskeln) träumt die KI sehr klare Bilder. Aber bei sehr ähnlichen Krebsarten (z. B. Darmkrebs vs. Dickdarmkrebs) wird der Traum unscharf. Die KI verwechselt die Details, genau wie ein Anfänger, der zwei sehr ähnliche Schmetterlingsarten kaum unterscheiden kann.

2. Der "Aktivierungs-Atlas" (Die Landkarte der Gedanken)

Stell dir das Gehirn der KI als einen riesigen, dunklen Raum vor, in dem verschiedene Konzepte wie Inseln schweben.

• Der Atlas ist eine Landkarte, die diese Inseln sichtbar macht.
• Auf dieser Karte sind die "Inseln" für grobe Kategorien (z. B. "Gesundes Gewebe" vs. "Krankes Gewebe") weit voneinander entfernt und klar getrennt.
• Aber je genauer man hinschaut (z. B. "Welche genaue Art von Krebs ist das?"), desto mehr vermischen sich die Inseln. Sie überlappen sich.
• Die Metapher: Es ist wie eine Stadt. Die Stadtteile "Wohngebiet" und "Industriegebiet" sind klar getrennt. Aber wenn man versucht, die einzelnen Häuser innerhalb eines Wohngebiets zu unterscheiden, werden die Grenzen verschwommen.

🧠 Was haben die Forscher herausgefunden?

Die Forscher haben vier echte Pathologen (Experten) gebeten, sich diese künstlichen Bilder und Landkarten anzusehen und zu bewerten. Hier ist das Fazit:

1. Die KI denkt wie ein Mensch (und manchmal wie ein verwirrter Mensch):
   Wenn die Unterscheidung zwischen zwei Gewebearten für Menschen schwierig ist (weil sie sich optisch sehr ähnlich sehen), ist es auch für die KI schwierig. Die KI macht genau die gleichen Fehler und Unsicherheiten wie die menschlichen Experten. Das ist eigentlich eine gute Nachricht! Es bedeutet, die KI hat die echte Komplexität der Biologie verstanden und nicht nur oberflächliche Muster gelernt.

2. Je tiefer man in die KI schaut, desto detaillierter wird es:
   Die KI hat viele "Schichten" (wie die Schichten einer Zwiebel).

   • In den oberen Schichten sieht sie nur grobe Strukturen (wie "hier ist viel Farbe", "hier ist viel Struktur").
   • In den tiefen Schichten erkennt sie feine Details (wie "diese Zelle hat einen bestimmten Kern").
   • Aber: Je tiefer man geht, desto mehr überlappen sich die Konzepte wieder, weil die Dinge in der Natur eben nicht immer schwarz-weiß sind.

3. Die Landkarte ist ehrlich:
   Die "Landkarte" (der Atlas) zeigt genau dort Lücken und Unsicherheiten auf, wo auch die menschlichen Ärzte unsicher sind. Wenn die KI bei einer bestimmten Krebsart zögert, tut sie das, weil die Biologie dort tatsächlich schwer zu fassen ist.

💡 Warum ist das wichtig?

Früher haben wir KI-Modelle einfach benutzt, ohne zu wissen, ob sie "dumme Tricks" machen (z. B. Krebs erkennen, weil das Bild einen bestimmten Raster hat, nicht wegen der Zellen).

Mit diesen neuen Werkzeugen (den "Träumen" und der "Landkarte") können wir jetzt:

• Vertrauen aufbauen: Wir sehen, dass die KI wirklich die richtigen biologischen Merkmale lernt.
• Fehler finden: Wenn die KI bei ähnlichen Krebsarten durcheinanderkommt, wissen wir, dass wir hier vorsichtig sein müssen.
• Bessere Zusammenarbeit: Ärzte können die KI nicht nur als Black Box nutzen, sondern mit ihr "sprechen". Sie können sagen: "Schau mal, hier auf deiner Landkarte sind die Grenzen unscharf – lass uns das gemeinsam überprüfen."

Zusammenfassung in einem Satz

Die Studie zeigt, dass moderne KI-Modelle in der Pathologie nicht nur blind raten, sondern eine innere Welt aufgebaut haben, die der menschlichen Vorstellung von Gewebe und Krankheit erstaunlich ähnlich ist – inklusive aller Unsicherheiten und Grauzonen.

Technische Zusammenfassung

1. Problemstellung

Im Bereich der rechnergestützten Pathologie (Computational Pathology) ermöglichen transformer-basierte Modelle (z. B. Vision Transformers, ViTs) mittlerweile eine hochpräzise Vorhersage molekularer und klinischer Biomarker direkt aus Hämatoxylin-Eosin (H&E)-gefärbten Ganzslides. Trotz dieser Vorhersagegenauigkeit hinkt die Erklärbarkeit (Explainability) der Komplexität dieser Modelle hinterher.

• Lücke: Bestehende XAI-Methoden (Explainable AI) konzentrieren sich meist auf die Instanzebene (z. B. Saliency Maps, Gradienten-basierte Attribution), um zu erklären, warum ein bestimmtes Bild ein bestimmtes Label erhielt. Sie charakterisieren jedoch nicht systematisch, welche morphologischen Merkmale eine Klasse definieren, welche Merkmale über Klassen hinweg geteilt werden oder wie das Modell Konzepte auf einer höheren Abstraktionsebene organisiert.
• Herausforderung: Es ist unklar, ob transformer-basierte Pathologiemodelle morphologische Konzepte in strukturierten internen Repräsentationen organisieren, die pathologischen Unterschieden entsprechen und von Experten identifizierbar sind. Herkömmliche Visualisierungsmethoden für CNNs lassen sich nicht direkt auf Transformer-Architekturen übertragen.

2. Methodik

Die Autoren entwickelten ein Framework zur konzeptbasierten Merkmalsvisualisierung, das speziell für transformer-basierte Modelle angepasst wurde.

• Daten und Modelle:
  • Es wurden zwei Datensätze verwendet: NCT-CRC-HE-100K (9 Gewebeklassen des Darmkrebses) und TCGA (11 verschiedene solide Krebsarten).
  • Als Backbone diente das UNI-Modell (ein Vision-Transformer-Foundation-Modell), auf dem ein linearer Klassifikator trainiert wurde.
• Visualisierungstechniken:
  1. Class Visualizations (CVs): Synthetische Bilder werden generiert, indem ein Eingabebild so optimiert wird, dass die Aktivierung eines spezifischen Klassen-Logits maximiert wird. Dies zeigt prototypische Muster für eine Klasse.
  2. Activation Atlases (AAs): Die internen Aktivierungen des Modells werden in einen niedrigdimensionalen Raum (mittels t-SNE) projiziert und in ein Raster unterteilt. Für jede Zelle des Rasters wird ein repräsentatives Bild durch Feature Inversion rekonstruiert (Optimierung eines Bildes, um eine bestimmte Ziel-Aktivierung zu erreichen). Dies visualisiert die Organisation und den Übergang von Konzepten im Merkmalsraum.
• Evaluation:
  • Da generierte Bilder kein „Ground Truth" im herkömmlichen Sinne haben, wurde die Interpretierbarkeit durch vier Pathologen bewertet.
  • Die Pathologen annotierten sowohl reale Scans als auch die generierten CVs und AA-Bilder.
  • Gemessen wurde die Inter-Observer-Übereinstimmung (mittels Fleiss' κ, Cohen's κ, Krippendorff's α).
  • Zusätzlich wurden quantitative Surrogat-Metriken (Attribution-basierte Zuordnung, perceptuelle Ähnlichkeit wie LPIPS und DreamSim, Mahalanobis-Distanz) mit den Expertenurteilen verglichen.

3. Wichtige Beiträge

• Systematische Evaluation: Erste umfassende Untersuchung von CVs und AAs für transformer-basierte Foundation-Modelle in der Histopathologie.
• Konzept-Level-Analyse: Demonstration, dass diese Methoden nicht nur einzelne Vorhersagen erklären, sondern die strukturelle Organisation des Merkmalsraums offenlegen (z. B. wie sich Gewebeklassen im latenten Raum anordnen).
• Quantitative Validierung durch Experten: Ein neuer Ansatz, bei dem die Qualität der Visualisierung nicht durch mathematische Metriken allein, sondern durch die Übereinstimmung mit menschlichen Expertenurteilen über die generierten Bilder gemessen wird.
• Offene Ressourcen: Bereitstellung von Code, Daten und interaktiven Visualisierungstools für die Community.

4. Ergebnisse

• Class Visualizations (CVs):
  • CVs bewahrten die Erkennbarkeit für morphologisch distinkte Gewebearten (z. B. Fettgewebe, Lymphozyten).
  • Bei überlappenden Krebs-Subklassen (z. B. Kolon- vs. Rektum-Adenokarzinom) nahm die Trennschärfe ab und die Varianz zwischen den Pathologen stieg.
  • Die Übereinstimmung sank von Scan-Ebene (κ = 0,75) auf CV-Ebene (κ = 0,31), was die Schwierigkeit der Interpretation generierter Bilder widerspiegelt.
• Activation Atlases (AAs):
  • Schichtabhängigkeit: Frühe Schichten kodierten einfache Strukturen, tiefere Schichten zeigten spezialisierte, aber zunehmend fragmentierte Repräsentationen. Schicht 14 (von 24) wurde als optimaler Kompromiss identifiziert.
  • Struktur: Grobe Gewebeklassen bildeten kohärente, gut getrennte Regionen im Atlas. Feinere Subklassen zeigten jedoch starke Streuung und Überlappung.
  • Übereinstimmung: Die Übereinstimmung der Pathologen bei der Annotation von AA-Bildern war bei groben Kategorien hoch (κ = 0,82 für Krebs-Gruppen), aber bei Subklassen sehr gering (κ = 0,11).
  • Korrelation: Die Trennschärfe der Atlanten korrelierte eng mit der Übereinstimmung der Experten bei realen Bildern. Dies deutet darauf hin, dass die Unsicherheit in den Visualisierungen die intrinsische pathologische Komplexität und nicht nur Artefakte der Visualisierung widerspiegelt.
• Metriken:
  • Attribution-basierte Zuordnungen approximierte die Experten-Varianz in einfachen Szenarien gut.
  • Perzeptive Metriken (LPIPS, DreamSim) zeigten begrenzte Ausrichtung mit Expertenurteilen, während Mahalanobis-Distanzen versagten.

5. Bedeutung und Fazit

Das Paper zeigt, dass transformer-basierte Pathologiemodelle morphologische Informationen in strukturierten latenten Räumen organisieren, die die reale pathologische Komplexität widerspiegeln.

• Transparenz: Das Framework ermöglicht es, die Grenzen der Klassen-Trennbarkeit und die Überlappung von Konzepten sichtbar zu machen, was für den vertrauenswürdigen Einsatz von KI in der Medizin entscheidend ist.
• Experten-zentrierte Interaktion: Anstatt nur Vorhersagen zu erklären, bietet das Framework einen Weg, um die internen Repräsentationen des Modells systematisch zu hinterfragen und mit dem Expertenwissen von Pathologen abzugleichen.
• Zukunft: Die Autoren fordern die Entwicklung von pathologiespezifischen perzeptuellen Metriken und die Erweiterung des Ansatzes auf Whole-Slide-Images (WSI) und molekulare Subtypen, um die Interpretierbarkeit weiter zu vertiefen.

Zusammenfassend liefert die Studie ein robustes Framework, um die „Black Box" von Transformer-Modellen in der Pathologie zu öffnen und nachzuweisen, dass die Unsicherheit in den Visualisierungen oft ein echtes Abbild der diagnostischen Herausforderungen in der Pathologie ist.