Beyond Attention Heatmaps: How to Get Better Explanations for Multiple Instance Learning Models in Histopathology

Diese Arbeit stellt ein allgemeines Rahmenwerk zur Bewertung von Heatmaps bei Multiple-Instance-Learning-Modellen in der Histopathologie vor und zeigt durch ein groß angelegtes Benchmarking, dass Perturbation-, LRP- und IG-Methoden Attention-basierten Ansätzen überlegen sind, um zuverlässigere Validierungen und biologische Erkenntnisse zu ermöglichen.

Das Wesentliche

Titel: Warum die „Wärmekarten" von KI-Pathologen oft lügen (und wie wir sie reparieren)

Stell dir vor, ein KI-System ist wie ein riesiger Detektiv, der durch einen gigapixelgroßen digitalen Mikroskopbildschirm eines Gewebeschnitths schaut. Das Bild ist so riesig, dass es wie ein Ozean aus winzigen Puzzleteilen (den sogenannten „Patches") aussieht. Die KI muss aus diesem Ozean die winzigen Hinweise finden, die sagen: „Hier ist Krebs" oder „Hier ist ein bestimmtes Gen aktiv".

Das Problem? Die KI gibt uns oft eine Wärmekarte (Heatmap) aus. Das ist wie eine rote Überlagerung auf dem Bild, die uns zeigt: „Schau mal hier, hier war ich besonders aufgeregt!"

Aber hier kommt der Haken: Ist diese rote Farbe wirklich ein Beweis dafür, dass die KI den Krebs gefunden hat? Oder war sie nur auf einen roten Fleck in der Farbe des Farbstoffs (Staining) fixiert?

Bisher haben sich die Forscher darauf verlassen, dass die KI sagt: „Ich habe mich auf diese Stelle konzentriert" (das nennt man Attention). Die Autoren dieses Papers sagen jedoch: „Halt! Das ist wie ein Zaubertrick. Die KI könnte lügen."

Hier ist die einfache Erklärung der wichtigsten Punkte:

1. Der große Test: Die „Puzzle-Entfernung"

Stell dir vor, du hast ein Puzzle, das ein Bild ergibt. Die KI sagt: „Ich habe die Teile A, B und C benutzt, um das Bild zu erkennen."
Um zu testen, ob die KI wirklich ehrlich ist, machen die Forscher folgendes Experiment:

• Sie nehmen die Teile, die die KI als „wichtig" markiert hat, und entfernen sie.
• Wenn die KI wirklich wusste, was sie tut, sollte das Bild jetzt unkenntlich sein.
• Wenn die KI aber nur getrickst hat (z. B. weil sie auf einen Hintergrundfleck geschaut hat), bleibt das Bild vielleicht immer noch erkennbar.

Dieses Entfernen nennen sie „Patch Flipping". Es ist wie ein Stresstest für die Erklärung der KI.

2. Die Gewinner und Verlierer der Erklärungsmethoden

Die Forscher haben sechs verschiedene Methoden getestet, um zu sehen, welche am ehrlichsten ist. Das Ergebnis war überraschend:

• Der Verlierer (der oft benutzt wird): Die klassische Aufmerksamkeits-Karte (Attention).
  • Analogie: Stell dir vor, ein Schüler schreibt eine Prüfung und zeigt auf eine Zeile im Text und sagt: „Hier habe ich die Antwort gelesen." Aber eigentlich hat er die Antwort auswendig gelernt und schaut nur zufällig auf den Text. Die Aufmerksamkeits-Karte ist oft nur ein „Hingucker", aber kein Beweis für das Verständnis. Sie war in fast allen Tests unzuverlässig.
• Die Gewinner: Methoden wie LRP, Single und IG.
  • Analogie: Diese Methoden sind wie ein Detektiv, der nicht nur zeigt, wo er hinschaut, sondern beweist: „Wenn ich diesen Teil wegmache, funktioniert die Lösung nicht mehr." Sie sind viel ehrlicher und zeigen wirklich, was die KI berechnet hat.

3. Warum ist das wichtig? (Die zwei coolen Anwendungen)

Weil die neuen Methoden so viel besser funktionieren, können wir damit zwei Dinge tun, die vorher unmöglich waren:

A. Der „Biologische Wahrheits-Check"
Stell dir vor, die KI sagt: „Dieses Gewebe hat ein hohes Maß an Gen X." Früher mussten wir das im Labor teuer messen. Jetzt nutzen die Forscher die Wärmekarte der KI und vergleichen sie mit einer echten, hochauflösenden Karte der Gene (Spatial Transcriptomics).

• Das Ergebnis: Die neuen Methoden (LRP/Single) zeigen genau dort rote Flecken, wo die Gene tatsächlich sind. Die alte Methode (Attention) zeigte nur Rauschen. Das beweist: Die KI hat wirklich die Biologie verstanden und nicht nur zufällige Muster gelernt.

B. Neue Entdeckungen bei HPV
Bei Hals-Krebs (HPV) gibt es bekannte Merkmale, nach denen Pathologen suchen. Aber die KI fand mit Hilfe der neuen, ehrlichen Karten ganz andere Muster.

• Das Ergebnis: Die KI entdeckte, dass sie manchmal nicht auf die Krebszellen selbst schaut, sondern auf die Entzündungszellen in der Umgebung oder sogar auf die anatomische Lage (z. B. Mandeln). Das gibt den Ärzten neue Hinweise: „Aha, die KI sieht etwas, das wir noch nicht genau verstehen!"

Fazit: Was bedeutet das für uns?

Bisher haben Ärzte und Forscher oft blind auf die roten Flecken der KI vertraut. Dieses Paper sagt: „Hör auf, der KI einfach zu glauben, wenn sie sagt, wo sie hinschaut."

Die Autoren haben einen neuen Standard gesetzt:

1. Vertraue nicht der „Aufmerksamkeits-Karte" (Attention).
2. Nutze stattdessen die ehrlicheren Methoden (wie LRP oder Single), um zu prüfen, ob die KI wirklich das Richtige sieht.
3. Nur so können wir sicher sein, dass die KI keine Tricks nutzt und wirklich neue biologische Geheimnisse für uns aufdeckt.

Kurz gesagt: Wir haben die KI gezwungen, ihre Hausaufgaben zu zeigen, statt nur auf die Antwort zu zeigen. Und das macht sie zu einem viel besseren Partner für die Medizin.

Technische Zusammenfassung

1. Problemstellung

In der computergestützten Histopathologie werden Multiple Instance Learning (MIL)-Modelle eingesetzt, um aus riesigen Ganzslide-Bildern (Whole Slide Images, WSIs) Vorhersagen auf Folie-Ebene zu treffen. Da WSIs in Tausende von Bildpatches unterteilt werden, aber nur ein globales Label (z. B. Tumor ja/nein, Genexpression, Überlebenszeit) vorliegt, agieren diese Modelle im Rahmen des schwach überwachten Lernens.

Ein zentrales Werkzeug zur Validierung dieser Modelle und zur Entdeckung von Biomarkern sind Wärmekarten (Heatmaps), die zeigen, welche Bildregionen für die Vorhersage relevant sind.

• Das Problem: Die Validität und Qualität dieser Heatmaps wird selten systematisch überprüft.
• Die Herausforderung: Es ist unklar, welche Erklärungsmethode (z. B. Attention-Weights, Gradienten-basierte Methoden) die tatsächliche Entscheidungsstrategie des Modells am besten widerspiegelt.
• Risiko: Die unkritische Nutzung von Attention-Heatmaps kann zu Bestätigungsfehlern (Confirmation Bias) führen, da diese oft nicht die tatsächliche Modelllogik abbilden und Artefakte statt biologischer Signale hervorheben können. Bisher fehlten Leitlinien, welche Methode für welche Aufgabe und Architektur geeignet ist.

2. Methodik

Die Autoren stellen einen allgemeinen, datengetriebenen Rahmen zur Evaluierung von MIL-Heatmaps vor, der keine zusätzlichen Ground-Truth-Labels für die Erklärung erfordert.

A. Evaluierungs-Framework: „Patch Flipping"

Um die Treue (Faithfulness) einer Heatmap zu messen, wurde eine Störungsmethode entwickelt:

1. Sortierung: Patches werden basierend auf ihren Erklärungs-Scores (Relevanz) sortiert.
2. Perturbation: Patches werden schrittweise aus dem Bag entfernt, beginnend entweder mit den relevantesten (absteigend) oder den unwichtigsten (aufsteigend).
3. Messung: Die Änderung der Modellvorhersage wird verfolgt.
4. Metrik (SRG): Die Symmetric Relevance Gain (SRG) wird als Fläche zwischen den beiden Perturbationskurven berechnet. Eine hohe SRG bedeutet, dass das Entfernen relevanter Patches die Vorhersage stark verändert, während das Entfernen irrelevanter Patches wenig Einfluss hat. Dies bestätigt, dass die Heatmap die Modellstrategie korrekt abbildet.

B. Experimentelles Design

Es wurde eine groß angelegte Benchmark-Studie durchgeführt, die folgende Variablen kombiniert:

• Aufgabenarten: Klassifikation, Regression, Überlebensanalyse (Survival).
• MIL-Architekturen: Attention-MIL (AttnMIL), Transformer-basiert (TransMIL), Mamba-basiert (MambaMIL).
• Backbones (Patch-Encoder): UNI2 und Virchow2 (State-of-the-Art Foundation Models).
• Erklärungsmethoden (6 Stück):
  1. Attention-Heatmaps (Attn)
  2. Integrated Gradients (IG)
  3. Gradient × Input (G×I)
  4. Squared Gradients (Grad²)
  5. Perturbation-basiert („Single": Vorhersage mit nur einem Patch)
  6. Layer-wise Relevance Propagation (LRP)

Die Studie umfasste 10 histopathologische Datensätze (u. a. TCGA, CAMELYON16).

3. Wichtige Beiträge

1. Framework zur Evaluierung: Einführung des „Patch Flipping"-Ansatzes mit der SRG-Metrik, um die Treue von MIL-Heatmaps ohne zusätzliche Annotationen zu quantifizieren.
2. Groß angelegter Vergleich: Systematischer Vergleich von sechs Erklärungsmethoden über verschiedene Aufgaben, Architekturen und Encoder hinweg.
3. Biologische Validierung: Proof-of-Concept, dass Heatmaps mit Spatial Transcriptomics (ST) korrelieren können, um die biologische Plausibilität von Genexpressions-Vorhersagen zu validieren.
4. Entdeckung von Modellstrategien: Anwendung der besten Erklärungsmethoden, um unterschiedliche morphologische Muster zu identifizieren, die das Modell für die Vorhersage von HPV-Infektionen nutzt.

4. Ergebnisse

A. Vergleich der Erklärungsmethoden

Die Ergebnisse zeigen, dass die Qualität der Erklärung stark von der Aufgabenart und der Modellarchitektur abhängt:

• Leistungsführer: Die Methoden Single (Perturbation), LRP und Integrated Gradients (IG) schneiden konsistent am besten ab. Sie weisen eine hohe Treue zur Modellstrategie auf.
• Schwächste Methode: Attention-Heatmaps (Attn) sind in fast allen Fällen unzuverlässig. Sie korrelieren oft kaum besser mit der Modellstrategie als eine zufällige Baseline und können positive von negativen Beweisen nicht unterscheiden.
• Architektur-spezifische Empfehlungen:
  • Für Transformer-basierte Modelle (TransMIL) ist LRP die beste Wahl.
  • Für Attention- und Mamba-basierte Modelle (besonders bei Regression und Survival) ist Single oft die treueste Methode.
  • IG ist eine gute Alternative, wenn Implementierungsaufwand ein Faktor ist.

B. Biologische Validierung (Use Case 1)

• Ein MIL-Modell wurde trainiert, um die Genexpression (z. B. FASN, ERBB2) aus H&E-Schnitten vorherzusagen.
• Die Heatmaps der treuesten Methoden (LRP, Single, IG) zeigten eine signifikante räumliche Korrelation mit den Ground-Truth-Daten der Spatial Transcriptomics.
• Ergebnis: Attention-Heatmaps waren hier verrauscht und zeigten keine Korrelation, während LRP und Single die räumliche Verteilung der Genexpression korrekt abbildeten. Dies bietet einen neuen Weg zur Validierung von Biomarker-Modellen.

C. Entdeckung von Modellstrategien (Use Case 2)

• Bei der Vorhersage von HPV-Infektionen in Kopf-Hals-Karzinomen (HNSCC) wurden die LRP-Heatmaps mit quantifizierbaren histologischen Merkmalen (Zelltypen, Gewebekompartimente) überlagert.
• Ergebnis: Das Modell nutzte unterschiedliche Strategien für verschiedene Patientengruppen:
  • Manche Gruppen basierten auf starker lymphozytärer Infiltration (bekanntes HPV-Merkmal).
  • Andere Gruppen zeigten Muster, die Pathologen nicht als HPV-positiv klassifiziert hätten (z. B. spezifische Zellzusammensetzungen in Tonsillen), was auf neue biologische Hypothesen hindeutet.

5. Bedeutung und Fazit

Dieses Paper stellt einen Paradigmenwechsel in der interpretierbaren KI für die Pathologie dar:

• Kritik an Attention: Es widerlegt die weit verbreitete Annahme, dass Attention-Weights automatisch gute Erklärungen liefern.
• Richtlinien für die Praxis: Es liefert evidenzbasierte Empfehlungen, welche Erklärungsmethode je nach Modellarchitektur und klinischer Aufgabe gewählt werden sollte.
• Vertrauensbildung: Durch die Validierung von Heatmaps gegen biologische Ground-Truth-Daten (Spatial Transcriptomics) wird das Vertrauen in KI-Modelle für klinische Anwendungen gestärkt.
• Entdeckungspotenzial: Hochwertige Erklärungen ermöglichen nicht nur die Validierung, sondern auch die Entdeckung neuer morphologischer Biomarker und das Verständnis von Modellversagensmodi.

Die Autoren fordern eine breitere Adoption von erklärbarer KI (XAI) in der digitalen Pathologie, basierend auf quantitativen Treuheitsmetriken anstelle von rein visueller Inspektion. Der Code ist öffentlich verfügbar (xMIL-Repository).