Enabling clinical use of foundation models in histopathology

Die Studie zeigt, dass die Einführung robuster Verlustfunktionen beim Training nachgelagerter Modelle die Empfindlichkeit von Histopathologie-Foundation-Modellen gegenüber technischen Schwankungen verringert und gleichzeitig die Vorhersagegenauigkeit erhöht, ohne die Basismodelle selbst neu trainieren zu müssen.

Das Wesentliche

Das große Problem: Der "Verkleidete" Pathologe

Stellen Sie sich vor, Sie haben einen extrem klugen Assistenten (den sogenannten Foundation Model), der gelernt hat, unter dem Mikroskop nach Krebs zu suchen. Dieser Assistent wurde mit Millionen von Bildern trainiert und kennt sich mit Zellstrukturen aus.

Aber es gibt ein riesiges Problem: Dieser Assistent ist ein bisschen wie ein Detektiv, der zu sehr auf die Umgebung achtet und zu wenig auf den Tatort.

• Das Szenario: Wenn derselbe Gewebeschnitt (ein winziges Stückchen Gewebe von einem Patienten) in London fotografiert wird und dann in Oslo, sieht das Foto anders aus. In London wurde es vielleicht auf einem blauen Scanner fotografiert, in Oslo auf einem roten. Die Farben sind leicht anders, das Licht ist anders.
• Der Fehler: Der Assistent lernt versehentlich: "Aha! Wenn das Bild leicht rötlich ist, ist es Krebs. Wenn es bläulich ist, ist es gesund." Dabei hat die Farbe nichts mit dem Krebs zu tun, sondern nur mit dem Scanner!
• Die Folge: Wenn Sie den Assistenten in ein neues Krankenhaus schicken, wo ein anderer Scanner steht, wird er verrückt. Er sagt vielleicht bei einem gesunden Patienten "Krebs!", nur weil der Scanner dort eine andere Farbe hat. Das ist im echten Leben gefährlich.

Die Lösung: Ein neuer Trainings-Trick

Die Forscher haben herausgefunden, dass man den Assistenten nicht neu erziehen muss (das wäre zu teuer und dauert ewig). Stattdessen haben sie ihm einen neuen Trainer an die Seite gestellt, der ihm während des Lernens eine spezielle Regel aufzwingt.

Stellen Sie sich das so vor:

1. Der Trick: Der Trainer nimmt zwei Fotos vom exakt gleichen Gewebestück. Eines wurde in London gemacht, eines in Oslo.
2. Die Regel: Er sagt dem Assistenten: "Schau her! Das ist das gleiche Stück Fleisch. Egal, ob das Foto rot oder blau ist – deine Antwort muss identisch sein!"
3. Die Bestrafung: Wenn der Assistent bei dem roten Bild "Krebs" sagt und bei dem blauen "Gesund", gibt es eine Strafe (in der Mathematik nennt man das eine "Verlustfunktion"). Er muss also lernen, die Farbe zu ignorieren und sich nur auf die echten Zellstrukturen zu konzentrieren.

Was passiert dabei?

Durch diesen Trick passiert etwas Magisches:

• Robustheit: Der Assistent wird "stur" gegenüber den Scanner-Farben. Er lernt, dass die Farbe des Scanners irrelevant ist.
• Bessere Genauigkeit: Da er nicht mehr auf die falschen Hinweise (die Scanner-Farben) achtet, muss er sich auf die wahren Hinweise (die Krebszellen) konzentrieren. Das macht ihn sogar noch klüger als vorher!
• Kein Umbau nötig: Das Tolle ist: Der ursprüngliche Assistent (der Foundation Model) bleibt unverändert. Man baut nur eine kleine "Brille" auf, die ihm hilft, die richtigen Dinge zu sehen, wenn er die Bilder verarbeitet.

Ein Vergleich aus dem Alltag

Stellen Sie sich vor, Sie lernen, ein Auto zu fahren.

• Ohne den Trick: Sie lernen nur, wie man in einem roten Ferrari fährt. Wenn Sie dann in einen blauen VW Golf steigen, wissen Sie nicht mehr, was die Pedale bedeuten, weil alles anders aussieht.
• Mit dem Trick: Ihr Fahrlehrer lässt Sie in einem roten Ferrari und einem blauen VW Golf gleichzeitig üben. Er schreit: "Das Gaspedal ist das Gaspedal, egal welche Farbe das Auto hat!"
• Das Ergebnis: Sie lernen, das Fahren zu verstehen, nicht nur das Aussehen des Autos. Sie können jetzt jedes Auto fahren, egal woher es kommt.

Warum ist das wichtig?

Bisher waren KI-Modelle in der Medizin oft wie diese unzuverlässigen Autofahrer. Sie funktionierten super im Labor, versagten aber im echten Krankenhaus, weil die Geräte anders waren.

Diese Studie zeigt, wie man KI-Modelle so "schmuddelt" (robust macht), dass sie in der echten Welt funktionieren. Sie können jetzt in jedem Krankenhaus auf jedem Scanner eingesetzt werden, ohne dass die Ärzte Angst haben müssen, dass das Ergebnis nur wegen der Scanner-Farbe falsch ist. Das ist ein riesiger Schritt, um KI sicher in die tägliche Patientenversorgung zu bringen.

Kurz gesagt: Die Forscher haben einen Weg gefunden, KI-Modelle "blind" für technische Fehler zu machen, damit sie wieder "scharf" für die echte Krankheit werden.

Technische Zusammenfassung

Problemstellung

Grundlagenmodelle (Foundation Models) in der Histopathologie, die durch selbstüberwachtes Lernen auf großen Whole-Slide-Image (WSI)-Datensätzen trainiert wurden, versprechen leistungsstarke und generalisierbare Deep-Learning-Systeme. Ein kritisches Hindernis für ihren klinischen Einsatz ist jedoch ihre mangelnde Robustheit gegenüber nicht-biologischer Variation.

Die Modelle lernen oft „Shortcut Learning" (Spurious Correlations), bei dem sie technische Artefakte statt biologischer Merkmale nutzen. Zu diesen Artefakten gehören:

• Präanalytische Faktoren: Unterschiede in der Gewebeaufbereitung, Färbereagenzien und Schnittstärken.
• Scanner-spezifische Variation: Unterschiedliche digitale Scanner (z. B. Leica, Hamamatsu, 3DHISTECH) erzeugen charakteristische Signaturmuster in den Bildern.

Studien zeigen, dass die Merkmalsvektoren (Features) dieser Foundation-Modelle stärker nach dem Ursprungsort (Labor/Scanner) clusteren als nach biologischen Unterschieden. Dies führt dazu, dass downstream-Aufgaben (z. B. Überlebensvorhersage oder Metastasen-Detektion) bei gleichen Gewebeproben, die auf verschiedenen Scannern aufgenommen wurden, inkonsistente und unzuverlässige Vorhersagen liefern. Herkömmliche Methoden zur Normalisierung (z. B. Färbekorrektur) entfernen diese Abhängigkeiten nicht vollständig.

Methodik

Die Autoren schlagen einen Ansatz vor, der die Robustheit von downstream-Aufgabenspezifischen Modellen verbessert, ohne die zugrunde liegenden Foundation-Modelle neu zu trainieren.

1. Datengrundlage:

• Ein umfassendes Experiment-Setup mit 27.042 WSIs von 6.155 Patienten.
• Daten stammen aus mehreren Kohorten (u. a. TransSCOT, QUASAR 2, VICTOR) mit Gewebeschnitten, die auf bis zu fünf verschiedenen Scannern (Aperio, NanoZoomer, KF-PRO, etc.) und in verschiedenen Laboren (UK, Norwegen, Deutschland, Japan) gescannt wurden.
• Für viele Patienten liegen mehrere Scans desselben Gewebeschnitts vor, die registriert (ausgerichtet) wurden, um exakt denselben physischen Bereich auf verschiedenen Scannern zu vergleichen.

2. Architektur und Training:

• Es wurden acht populäre Foundation-Modelle (H-Optimus 0/1, Hibou-L, Phikon-v2, Prov-GigaPath, UNI, UNI2, Virchow2) verwendet, um Tile-Features zu extrahieren.
• Ein downstream-Netzwerk (Attention-based Multiple Instance Learning, MIL) wird auf diesen Features trainiert.
• Kerninnovation: Einführung von zwei zusätzlichen Robustheits-Loss-Termen in die Verlustfunktion während des Trainings:
  • Contrastive Loss (Embedding Loss): Basierend auf InfoNCE. Dieser Loss zieht die Feature-Vektoren desselben physischen Gewebebereichs (von verschiedenen Scannern) im Embedding-Raum zusammen und drückt Features verschiedener Patienten auseinander.
  • Score Loss (Mean Squared Error): Dieser Loss bestraft Unterschiede in den finalen Vorhersagescores (Logits) für denselben Patienten, wenn dieser auf verschiedenen Scannern gescannt wurde.

3. Verlustfunktion:
Die Gesamtverlustfunktion $L$ setzt sich wie folgt zusammen:
$$L = L_{\text{Classification}} + \lambda \cdot L_{\text{Embedding}} + \lambda \cdot L_{\text{Score}}$$
Dabei ist $\lambda$ ein Gewichtungsfaktor, der das Gleichgewicht zwischen der Klassifikationsgenauigkeit und der Robustheit steuert. Dieser Faktor wird für jedes Foundation-Modell und jede Aufgabe optimiert.

Wesentliche Beiträge

1. Quantifizierung der Nicht-Robustheit: Der Nachweis, dass Foundation-Modelle Scanner-Informationen so stark kodieren, dass diese sogar mit einfacher linearer Regression (Linear Probing) mit fast 100% Genauigkeit identifiziert werden können.
2. Neuer Regularisierungsansatz: Entwicklung einer Methode, die durch Multi-Loss-Optimierung (Contrastive + Score Loss) die downstream-Modelle zwingt, sich auf biologisch relevante Merkmale zu konzentrieren, ohne das Basis-Modell anzufassen.
3. Skalierbare Validierung: Evaluation an tausenden Modellen und einem der größten externen Testsets in diesem Bereich, einschließlich Daten aus verschiedenen Ländern und Scannern, die im Training nicht verwendet wurden.

Ergebnisse

Die Anwendung der Robustheits-Loss-Terme führte zu signifikanten Verbesserungen:

• Erhöhte Konsistenz: Die Inkonsistenz (gemessen als relative Standardabweichung der Vorhersagen desselben Patienten über verschiedene Scanner) sank drastisch.
  • Ohne Robustheits-Loss: Inkonsistenz zwischen 0,25 und 0,52 (je nach Modell).
  • Mit Robustheits-Loss: Inkonsistenz sank auf unter 0,2 (bei den meisten Modellen unter 0,1).
  • Die Übereinstimmung der Klassifikationen (Classification Agreement) zwischen Scannern stieg von ca. 80–90% auf über 95% (bei den meisten Modellen).
• Verbesserte Vorhersagegenauigkeit: Überraschenderweise führte die Regularisierung nicht nur zu mehr Robustheit, sondern auch zu einer Steigerung der diagnostischen Genauigkeit (gemessen durch c-Index für Überleben und AUC für Lymphknotenmetastasen).
  • Beispiel LNM-Vorhersage (Lymphknotenmetastasen): Der AUC-Wert für das Modell Virchow2 stieg von 0,64 auf 0,73.
  • Dies deutet darauf hin, dass die Regularisierung das Modell zwingt, biologisch signifikante Signale statt technischer Rauschsignale zu lernen.
• Generalisierung: Die Methode funktionierte konsistent über alle acht getesteten Foundation-Modelle hinweg und für zwei verschiedene klinische Aufgaben (Überlebensvorhersage bei Darmkrebs und LNM-Vorhersage bei pT1 Darmkrebs).

Bedeutung und Fazit

Dieses Paper adressiert eine der größten Hürden für den klinischen Einsatz von KI in der Pathologie: die Abhängigkeit von spezifischen Scanner- und Laborbedingungen.

• Klinische Relevanz: Die vorgeschlagene Methode ermöglicht die Entwicklung von Modellen, die in der Routinepraxis zuverlässig funktionieren, auch wenn sie nur auf einem einzelnen Scanner gescannte Bilder verarbeiten (da das Training zwar multi-Scanner-Daten nutzt, die Anwendung aber single-Scanner-fähig ist).
• Effizienz: Da die Foundation-Modelle selbst nicht neu trainiert werden müssen, ist der Ansatz ressourcenschonend und leicht auf bestehende Modelle anwendbar.
• Paradigmenwechsel: Die Ergebnisse zeigen, dass Robustheit und Genauigkeit nicht gegeneinander ausgespielt werden müssen. Durch die Fokussierung auf biologisch relevante Merkmale durch Regularisierung können beide Metriken gleichzeitig verbessert werden.

Zusammenfassend bietet der vorgestellte Ansatz einen praktikablen Weg, um die „Black Box"-Problematik von Foundation Models in der Histopathologie zu entschärfen und deren Potenzial für die klinische Routine freizuschalten.