💻 computer science

Uncertainty Estimation in Pathology Foundation Models via Deep Mutual Learning

Das Paper stellt $\mathtt{DICE}$ vor, ein Plug-and-Play-Framework, das tiefes gegenseitiges Lernen (deep mutual learning) nutzt, um ein Ensemble aus eingefrorenen Pathologie-Foundation-Modellen abzugleichen, wodurch zuverlässige Unsicherheitsschätzungen und eine unüberwachte Lokalisierung von Anomalien generiert werden, um die klinische Vertrauenswürdigkeit der Ganzpräparatsanalyse (Whole-Slide-Image-Analyse) zu erhöhen.

Ursprüngliche Autoren: Gbègninougbo Aurel Davy Tchokponhoue, Sevda Öğüt, Ali Idri, Dorina Thanou, Pascal Frossard

Veröffentlicht 2026-06-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Gbègninougbo Aurel Davy Tchokponhoue, Sevda Öğüt, Ali Idri, Dorina Thanou, Pascal Frossard

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der versucht, einen Patienten zu diagnostizieren, aber anstatt nach einem einzelnen Röntgenbild zu suchen, haben Sie ein riesiges, hochauflösendes Foto eines ganzen Organs (ein „Whole-Slide-Image“), das zu groß ist, um es auf einmal zu betrachten. Sie müssen in winzige Ausschnitte hineinzoomen, um das Problem zu finden.

In der Welt der KI-Pathologie gibt es nun „Foundation Models“ – superintelligente KI-Systeme, die auf Millionen von Bildern trainiert wurden und diese Ausschnitte verstehen können. Aber es gibt ein großes Problem: Diese KIs sind zwar selbstbewusst, aber sie wissen nicht, wann sie falsch liegen. Wenn eine KI sagt: „Das ist Krebs“, kann sie recht haben, oder sie rät nur komplett – aber sie wird Ihnen nicht sagen, welches von beidem der Fall ist. Außerdem ist keine einzelne KI bei jeder Aufgabe perfekt; manchmal ist KI A besser, manchmal ist es KI B.

Das Paper stellt ein neues System namens DICE (Disagreement-Informed Coordination of Experts) vor, um dies zu beheben. So funktioniert es, unter Verwendung einfacher Analogien:

1. Das „Expertengremium“ (Das Ensemble)

Anstatt sich auf nur eine einzige KI zu verlassen, versammelt DICE ein Team aus fünf verschiedenen KI-Experten. Jeder Experte ist ein anderes „Foundation Model“, das auf eine etwas andere Weise trainiert wurde (wie fünf verschiedene Ärzte, die verschiedene medizinische Fakultäten besucht haben).

Das Ziel: Sie alle betrachten dasselbe Patientenslide und geben ihre Diagnose ab.

2. Die „Lerngruppe“ (Deep Mutual Learning)

Wenn man die fünf Experten einfach alleine arbeiten ließe, würden sie vielleicht streiten, weil sie verwirrt sind, und nicht, weil der Fall tatsächlich schwierig ist. Um dies zu beheben, zwingt DICE sie, gemeinsam zu lernen.

Die Analogie: Stellen Sie sich eine Lerngruppe vor, in der den Schülern gesagt wird: „Ihr müsst euch über eure Antworten einig sein, aber ihr müsst auch die richtige Antwort vom Lehrer bekommen.“
Die Magie: Indem sie gezwungen werden, ihr Denken aufeinander abzustimmen (ein Prozess namens Deep Mutual Learning), hören sie auf, über belanglose Dinge zu streiten. Wenn sie sich trotzdem noch uneinig sind, bedeutet das, dass der Fall wirklich knifflig oder unklar ist. Ihre verbleibende Uneinigkeit wird zu einem „Konfidenz-Messgerät“. Wenn sie sich alle einig sind, ist die KI sicher. Wenn sie sich immer noch streiten, weiß die KI, dass sie unsicher ist und einen menschlichen Arzt um Hilfe bitten sollte.

3. Das „Geometrische Zusammenrücken“ (Gramian Alignment)

Das Paper fügt eine zweite Regel hinzu, um sicherzustellen, dass die Experten nicht nur eine vorgetäuschte Einigkeit zeigen.

Die Analogie: Stellen Sie sich vor, die Experten stehen in einem Raum. Wenn sie alle in einer geraden Linie stehen, sind sie sich zu ähnlich. Wenn sie überall verstreut sind, sind sie zu chaotisch. DICE nutzt einen mathematischen Trick (das Gramian-Maß), um sicherzustellen, dass sie in einem engen, organisierten Cluster stehen. Dies stellt sicher, dass sie, wenn sie uneinig sind, dies tun, weil die Daten verwirrend sind, und nicht, weil die Experten einfach nur ungeordnet sind.

4. Das „Spotlight“ (Lokalisierung)

Wenn sich die Experten darüber einig sind, wohin sie schauen sollen, erzeugt DICE ein Spotlight.

Die Analogie: Wenn fünf verschiedene Ärzte alle ihre Taschenlampen auf exakt dieselbe Stelle auf einer Karte richten, können Sie sicher sein, dass dort der Schatz liegt. Selbst wenn die KI nicht explizit darauf trainiert wurde, genau die Stelle zu finden, ermöglicht die Tatsache, dass sich alle fünf Experten über den Ort einig sind, dem System, die verdächtigen Bereiche automatisch hervorzuheben.

Was haben sie herausgefunden?

Die Forscher haben DICE auf drei verschiedenen Arten von Krebsdaten (Prostata- und Brustkrebs) getestet.

Besseres Raten: DICE war bei der Diagnose von Krebs besser als jedes einzelne KI-Modell.
Wissen, wann man aufgeben muss: Vor allem aber war DICE exzellent darin, die Fälle zu erkennen, in denen es wahrscheinlich falsch lag. Es konnte sagen: „Ich bin mir bei diesem Fall nicht sicher, bitte überprüfen Sie ihn“, und es hatte meistens recht.
Den Fleck finden: Es konnte auch genau den Bereich des Gewebes hervorheben, der krank war, ohne explizit darauf trainiert worden zu zu sein, wo es suchen muss.

Das Fazit

DICE ist wie das Zusammenbringen eines Teams aus klugen, aber manchmal übermäßig selbstbewussten KI-Ärzten, die man dazu bringt, gemeinsam zu lernen, damit sie lernen, einander zu vertrauen, und dann ihre Diskussionen nutzt, um herauszufinden, wann ein Fall zu schwierig für eine Maschine ist. Dies macht die KI sicherer im Einsatz in echten Krankenhäusern, da sie weiß, wann sie innehalten und einen Menschen um Hilfe bitten muss.

Technische Zusammenfassung: Unsicherheitsschätzung in Pathologie-Fundamentmodellen mittels Deep Mutual Learning

Problemstellung
Pathologie-Fundamentmodelle (Pathology Foundation Models, PFMs) haben starke Generalisierungsfähigkeiten bei der Extraktion von Repräsentationen aus Ganzgewebeschnitten (Whole-Slide Images, WSIs) für Aufgaben wie Überlebensanalyse, Biomarker-Entdeckung und Tumorsubtypisierung demonstriert. Ihre Überführung in die routinemäßige klinische Praxis wird jedoch durch zwei kritische Einschränkungen behindert:

Mangel an Konfidenzschätzungen: Bestehende PFM-Pipelines liefern typischerweise Vorhersagen ohne explizite Maße für Konfidenz oder Unsicherheit. In klinischen Settings müssen Modelle nicht nur genau sein, sondern auch in der Lage sein, anzuzeigen, wann ihre Vorhersagen unsicher sind, um eine sichere Entscheidungsfindung zu unterstützen.
Aufgabenspezifische Leistung: Kein einzelnes PFM ist universell überlegen für alle Downstream-Aufgaben, Datensätze und klinischen Kontexte. Die Auswahl des optimalen Modells für den Einsatz ist anspruchsvoll, und das Vertrauen auf ein einzelnes Modell birgt das Risiko suboptimaler Leistung oder einer Überkonfidenz in fehleranfälligen Fällen.

Aktuelle Fusionsmethoden verbessern oft die Leistung, versäumen es jedoch, explizite, aufgabenspezifische Unsicherheitsschätzungen bereitzustellen. Umgekehrt sind Methoden zur Quantifizierung von Unsicherheit wie Deep Ensembles oder Monte Carlo Dropout entweder nicht spezifisch für PFM-Ensembles konzipiert oder sind aufgabenspezifisch (z. B. begrenzt auf die Glioblastom-Diagnose).

Methodik: DICE-Framework
Die Autoren schlagen DICE (Disagreement-Informed Coordination of Experts) vor, ein Plug-and-Play-Framework, das $K$ eingefrorene PFMs ensemblieren kann, um Unsicherheit zu schätzen und die Downstream-Leistung zu verbessern. Die Kernintuition besteht darin, dass die Uneinigkeit (Disagreement) zwischen heterogenen PFMs ein informatives Signal für Unsicherheit liefert, vorausgesetzt, diese Uneinigkeit ist strukturiert und wird nicht durch Optimierungsrauschen dominiert.

Das Framework arbeitet wie folgt:

Architektur: Das System nutzt $K$ eingefrorene PFMs (z. B. Virchow2, UNI2-h, H-optimus-1, CONCHv1.5, Hibou-L). Jedes PFM fungt als „Experte“ $E^{(k)}$ , gepaart mit einem unabhängigen Multiple Instance Learning (MIL) Aggregator (speziell ABMIL) und einem Klassifikations-Head.
Trainingsziele: Um sicherzustellen, dass die Uneinigkeit der Experten eine aussagekräftige Unsicherheit und kein Rauschen widerspiegelt, werden die Experten während des Trainings über drei Ziele gekoppelt:
- Überwachtes Verlustmaß ( $L_{sup}$ ): Standardmäßiger Cross-Entropy-Loss, um eine genaue Klassifikation auf Slide-Ebene zu gewährleisten.
- Deep Mutual Learning ( $L_{DML}$ ): Ein Alignment-Ziel im Vorhersageraum, bei dem jeder Experte die Kullback–Leibler-Divergenz zwischen seiner prädiktiven Verteilung und denen seiner $K-1$ Peers minimiert. Dies fördert den Konsens, während die Übereinstimmung mit der Ground Truth gewahrt bleibt.
- Gramian-Regularisierung ( $L_{Gram}$ ): Ein Alignment-Ziel im Repräsentationsraum basierend auf dem Gramian-Maß. Es regt die Slide-Level-Embeddings der Experten dazu an, einen Subraum mit geringem Volumen zu besetzen, um geometrische Fehlausrichtungen zu verhindern, die als Unsicherheit getarnt sein könnten.
- Gesamtverlust: Das Trainingsziel kombiniert diese Terme: $L = L_{sup} + L_{DML} + \lambda_{Gram}(t) L_{Gram}$ , wobei $\lambda_{Gram}$ einem Warm-up-Schema folgt.
Inferenz und Unsicherheitsschätzung:
- Unsicherheits-Proxy: Bei der Inferenz ist die Ensemble-Vorhersage der Durchschnitt der Verteilungen der $K$ Experten. Die gesamte prädiktive Unsicherheit wird in aleatorische (Daten-) und epistemische (Modell-) Komponenten zerlegt. Die Autoren beweisen theoretisch, dass die epistemische Unsicherheit (restliche Uneinigkeit) durch die aggregierte DML-Loss nach oben beschränkt ist. Somit verringert die Minimierung der DML-Loss während des Trainings die obere Schranke der Modellunsicherheit.
- Lokalisierung: Die Lokalisierung von Patch-Level-Läsionen wird unüberwacht durch die Berechnung des Konsens der Attention-Gewichte über alle Experten hinweg erreicht.

Wesentliche Beiträge

Erstes aufgabenspezifisches Framework: DICE ist das erste Framework, das PFM-Ensembles gezielt für die aufgabenspezifische Unsicherheitsschätzung in der computergestützten Pathologie nutzt.
Theoretische Fundierung: Die Arbeit liefert einen theoretischen Beweis dafür, dass die Minimierung des DML-Alignment-Ziels während des Trainings die obere Schranke der epistemischen Unsicherheit des Ensembles kontrahiert, was die Verwendung der restlichen Uneinigkeit als zuverlässigen Unsicherheits-Proxy validiert.
Empirische Leistung: Umfangreiche Experimente zeigen, dass DICE nicht nur fehleranfällige Proben (sowohl In- als auch Out-of-Distribution) präzise identifiziert, sondern auch SOTA Single-PFMs und Fusion-Baselines in Bezug auf Klassifikation, Kalibrierung und unüberwachte Läsionslokalisierung erreicht oder übertrifft.

Experimentelle Ergebnisse
Das Framework wurde auf drei schwach überwachten WSI-Benchmarks evaluiert: PANDA (Prostata-Krebs-Grading), CAMELYON16 und CAMELYON17 (Brust-Lymphknoten-Metastasierungserkennung).

Klassifikation & Kalibrierung: DICE erreichte die höchsten F1-Scores und die niedrigsten Negative Log-Likelihoods (NLL) über die meisten Datensätze hinweg. Auf PANDA verbesserte DICE den F1-Score um 3,8 Prozentpunkte gegenüber dem besten Single-PFM und um 2,8 Punkte gegenüber der besten Fusion-Baseline.
Unsicherheitsschätzung: In Experimenten zur selektiven Vorhersage konnte DICE Proben mit hoher Unsicherheit effektiv zurückstellen, was zu den niedrigsten verbleibenden Fehlerraten führte. Es zeigte eine überlegene Trennung zwischen korrekten und inkorrekten Vorhersagen (gemessen an Cliff's $\Delta$ ) im Vergleich zu Monte Carlo Dropout und anderen Fusionsmethoden. Diese Fähigkeit blieb auch unter Kohortenverschiebungen (z. B. Training auf CAMELYON16 und Testen auf CAMELYON17) bestehen.
Lokalisierung: Durch die Aggregation von Attention-Maps lieferte DICE eine unüberwachte Patch-Level-Lokalisierung, die mit Single-Modellen konkurrieren konnte oder diese sogar übertraf, insbesondere indem sie die Aufmerksamkeit stärker innerhalb der annotierten Tumorgewebe als im umgebenden Stroma konzentrierte.
Ablationsstudien: Das Framework erwies sich als robust gegenüber der Wahl des MIL-Aggregators (DSMIL, TransMIL) und zeigte, dass die Erhöhung der Anzahl der Experten abnehmende Grenzerträge liefert, sobald der Merkmalsraum ausreichend abgedeckt ist, was die Bedeutung der Komplementarität der Experten gegenüber der reinen Ensemble-Größe hervorhebt.

Bedeutung und Ansprüche
Die Autoren positionieren DICE als entscheidenden Schritt zur Überführung von PFMs in unsicherheitsbewusste Entscheidungsunterstützungssysteme. Durch die Etablierung eines theoretisch fundierten Ansatzes zur Fusion von PFMs adressiert DICE die „Black Box“-Natur aktueller Modelle und bietet einen Mechanismus, um fehleranfällige Fälle zu identifizieren und sicher an Kliniker zu delegieren. Die Autoren behaupten, dass ihre Methode PFMs in klinischen Settings vertrauenswürdiger macht, indem sie zuverlässige Unsicherheitsschätzungen liefert, ohne eine explizite Überwachung für Lokalisation oder Konfidenzkalibrierung zu erfordern.

Die Autoren räumen Einschränkungen ein, darunter die Rechenkosten für die Extraktion von Merkmalen aus $K$ eingefrorenen Modellen (obwohl die Trainingskosten niedriger als beim End-to-End-Fine-Tuning sind) sowie die Notwendigkeit, Alignment und Diversität sorgfältig auszubalancieren, um nicht diejenige Uneinigkeit zu unterdrücken, die für die Unsicherheitsschätzung erforderlich ist. Sie kommen zu dem Schluss, dass, obwohl die Anzahl der Experten derzeit fest vorgegeben ist, das Framework den Weg für zuverlässigere, unsicherheitsbewusste Pathologie-Modelle ebnet, die in klinische Arbeitsabläufe integriert werden können.