Multi-criterion uncertainty estimation improves skin cancer distribution shift detection and malignancy prediction

Diese Studie stellt eine neuartige Multi-Kriterien-Uncertainty-Schätzmethode namens SAGE vor, die hilft, Verteilungsverschiebungen bei Hautkrebsbildern zu erkennen und die Zuverlässigkeit von malignitätsvorhersagenden KI-Modellen in der klinischen Praxis durch Filterung problematischer Bilder zu verbessern.

Das Wesentliche

Das Problem: Der „perfekte" Schüler und die chaotische Realität

Stellen Sie sich vor, Sie haben einen brillanten Schüler (einen KI-Computer), der gelernt hat, Hautkrebs zu erkennen. Aber er hat sein ganzes Leben lang nur in einer einzigen, perfekt beleuchteten Bibliothek gelernt. Die Bilder dort waren immer gleich: klare Lichtverhältnisse, keine Haare im Weg, keine Maßstäbe daneben und nur sehr helle Haut.

Wenn dieser Schüler nun in die echte Welt geschickt wird – auf einen belebten Markt, wo das Licht flackert, die Menschen dunklere Haut haben, Haare im Bild sind und die Fotos mit dem Handy gemacht wurden – gerät er in Panik. Er macht Fehler, weil die Bilder nicht mehr so aussehen wie in seinem Lehrbuch. In der Medizin ist das gefährlich: Ein falsches „Alles gut"-Urteil kann lebensbedrohlich sein.

Die Lösung: Der neue „Wahrheits-Checker" (SAGE)

Die Forscher aus Oregon haben eine neue Methode entwickelt, die sie SAGE nennen. Man kann sich SAGE wie einen sehr aufmerksamen Türsteher oder einen Qualitäts-Inspektor vorstellen, der vor dem eigentlichen Arzt (der KI) steht.

Bevor die KI eine Diagnose stellt, schaut sich SAGE das Bild genau an und stellt drei Fragen:

1. Wie ähnlich ist das Bild dem, was ich kenne? (Ist das Licht so wie in der Bibliothek?)
2. Wie sicher ist die KI bei ihrer Antwort? (Zögert sie?)
3. Kann ich das Bild gut wiederherstellen? (Wenn ich das Bild „zerstöre" und versuche, es aus dem Gedächtnis neu zu malen, kommt es dann gut raus? Wenn nicht, war das Bild zu seltsam.)

Aus diesen drei Antworten rechnet SAGE einen Sicherheits-Score aus.

Was passiert mit dem Score?

• Niedriger Score (Grünes Licht): Das Bild sieht aus wie die Trainingsbilder. Die KI darf arbeiten.
• Hoher Score (Rotes Licht): Das Bild ist „aus der Reihe". Vielleicht ist es zu dunkel, hat einen Maßstab im Bild, ist unscharf oder zeigt eine Hautfarbe, die die KI nicht kennt.

Der Clou: Wenn SAGE ein rotes Licht gibt, wird das Bild nicht einfach ignoriert. Stattdessen wird es dem Arzt gesagt: „Hey, dieses Bild ist für die KI zu riskant. Bitte schau dir das selbst an!"

Die Ergebnisse: Warum das wichtig ist

Die Forscher haben das System mit Bildern aus fünf verschiedenen Ländern (USA, Brasilien, Argentinien, Türkei, Österreich etc.) getestet.

1. Erkennung von „Fremden": SAGE konnte Bilder, die völlig anders waren als die Trainingsdaten (z. B. Handyfotos statt spezieller Dermatoskope), extrem gut erkennen. Es war wie ein Detektiv, der sofort merkt: „Das hier passt nicht in dieses Album."
2. Fairness für dunklere Haut: Ein großes Problem bei KI ist oft, dass sie bei dunkler Haut schlechter arbeitet, weil sie nur mit hellen Hauttönen trainiert wurde. SAGE hat gezeigt, dass viele dieser Bilder „hochwertig" genug sind, aber die KI sie trotzdem ablehnt. Wenn man die Bilder mit dem höchsten Unsicherheits-Score (die verworfen wurden) entfernt, wurde die Diagnose für Menschen mit dunkler Haut plötzlich genauer als für Menschen mit heller Haut!
   • Vergleich: Es ist, als würde man einen Sporttrainer, der nur mit Läufern auf Asphalt trainiert hat, vor einen Lauf auf Sand stellen. Wenn man ihm sagt: „Achte auf die Sandkörner", läuft er plötzlich besser als auf dem Asphalt, weil er sich nicht mehr auf das falsche Terrain verlässt.
3. Fehler vermeiden: Die KI macht weniger Fehler, wenn SAGE die „schlechten" Bilder aussortiert.

Fazit

Diese Studie zeigt, dass wir KI in der Medizin nicht blind vertrauen sollten. Wir brauchen einen intelligenten Filter (SAGE), der uns sagt: „Dieses Bild ist okay für die Maschine" oder „Dieses Bild ist zu seltsam, bitte mache das manuell."

Das macht die Diagnose sicherer, fairer für alle Hautfarben und verhindert, dass die KI in Situationen versagt, für die sie nicht trainiert wurde. Es ist wie ein Sicherheitsgurt für die künstliche Intelligenz in der Dermatologie.

Technische Zusammenfassung

Titel: Multi-criterion uncertainty estimation improves skin cancer distribution shift detection and malignancy prediction

(Multikriterielle Unsicherheitsschätzung verbessert die Erkennung von Verteilungsverschiebungen bei Hautkrebs und die Vorhersage von Malignität)

---

1. Problemstellung

Maschinelle Lernmodelle (ML) für die dermatologische Diagnostik, insbesondere zur Vorhersage von Hautkrebs, zeigen auf standardisierten Benchmark-Datensätzen (wie HAM10000) oft hervorragende Leistungen. In der klinischen Praxis scheitern diese Modelle jedoch häufig, wenn sie mit Daten aus unterschiedlichen Quellen konfrontiert werden.

• Hauptursachen: Hohe Variabilität in Beleuchtung, Aufnahmewinkeln, Bildgebungstechnologien (Dermatoskope vs. Smartphone-Kameras) und Patientenphänotypen (Hauttypen).
• Folgen: Dies führt zu „Generalisierungslücken" (Generalization Gaps), bei denen die Modellleistung drastisch einbricht. Bestehende Unsicherheitsschätzmethoden (Uncertainty Quantification, UQ) sind oft unflexibel, nicht robust gegenüber Datenverschiebungen (Data Drift) oder scheitern stillschweigend bei semantisch neuen Klassen oder Bildartefakten.
• Ziel: Es besteht ein dringender Bedarf an Methoden, die erkennen, ob ein neues Bild „außerhalb der Verteilung" (Out-of-Distribution, OOD) liegt, bevor es in einen klinischen Diagnoseprozess einfließt, um Fehldiagnosen und gesundheitliche Ungleichheiten zu vermeiden.

2. Methodik

Die Autoren stellen eine neuartige Methode namens SAGE (Supervised Autoencoders for Generalization Estimates) vor, die eine multikriterielle Unsicherheitsschätzung durchführt.

• Architektur SAGE:

  • Basierend auf einem überwachten Autoencoder mit einem Encoder, einem Decoder und einem Klassifikator.
  • Der Encoder komprimiert Bilder in einen latenten Raum (256 Dimensionen).
  • Der Decoder rekonstruiert das Originalbild (überwacht durch Rekonstruktionsfehler).
  • Der Klassifikator sagt die Diagnose voraus (überwacht durch Cross-Entropy-Verlust).
  • Das Modell wurde auf dem HAM10000-Datensatz trainiert (Referenzverteilung).

• Der SAGE-Score (Multikriterielle Metrik):
  Der Score wird als geometrisches Mittel der Überschreitungswahrscheinlichkeiten (Exceedance Probabilities) dreier unabhängiger Metriken berechnet:

  1. Latente Distanz (kNN): Der L1-Abstand des latenten Embeddings zu den $k=20$ nächsten Nachbarn im Trainingsdatensatz.
  2. Klassifikator-Vertrauen: Die maximale Softmax-Wahrscheinlichkeit des Klassifikators.
  3. Rekonstruktionsfehler: Der Mean-Squared-Error (MSE) zwischen Originalbild und rekonstruiertem Bild durch den Decoder.

  Ein hoher SAGE-Score deutet auf ein hohes Maß an Unsicherheit und eine hohe Wahrscheinlichkeit für OOD-Daten hin.

• Datenbasis:
  Die Studie nutzt fünf öffentliche Datensätze aus sechs Ländern (Argentinien, Brasilien, Österreich, Nordmazedonien, Türkei, Australien, USA):

  • HAM10000: Trainings- und Referenzdatensatz (Dermoskopie).
  • HIBA, UFES, DDI, MILK10K: Testdatensätze mit gemischten Modalitäten (Smartphone vs. Dermoskopie) und unterschiedlichen Diagnosen.
  • Caltech-101: Für den Test von „Far-OOD" (semantisch völlig fremde Objekte).

• Validierung:

  • Vergleich mit etablierten UQ-Methoden (ResNet-50 Ensembles, Maximum Softmax Probability, Mutual Information, Dropout-Entropy).
  • Manuelle Annotation von 12 Bildmerkmalen (z. B. Haar, Hintergrund, Lineal, Blitz) in den externen Datensätzen, um Korrelationen mit dem SAGE-Score zu analysieren.
  • Risiko-Abdeckungs-Analyse (Risk-Coverage Analysis) zur Bewertung der Leistung eines separaten Malignitätsvorhersagemodells nach Filterung basierend auf dem SAGE-Score.

3. Wichtige Beiträge

1. Entwicklung von SAGE: Eine robuste, entkoppelte Metrik zur OOD-Erkennung, die sowohl überwachte (Klassifikation) als auch unüberwachte (Rekonstruktion) Signale kombiniert.
2. Umfassende Evaluation: Erste Anwendung von Deep Ensembles in der Dermatologie mit dem Ziel des Vergleichs von Datensätzen und der Identifizierung von Generalisierungsproblemen über globale Populationen hinweg.
3. Identifikation von Artefakten: Systematische Aufdeckung, wie spezifische Bildartefakte (z. B. Lineale, Blitzlicht, Haare, nicht-hautbezogener Hintergrund) den SAGE-Score erhöhen und somit die Zuverlässigkeit von Vorhersagen beeinträchtigen.
4. Verbesserung der Selektiven Vorhersage: Demonstration, dass das Filtern von Bildern mit hohem SAGE-Score die Leistung eines nachgelagerten Malignitätsmodells signifikant verbessert, insbesondere bei Daten mit Verteilungsverschiebungen.

4. Ergebnisse

• OOD-Erkennung: SAGE übertraf alle anderen getesteten Methoden (MSP, Mutual Information, Dropout-Entropy, kNN allein) bei der Erkennung von OOD-Daten.
  • Bei semantisch fremden Daten (Caltech-101) erreichte SAGE eine AUROC von 1,00.
  • Bei kombinierten Verschiebungen (Modalität und Klasse) lag die AUROC bei 0,92.
• Einfluss von Bildmerkmalen:
  • Hohe SAGE-Scores korrelierten stark mit Artefakten wie Linealen, Blitzlicht und nicht-hautbezogenem Hintergrund.
  • Die Kombination mehrerer negativer Merkmale (z. B. dichte Haare + Hintergrund) führte zu additiven Effekten und noch höheren Scores.
  • Interessanterweise hatte der Hauttyp (Fitzpatrick-Skala) einen geringeren Einfluss auf den Score als Bildartefakte, obwohl dunklere Hauttypen nach dem Filtern immer noch leicht schlechtere Scores aufwiesen.
• Verbesserung der Malignitätsvorhersage:
  • Durch das Filtern von Bildern mit einem SAGE-Score über einem Schwellenwert (90% Recall auf Trainingsdaten) verbesserte sich die AUROC für dunkle Hauttypen von 0,68 auf 0,78.
  • Die Risiko-Abdeckungs-Kurven zeigten, dass SAGE das Risiko von Fehlvorhersagen (False Positives/Negatives) effektiver reduziert als die intrinsische Unsicherheit des Vorhersagemodells selbst.
• Erkennung neuer Klassen: SAGE konnte erfolgreich neue maligne Läsionstypen (z. B. T-Zell-Lymphome, Kaposi-Sarkom), die im Training nicht vorkamen, als OOD identifizieren und filtern, was die Rate falsch-negativer Vorhersagen für diese neuen Klassen reduzierte.

5. Bedeutung und Fazit

Die Studie zeigt, dass eine multikriterielle Unsicherheitsschätzung wie SAGE ein entscheidendes Werkzeug ist, um die Sicherheit von KI-gestützten dermatologischen Diagnosen zu erhöhen.

• Klinische Relevanz: SAGE ermöglicht es Ärzten und Entwicklern, vor der klinischen Implementierung zu prüfen, wie stark ihre Daten von den Trainingsdaten abweichen. Es fungiert als „Gatekeeper", der problematische Bilder (durch Artefakte oder unbekannte Pathologien) herausfiltert, bevor sie ein Diagnosemodell passieren.
• Gerechtigkeit: Die Methode hilft, Verzerrungen (Bias) gegenüber Patienten mit dunklerer Haut oder in bestimmten klinischen Umgebungen zu reduzieren, indem sie Datenfilterung basierend auf der Ähnlichkeit zur Trainingsverteilung ermöglicht.
• Zukunftsausblick: SAGE wird als Erweiterung oder Ersatz für „Model Cards" vorgeschlagen, die es Nutzern ermöglichen, interaktiv zu untersuchen, wie sich ihre Daten von den Trainingsdaten unterscheiden.

Zusammenfassend bietet SAGE einen robusten Rahmen, um die Lücke zwischen kontrollierten Benchmark-Datensätzen und der komplexen Realität der klinischen Dermatologie zu schließen und so die Zuverlässigkeit von KI-Systemen in der globalen Gesundheitsversorgung zu stärken.