Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

Technische Zusammenfassung: Suche nach robusten Augmentationen zur Verbesserung der Out-of-Domain-Generalisierung in der dermoskopischen Hautkrebsklassifizierung

Problemstellung
Deep-Learning-Modelle für die dermoskopische Klassifizierung von Hautläsionen erreichen oft eine hohe Genauigkeit auf internen Testsets, leiden jedoch unter einem signifikanten Leistungsabfall, wenn sie auf Daten aus neuen Quellen (Out-of-Domain, oder OOD) angewendet werden. Dieser „Domain Shift“ entsteht durch Variationen in den Bildgebungsgeräten, der Beleuchtung, der Farbverarbeitung und den Erfassungsartefakten über verschiedene Kliniken hinweg. Während die bisherige Forschung intensiv die Auswahl von Architekturen und die interne Validierung untersucht hat, mangelt es an einer systematischen Analyse darüber, welche spezifischen Klassen von Datenaugmentationen effektiv die Robustheit gegenüber quellenspezifischen Verschiebungen verbessern. Darüber hinaus optimieren bestehende Augmentationsstudien häufig für die In-Domain-Validierung und adressieren dabei nicht das spezifische Problem des Transfers auf völlig neue Erfassungsumgebungen.

Methodik
Die Studie verwendet einen datenzentrierten Ansatz, um die OOD-Generalisierung eines binären Klassifikators für maligne versus nicht-maligne Fälle zu verbessern.

• Datensätze: Das Training und die In-Domain-Evaluierung nutzen eine Multi-Source-Kollektion aus dem ISIC-Archiv (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) und Derm7pt. Um eine rigorose OOD-Evaluierung zu gewährleisten, wurden die Datensätze HAM10000 und ISIC 2019–2020 vollständig als quellendisjunktes Testset zurückgehalten. Ein unabhängiger, geschlossener klinischer Datensatz (Melanoscope) wurde ausschließlich für die abschließende externe Validierung verwendet, ohne die Modellauswahl zu beeinflussen.
• Modellarchitektur: Es wurde ein ConvNeXt-Large-Backbone verwendet, das mit ImageNet-Gewichten initialisiert wurde, zusammen mit einem binären Klassifikations-Head.
• Augmentations-Suche: Die Autoren führten eine systematische Suche über drei Kategorien von Augmentationen durch:
  1. Einzelne Augmentationen: Individuelle geometrische und photometrische Transformationen.
  2. Photometrische Kombinationen: Feste Paarungen oder Trios von farbbasierten Operatoren (z. B. ColorJitter, PlanckianJitter, HEStain).
  3. Komposite Policys: Konfigurationen, die von Wettbewerbslösungen inspiriert sind sowie von den eigenen Funden der Autoren (z. B. mix, kaggle_strong_hestain).
• Evaluierungsmetriken: Die primäre Metrik war die Area Under the Receiver Operating Characteristic Curve (ROC-AUC). Die Evaluierung umfasste In-Domain-Tests, den quellendisjunkten OOD-Test und den unabhängigen Melanoscope-Datensatz. Die statistische Signifikanz wurde mittels Bootstrap-Konfidenzintervallen und DeLong-Tests bewertet. Die Studie nutzte zudem t-SNE-Visualisierungen und Grad-CAM, um die Durchmischung des Merkmalsraums und die Attention-Maps qualitativ zu beurteilen.

Wesentliche Beiträge

1. Systematische Augmentations-Suche für OOD: Im Gegensatz zu bisherigen Studien, die Augmentationen basierend auf der In-Domain-Leistung ranken, sucht diese Arbeit explizit nach Policys, die die Leistung auf quellenspezifisch zurückgehaltenen Testsets maximieren.
2. Identifizierung der photometrischen Dominanz: Die Studie identifiziert, dass photometrische Transformationen (Farb- und Intensitätsanpassungen) die primären Treiber für die OOD-Robustheit sind und rein geometrische Transformationen in diesem spezifischen Bereich übertreffen.
3. Die „Mix“-Policy: Die Autoren schlagen eine spezifische komposite Augmentations-Policy namens mix vor, die photometrische und moderate geometrische Transformationen kombiniert. Es wird gezeigt, dass diese Policy die höchsten OOD-Gewinne erzielt, während die In-Domain-Genauigkeit erhalten bleibt.
4. Rigoroses Validierungsprotokoll: Das Paper unterscheidet zwischen Screening-Ergebnissen (Single-Run-Punktschätzungen) und erweiterten Evaluierungen (mehrere Seeds, Konfidenzintervalle und unabhängige externe Datensätze) und bietet so eine transparente Sicht auf die Varianz und die Grenzen der Ergebnisse.

Ergebnisse

• Out-of-Domain-Leistung: Die mix-Policy erzielte den größten Gewinn im OOD-Testset und verbesserte die ROC-AUC im Vergleich zur Baseline in der Screening-Phase um +0,0332. In der erweiterten Evaluierung (9.921 Bilder aus zurückgehaltenen Quellen) betrug die Verbesserung +0,053 (95 % KI: +0,045 bis +0,061, p < 0,001).
• In-Domain-Leistung: Die mix-Policy behielt auch einen positiven Effekt auf die In-Domain-Genauigkeit bei und verbesserte die ROC-AUC um +0,0061, was zeigt, dass die Robustheit nicht zu Lasten der internen Leistung ging.
• Robustheit über Seeds hinweg: Der OOD-Vorteil der mix-Policy blieb über vier verschiedene zufällige Trainings-Seeds hinweg bestehen, mit nicht überlappenden ROC-AUC-Bereichen (Baseline: 0,761–0,775; Mix: 0,806–0,829).
• Externe Validierung (Melanoscope): Auf dem unabhängigen Melanoscope-Datensatz zeigte ein einzelner Checkpoint eine Steigerung der Sensitivität von 0,591 auf 0,818. Die Autoren merken jedoch an, dass dieses Ergebnis auf nur 22 malignen Fällen basiert, keine statistische Signifikanz in der AUC erreicht (p = 0,22) und der Vorteil bei der Mittelung über mehrere Trainings-Seeds verschwindet.
• Merkmalsanalyse: t-SNE-Visualisierungen deuteten darauf hin, dass die mix-Policy die quellenspezifische Clusterbildung im Merkmalsraum im Vergleich zur Baseline reduzierte. Die Grad-CAM-Analyse legte nahe, dass das augmentierte Modell kompakter auf die Läsion statt auf periphere Artefakte fokussierte.
• Diagnosespezifische Aufschlüsselung: Die OOD-Verbesserung wurde primär durch eine erhöhte Spezifität bei benignen Keratosen (Reduzierung von falsch-positiven Ergebnissen) getrieben, anstatt durch eine signifikante Verbesserung des Melanom-Recalls, welcher über alle Konfigurationen hinweg niedrig blieb (0,26–0,43).

Bedeutung und Limitationen
Das Paper behauptet, dass Augmentationen, die reale Quellen von Domain-Shifts modellieren (speziell photometrische Variationen), entscheidender für die OOD-Generalisierung sein können als die Maximierung der In-Domain-Genauigkeit oder die Änderung der Modellarchitektur. Die mix-Policy wird als einfache, reproduzierbare Baseline-Methode präsentiert, die vor der klinischen Validierung von Entscheidungsunterstützungssystemen in Betracht gezogen werden sollte.

Die Autoren qualifizieren ihre Ansprüche jedoch explizit:

• Selektionsbias: Die Policy wurde unter Verwendung von Daten aus denselben Quellen ausgewählt, die auch für die primäre OOD-Evaluierung (HAM10000 und ISIC 2019–2020) verwendet wurden. Daher könnten die berichteten Effektstärken optimistisch verzerrt sein, und die Ergebnisse stellen keine unabhängige Bestätigung der Generalisierung auf völlig neue Quellen dar.
• Begrenzte externe Evidenz: Die Verbesserung auf dem unabhängigen Melanoscope-Datensatz war nicht statistisch signifikant und blieb nicht über mehrere Trainings-Seeds hinweg stabil, was darauf hindeutet, dass die beobachtete Robustheit auf den ISIC/HAM-Quellen noch nicht auf einen völlig anderen klinischen Kontext übertragen werden konnte.
• Klinischer Nutzen: Während die Spezifität verbessert wurde, bleibt der absolute Recall für Melanome niedrig, was darauf hindeutet, dass das Modell derzeit eher zur Priorisierung von Fällen für die Überprüfung als für die autonome Diagnose geeignet ist.

Die Autoren kommen zu dem Schluss, dass die mix-Policy zwar eine robuste Baseline bietet, zukünftige Arbeiten jedoch ein quellendisjunktes Selektionsprotokoll (z. B. Leave-one-source-out) und eine Validierung an größeren, diverseren externen Kohorten erfordern, um eine unvoreingenommene Generalisierung zu bestätigen.