DerMAE: Improving skin lesion classification through conditioned latent diffusion and MAE distillation

DerMAE verbessert die Klassifizierung von Hautläsionen durch die Generierung synthetischer Daten mittels klassenbedingter Diffusionsmodelle, das selbstüberwachte Vor-Training großer ViT-Modelle mit MAE und die anschließende Wissensdistillation auf kompakte Modelle für den effizienten klinischen Einsatz.

Das Wesentliche

Das Problem: Der unausgewogene Hautarzt-Notizblock

Stell dir vor, ein junger Hautarzt muss lernen, Krebs von harmlosen Muttermalen zu unterscheiden. Er bekommt ein riesiges Buch mit Fotos von Hautstellen. Aber das Buch ist schief: Auf fast jeder Seite sind harmlose Muttermale abgebildet, aber nur auf ganz wenigen Seiten sind gefährliche Krebsgeschwüre zu sehen.

Wenn der Arzt (oder in diesem Fall ein Computerprogramm) nur dieses Buch lernt, wird er extrem vorsichtig. Er denkt: „Wenn ich unsicher bin, sage ich einfach ‚harmlos', denn das kommt meistens vor." Das ist gefährlich, weil er dann die seltenen, aber tödlichen Fälle übersieht. In der Wissenschaft nennen wir das Klassen-Ungleichgewicht.

Die Lösung: Ein dreistufiger Plan

Die Forscher aus Brasilien haben einen cleveren dreiteiligen Plan entwickelt, um diesen Computer-Arzt schlauer zu machen, ohne ihm einfach mehr echte Fotos zu geben (die es ja kaum gibt).

1. Schritt: Der „Künstliche Zwilling" (Synthetische Bilder)

Da es zu wenige Fotos von Krebsgeschwüren gibt, haben die Forscher einen Künstlichen Intelligenz-Künstler (ein sogenanntes Diffusionsmodell) beauftragt, neue Bilder zu malen.

• Die Analogie: Stell dir vor, du hast nur ein einziges Foto von einem Löwen, aber du willst lernen, Löwen zu erkennen. Du bittest einen genialen Maler, 600.000 neue Löwenbilder zu malen, die so aussehen wie echte, aber von dir erfunden sind.
• Der Trick: Der Maler wurde angewiesen, besonders viele Löwen (Krebs) zu malen, damit das Buch endlich ausgewogen ist. Diese neuen Bilder sind so realistisch, dass der Computer sie kaum von echten unterscheiden kann.

2. Schritt: Der „Super-Lernende" (MAE Pretraining)

Jetzt haben sie ein riesiges, sehr komplexes Gehirn (ein ViT-Huge-Modell) gebaut. Dieses Gehirn ist wie ein Genie, das aber sehr viel Zeit und Energie braucht, um zu lernen.

• Die Analogie: Dieses Genie bekommt erst einmal nur die neuen, künstlichen Bilder zu sehen. Es lernt stundenlang, wie Haut aussieht, wie Flecken strukturiert sind und was ein Krebsgeschwür von einem normalen Mal unterscheidet. Es lernt die „Grundregeln" der Haut, ohne sich durch die wenigen echten Krebsfälle zu verwirren.
• Das Ergebnis: Das Genie hat jetzt ein extrem starkes Verständnis für Hautläsionen, weil es so viele Beispiele gesehen hat.

3. Schritt: Der „Lehrmeister" und der „Schüler" (Wissens-Transfer)

Das Problem: Das riesige Genie ist zu groß und zu langsam, um auf einem Handy oder einem kleinen Tablet in einer Arztpraxis zu laufen. Es braucht einen riesigen Computer.

• Die Analogie: Hier kommt der Wissens-Transfer ins Spiel. Das riesige Genie (der Lehrer) nimmt einen kleinen, schlanken Schüler (ein leichteres Modell, z. B. für Handys) und bringt ihm bei, was es gelernt hat.
• Der Lehrer sagt nicht: „Schau dir das Bild an und rate." Sondern: „Wenn du dieses Bild siehst, denke so wie ich: ‚Das hier ist wahrscheinlich Krebs, weil die Ränder so aussehen.'"
• Der Schüler lernt von den „Gedanken" des Lehrers. Am Ende ist der Schüler fast so schlau wie das Genie, aber er passt in die Hosentasche und läuft schnell auf einem Handy.

Warum ist das toll?

1. Fairer: Der Computer lernt Krebs genauso gut zu erkennen wie harmlose Flecken, weil er durch die künstlichen Bilder genug davon gesehen hat.
2. Schnell: Dank des „Lehrer-Schüler"-Tricks kann der Arzt das Programm direkt auf dem Handy nutzen, ohne eine Internetverbindung zu einem riesigen Server zu brauchen.
3. Zuverlässig: Die Tests zeigten, dass dieser Mix aus künstlichen Bildern und dem Wissenstransfer viel besser funktioniert als alte Methoden.

Zusammenfassung in einem Satz

Die Forscher haben künstliche Krebs-Bilder gemalt, um ein riesiges KI-Genie zu trainieren, und haben dann dieses Genie gebeten, sein Wissen an einen kleinen, schnellen Helfer auf dem Handy weiterzugeben – damit Ärzte überall sicherer Krebs erkennen können.

Technische Zusammenfassung

1. Problemstellung

Die Klassifizierung von Hautläsionen mittels Deep Learning steht vor zwei Hauptproblemen:

• Starke Klassenungleichgewichte: Hautläsions-Datensätze (wie HAM10000) bestehen zu etwa 90 % aus gutartigen (benignen) Proben, während bösartige (maligne) Fälle stark unterrepräsentiert sind. Dies führt zu verzerrten Entscheidungsgrenzen, bei denen Modelle die Mehrheitsklasse bevorzugen und seltene, aber kritische maligne Läsionen falsch klassifizieren.
• Datenmangel für Vision Transformer (ViT): Moderne Architekturen wie Vision Transformer (ViT) benötigen große Datenmengen, um robuste Repräsentationen zu lernen. Aufgrund der begrenzten Größe und der Imbalance dermatologischer Datensätze scheitern ViT-Modelle oft an der Generalisierungsfähigkeit.
• Einschränkungen bei der Bereitstellung: Klinische Anwendungen erfordern oft leichte Modelle für mobile Geräte, während die leistungsstärksten Modelle (z. B. große ViT-Varianten) zu rechenintensiv sind.

2. Methodik

Die Autoren schlagen einen dreistufigen Ansatz vor, der synthetische Datengenerierung, selbstüberwachtes Vor-Training und Wissensdistillation kombiniert:

A. Synthetische Datengenerierung (Conditioned Latent Diffusion)

• Modell: Es wird ein Denoising Diffusion Probabilistic Model (DDPM) mit einem U-Net-Backbone verwendet.
• Strategie: Zwei Ansätze werden evaluiert:
  1. Unbedingte Generierung: Erzeugung von 600.000 Proben ohne Klassen-Conditioning zur Modellierung der allgemeinen Verteilung.
  2. Bedingte Generierung: Einführung von Klassen-Embeddings während der Inferenz, um gezielt das Verhältnis zwischen gutartigen und bösartigen Klassen auszugleichen.
• Verlustfunktion: Um die visuelle Qualität zu verbessern und Artefakte zu reduzieren, wird neben dem üblichen Mean Squared Error (MSE) eine perzeptive Verlustfunktion (Perceptual Loss) integriert. Dies führt zu realistischeren Hautläsionen.

B. Selbstüberwachtes Vor-Training (MAE)

• Architektur: Ein Masked Autoencoder (MAE) mit einem ViT-Huge (ViT-H/16) Backbone wird verwendet.
• Prozess: Das Modell wird auf den großen Mengen synthetischer Daten trainiert. Dabei werden 75 % der Bild-Patches maskiert, und der Decoder muss diese rekonstruieren.
• Ziel: Das Modell lernt generalisierbare, semantisch bedeutungsvolle Merkmale (globale Läsionsstrukturen), anstatt sich auf niedrige Korrelationen zu verlassen. Dies kompensiert den Mangel an echten bösartigen Beispielen.

C. Wissensdistillation (Knowledge Distillation)

• Ziel: Übertragung der starken Repräsentationen des großen ViT-H-Modells (Lehrer) auf kleinere, effiziente Modelle (Schüler) für den Einsatz auf mobilen Geräten.
• Schüler-Modelle: ViT-Base (ViT-B/16) und EfficientNet-B0.
• Verfahren: Der Encoder des vor-trainierten MAE dient als Lehrer. Der Schüler wird durch eine Soft-Target-Distillation trainiert, die sowohl die Vorhersageverteilung des Lehrers (via Kullback-Leibler-Divergenz) als auch die Ground-Truth-Labels (Cross-Entropy) nutzt.
• Feinabstimmung: Der Schüler wird zusätzlich mit einer Kombination aus echten und synthetischen Daten nachtrainiert.

3. Wichtige Beiträge

1. Kombination von Diffusion und MAE: Der erste Ansatz, der bedingte Latent-Diffusion-Modelle zur Generierung synthetischer Daten nutzt, um diese anschließend für das selbstüberwachte Vor-Training (MAE) von ViT-Modellen zu verwenden.
2. Überwindung der Imbalance: Durch die gezielte Generierung synthetischer bösärer Fälle wird das Klassenungleichgewicht effektiv ausgeglichen, was die Erkennung seltener Klassen verbessert.
3. Effizienz durch Distillation: Die Fähigkeit, die Leistung eines riesigen ViT-H-Modells auf ressourcenschonende Architekturen (wie EfficientNet-B0) zu übertragen, ermöglicht eine präzise Diagnose auf mobilen Endgeräten (Edge Devices).
4. Verbesserte Bildqualität: Der Nachweis, dass die Kombination aus MSE und Perceptual Loss in Kombination mit Klassen-Conditioning die Realitätsnähe und strukturelle Korrektheit der synthetischen Hautläsionen signifikant steigert.

4. Ergebnisse

Die Experimente wurden auf dem HAM10000-Datensatz durchgeführt.

• Leistungssteigerung: Modelle, die mit MAE-Vor-Training auf synthetischen Daten kombiniert wurden, zeigten signifikante Verbesserungen gegenüber Baseline-Modellen.
  • Die F1-Scores (wichtig bei Imbalance) profitierten am meisten.
  • Das Modell MAE + ViT-H + synth erreichte eine Genauigkeit (ACC) von 89,15 % und einen F1-Score von 89,11 % bei der kategorischen Klassifizierung.
• Distillationserfolg: Die Kombination aus Distillation und Feinabstimmung mit synthetischen Daten erzielte die besten Ergebnisse für leichte Modelle:
  • MAE ViT-H distill to EfficientNet-B0 + synth erreichte eine Genauigkeit von 90,51 % und einen F1-Score von 90,10 % bei der binären Klassifizierung (bösartig vs. gutartig).
• Vergleich: Die vorgeschlagene Methode übertrifft sowohl reine ViT-Baselines als auch andere State-of-the-Art-Ansätze wie Derm-t2im und reine EfficientNet-Varianten ohne synthetische Vorverarbeitung.
• Qualität: Visuelle Vergleiche (Fig. 2) zeigen, dass die bedingte Generierung mit Perceptual Loss die realistischsten und strukturell korrektesten Läsionen erzeugt.

5. Bedeutung und Fazit

Das Paper demonstriert einen vielversprechenden Weg, um die Hürden in der dermatologischen KI-Forschung zu überwinden:

• Klinische Relevanz: Der Ansatz adressiert direkt das Problem der Datenknappheit und Imbalance, was zu robusteren Diagnosesystemen führt.
• Praktische Anwendbarkeit: Durch die Wissensdistillation werden leistungsstarke Modelle auf ressourcenbeschränkte Hardware (Mobile/Edge) übertragbar, was den Einsatz in der Primärversorgung (z. B. durch Hausärzte) ermöglicht.
• Skalierbarkeit: Die Methode zeigt, wie synthetische Daten nicht nur als Augmentierung, sondern als fundamentale Basis für das Vor-Training großer Modelle genutzt werden können, um dann effiziente Schüler-Modelle zu speisen.

Zusammenfassend stellt DERMAE einen effektiven Rahmenwerk dar, das Generative AI (Diffusion), Self-Supervised Learning (MAE) und Knowledge Distillation integriert, um präzise, faire und deploybare Hautkrebs-Diagnosesysteme zu schaffen.