DermaFlux: Synthetic Skin Lesion Generation with Rectified Flows for Enhanced Image Classification

Titel: DermaFlux: Synthetische Generatie van Huidlaesies met Gecorrigeerde Stromen voor Verbeterde Beeldclassificatie

Auteurs: Stathis Galanakis, Alexandros Koliousis, Stefanos Zafeiriou (Imperial College London & Northeastern University London)

---

1. Het Probleem

Huidkanker, en met name melanoom, is een wereldwijd gezondheidsprobleem. Hoewel deep learning veelbelovend is voor het classificeren van huidlaesies (goedaardig vs. kwaadaardig), worden deze systemen beperkt door een gebrek aan grote, diverse en goed geannoteerde klinische datasets.

• Data-schaarste: Het verzamelen van dermatologische beelden is onderhevig aan strenge ethische, juridische en privacyregels, wat leidt tot kleine datasets.
• Class imbalance: Er is vaak een onevenwicht tussen goedaardige en kwaadaardige laesies in beschikbare data.
• Beperkingen van bestaande synthetische methoden: Bestaande oplossingen zoals Stable Diffusion (gebaseerd op diffusion-modellen) hebben moeite met het nauwkeurig controleren van klinisch relevante kenmerken (zoals asymmetrie, randirregulariteit en kleurvariatie) en hebben vaak een zwakke semantische uitlijning tussen tekstbeschrijvingen en gegenereerde beelden.

2. Methodologie: DermaFlux

De auteurs stellen DermaFlux voor, een nieuw framework dat gebruikmaakt van gecorrigeerde stromen (Rectified Flows) in plaats van traditionele diffusion-modellen.

A. Dataset Creatie (500k Image-Text Pairs)

Om het model te trainen, hebben de auteurs een grote, open en zorgvuldig samengestelde dataset gemaakt:

• Bronnen: Data is geaggregeerd uit publiek beschikbare datasets zoals ISIC (2019-2024), Derm12345, PAD20 en Kaggle.
• Synthetische Captions: Omdat originele metadata vaak alleen labels bevat, gebruiken ze het Vision-Language Model Llama 3.2 om gestructureerde tekstuele beschrijvingen te genereren.
• Klinische Criteria: De prompts zijn gebaseerd op de ABCDE-criteria voor huidkanker, specifiek gericht op:
  • Asymmetrie (Asymmetry)
  • Randirregulariteit (Border irregularity)
  • Kleurvariatie (Color variation)
• Resultaat: Een dataset van ongeveer 508.000 afbeeldingen met bijbehorende, klinisch onderbouwde tekstbeschrijvingen.

B. Model Architectuur

DermaFlux is gebaseerd op Flux.1, een state-of-the-art rectified flow-model.

• Rectified Flows: In tegenstelling tot diffusion-modellen die gebruikmaken van stochastisch (willekeurig) denoising, leren rectified flows een deterministische transportmapping tussen ruis en data-distributies. Dit resulteert in efficiëntere bemonstering (sampling).
• Fine-tuning met LoRA: Het model wordt aangepast via Low-Rank Adaptation (LoRA). Alleen de attention-layers van de transformer worden getraind, terwijl de zware backbone-weights bevroren blijven. Dit maakt een efficiënte domeinadaptatie mogelijk zonder de generatieve capaciteit van het oorspronkelijke model te verliezen.
• Dual Text Encoders: Flux.1 maakt gebruik van zowel CLIP als T5-XXL als tekstencoders, wat zorgt voor een rijkere contextuele conditionering en betere tekst-beeld uitlijning.

3. Belangrijkste Bijdragen

1. Grote Schaal Dataset: Constructie van een dataset van ~500k image-text pairs met gestructureerde, attribuut-niveau captions die klinisch betekenisvolle kenmerken expliciet coderen.
2. Nieuw Framework: Ontwikkeling van DermaFlux, een deterministisch alternatief voor diffusion-based generatie, specifiek voor dermatologische laesies.
3. Empirisch Bewijs: Demonstratie dat classifiers getraind op DermaFlux-data significant beter presteren dan die getraind op diffusion-data of beperkte real-world data.

4. Resultaten

De auteurs evalueerden DermaFlux via downstream binary classification experimenten (ResNeXt en Vision Transformer - ViT).

• Vergelijking met Diffusion (Derm-T2IM):
  • Classifiers getraind op DermaFlux-data presteerden consistent beter dan die getraind op diffusion-gegenereerde data.
  • Voor ViT was de verbetering 9,03% in een puur synthetisch scenario en 3,47% in een gemengd scenario (real + synthetisch).
• Data Augmentatie:
  • Het toevoegen van synthetische data verbeterde de generalisatie, vooral bij kleine real-world datasets.
  • Bij een dataset van slechts 2.500 real images, leidde het toevoegen van synthetische data tot een accuratesse-stijging van ongeveer 6%.
• State-of-the-Art Vergelijking:
  • Een ViT-model getraind met 2.500 real images en 4.375 DermaFlux-samples bereikte een binary classification accuracy van 78,04% en een AUC van 0,859.
  • Dit is 8% beter dan de volgende beste bestaande dermatologie-modellen (zoals MAKE en DermLIP).
  • De ROC-curve toont aan dat het model een zeer hoge sensitiviteit bereikt bij een acceptabele specificiteit, wat klinisch cruciaal is om kwaadaardige laesies niet te missen.

5. Betekenis en Conclusie

DermaFlux biedt een krachtige oplossing voor het probleem van data-schaarste in de dermatologie. Door gebruik te maken van rectified flows en kwalitatief hoogwaardige, klinisch gestructureerde prompts, kan het model realistische en diverse huidlaesies genereren die de kenmerken van kwaadaardigheid en goedaardigheid nauwkeurig weergeven.

De belangrijkste implicaties zijn:

• Efficiëntie: Het verminderen van de afhankelijkheid van enorme, moeilijk te verzamelen klinische datasets.
• Prestatie: Significante verbetering van classificatie-accuratesse, zelfs met zeer beperkte real-world data.
• Klinisch Nut: Het model helpt bij het vroegtijdig detecteren van melanomen en het verminderen van onnodige verwijzingen voor goedaardige laesies.

De code, data en vooringestelde modellen zijn beschikbaar gemaakt voor de gemeenschap via dermaflux.github.io.