A Generative AI Approach for Reducing Skin Tone Bias in Skin Cancer Classification

Probleemstelling

Huidkanker is een wereldwijd gezondheidsprobleem waarbij vroege detectie cruciaal is voor de behandelingsuitkomst. Hoewel AI-gestuurde diagnostische tools (zoals Convolutional Neural Networks of CNN's) veelbelovend zijn, vertonen ze een significant bias (vooroordeel) ten opzichte van huidskleuren.

• Data-ongelijkheid: De meest gebruikte benchmark, het ISIC-dataset, bestaat voor meer dan 70% uit afbeeldingen van lichte huidtinten, terwijl donkere huidtinten (Fitzpatrick types V en VI) minder dan 8% van de dataset uitmaken.
• Gevolgen: Modellen getraind op deze onbalans presteren aanzienlijk slechter bij patiënten met een donkere huid, wat leidt tot een hoger risico op gemiste diagnoses en vertraagde behandeling.
• Uitdaging: Het verzamelen van extra klinische data voor donkere huidtinten is beperkt door privacyregels, institutionele barrières en de moeilijkheid om geannoteerde data van ondervertegenwoordigde groepen te verkrijgen.

Methodologie

De auteurs stellen een end-to-end pipeline voor om dit probleem aan te pakken door synthetische data-augmentatie met behulp van Generatieve AI, specifiek gericht op de ondervertegenwoordigde donkere huidtinten.

1. Dataset Analyse en Selectie:

   • Uit het ISIC-dataset (17.728 afbeeldingen) werd de subset van donkere huidtinten geïdentificeerd met behulp van de Individual Typology Angle (ITA) analyse.
   • Dit resulteerde in een subset van 1.407 afbeeldingen (Fitzpatrick types V en VI), waarvan slechts 223 melanomen waren.

2. Generatieve Model Fine-tuning (LoRA):

   • Er werd gebruik gemaakt van een vooraf getraind Stable Diffusion model.
   • In plaats van het hele model opnieuw te trainen, werd Low-Rank Adaptation (LoRA) toegepast. Dit injecteert kleine, trainbare matrices in de attention-layers van het model, wat efficiënt is voor kleine datasets.
   • Het model werd gefinetuned op de subset van 1.407 donkere huidafbeeldingen om de domeinspecifieke kenmerken van dermoscopische beelden op donkere huid te leren.

3. Synthetische Generatie:

   • Het aangepaste model genereerde 808 nieuwe synthetische dermoscopische afbeeldingen, geconditioneerd op laesietype (melanocytisch vs. niet-melanocytisch) en huidskleur.
   • Dit verdubbelde bijna het aantal beschikbare donkere huidafbeeldingen in de dataset.

4. Validatie en Integratie:

   • De gegenereerde afbeeldingen werden gevalideerd op statistische gelijkenis (kleurhistogrammen, SSIM, GLCM) om artefacten te verwijderen.
   • De synthetische afbeeldingen werden samengevoegd met de originele dataset, wat resulteerde in een totale dataset van 18.536 afbeeldingen.

5. Downstream Evaluatie:
   De nuttigheid van de augmented dataset werd getest op twee taken:

   • Segmentatie: Een CNN (volledig convolutioneel netwerk) werd getraind om de grenzen van de laesie te tekenen. Belangrijk: dit model werd getest op een exclusief real-world testset (geen synthetische data in de testset) om te bewijzen dat de synthetische data echte structurele informatie overdraagt.
   • Classificatie: Een EfficientNet-B0 model werd getraind voor binaire classificatie (melanocytisch vs. niet-melanocytisch) op de gemengde dataset.

Belangrijkste Bijdragen

• Nieuwe Pipeline: Een methode om bias in huidkankerdetectie te balanceren door gerichte synthetische augmentatie van ondervertegenwoordigde huidtinten met Generatieve AI.
• LoRA-toepassing: Demonstratie van het gebruik van LoRA-aangepaste Stable Diffusion om de representatie van Fitzpatrick types V-VI in het ISIC-dataset te verhogen.
• Dual-evaluatie: Een robuuste validatiestrategie waarbij segmentatie dient als bewijs voor de kwaliteit van de gegenereerde data (gebruikmakend van alleen echte testdata) en classificatie de prestaties van de diagnose toont.
• Kritische Discussie: Een eerlijke analyse van de beperkingen, waaronder de noodzaak van dermatologische validatie en de uitdagingen van generalisatie.

Resultaten

1. Segmentatie (Validatie van Datakwaliteit):
De resultaten tonen aan dat het trainen met synthetische data de prestaties op echte data verbetert, wat bewijst dat de synthetische beelden klinisch relevante structurele kenmerken bevatten.

• Mean IoU: Steeg van 0,82 (baseline) naar 0,85 (augmented).
• Dice Coëfficiënt: Steeg van 0,88 naar 0,90.
• Hausdorff Afstand: Verminderde van 12 naar 10 pixels (betere randnauwkeurigheid).
• De augmented CNN presteerde aanzienlijk beter dan zowel de baseline CNN als een traditionele Max-Flow algoritme.

2. Classificatie (Diagnostische Prestaties):
Het EfficientNet-B0 model getraind op de augmented dataset toonde verbeterde prestaties:

• Validatie Nauwkeurigheid: Steeg van 85,45% naar 92,14%.
• Precision: Steeg van 0,82 naar 0,89.
• Recall: Steeg van 0,78 naar 0,87.
• AUC (Area Under Curve): Er was een lichte daling van 0,9765 naar 0,9480. De auteurs verklaren dit doordat synthetische data de rangschikking van onzekere gevallen moeilijker maakt, hoewel de drempelgebaseerde classificatie (nauwkeurigheid) verbetert.

3. Efficiëntie:

• De inferentie-tijd voor classificatie is zeer snel (60 ms/afbeelding).
• De generatie van synthetische data duurt 4-6 seconden per afbeelding, wat acceptabel is voor offline datasetverrijking maar niet voor real-time toepassing.

Betekenis en Toekomstperspectief

Dit paper demonstreert dat Generatieve AI een krachtige tool kan zijn om demografische bias in medische beeldvorming aan te pakken zonder de privacy van patiënten te schenden.

• Fairness: Door de dataset te balanceren, kan de betrouwbaarheid van AI-diagnoses voor donkere huidtinten aanzienlijk worden verbeterd, wat bijdraagt aan eerlijker gezondheidszorg.
• Validatie: De studie benadrukt dat synthetische data niet alleen technisch haalbaar is, maar ook functioneel nuttig voor downstream taken zoals segmentatie.
• Open Vragen: De auteurs wijzen op de noodzaak van toekomstig werk, waaronder:
  • Validatie door dermatologen voor klinische plausibiliteit.
  • Testen op strikt "real-only" testsets om echte generalisatie te meten.
  • Het vergroten van de volume van synthetische data en het balanceren van de verhouding tussen kwaadaardige en goedaardige laesies.

Concluderend biedt deze aanpak een praktisch raamwerk om data-schaarste en demografische bias in de dermatologie (en andere medische domeinen) te mitigeren, met als doel AI-systemen die voor alle bevolkingsgroepen even betrouwbaar zijn.