Effect of Demographic Bias on Skin Lesion Classification

Technische Samenvatting: Effect van Demografische Bias op de Classificatie van Huidlaesies

Probleemstelling
Deep learning-modellen voor medische beeldvorming behalen weliswaar een hoge algehele diagnostische prestatie, maar vertonen vaak biases tegen specifieke demografische groepen. In de classificatie van huidlaesies kunnen prestatieverschillen ontstaan door representatiebias—systematische wanverhoudingen in trainingsdata met betrekking tot beschermde attributen zoals geslacht en leeftijd van de patiënt. Eerdere studies hebben deze factoren vaak geïsoleerd onderzocht of binnen een enkele beeldmodaliteit zonder systematische controle over de datadistributies. Bovendien blijft de relatieve effectiviteit van verschillende strategieën voor bias-mitigatie (single-task, multi-task en adversarial learning) bij extreme distributionele wanverhoudingen onderbelicht. Deze studie adresseert de noodzaak voor een uitgebreide evaluatie van hoe gecontroleerde demografische scheefgroei in trainingsdata de modelprestaties beïnvloedt en of specifieke leerstrategieën deze biases effectief kunnen mitigeren.

Methodologie
De auteurs hanteerden een rigoureuze experimentele pipeline met drie datasets: een gecureerde subset van het ISIC-archief (dermoscopische beelden) voor training en interne validatie, en twee externe datasets, PAD-UFES-20 (smartphone-beelden) en DERM7PT (dermoscopische beelden), voor cross-dataset validatie.

• Datasetconstructie via Lineaire Programmering (LP): Om precieze controle over demografische distributies te garanderen, gebruikten de auteurs een lineaire programmeermethode in plaats van willekeurige steekproeven. Dit stelde hen in staat om trainings- en validatiedatasets te genereren met specifieke, vooraf gedefinieerde ratio's van geslacht (variërend van 100% man naar 100% vrouw) en leeftijd (verdeeld over vijf leeftijdscategorieën: 0–50, 51–60, 61–70, 71–80 en 81+). Ze creëerden zeven verschillende scenario's voor de geslachtsverdeling en drie leeftijdverdelingsschema's (jonger-gescheefd, gebalanceerd, ouder-gescheefd).
• Modelarchitecturen: Er werden drie ResNet-50-gebaseerde architecturen geëvalueerd:
  1. Single-Task Baseline: Een standaard binair classificatiemodel voor maligne versus benigne laesies.
  2. Versterkend Multi-Task Model: Een model met een hulp-head die het demografische attribuut (geslacht of leeftijd) voorspelt naast de primaire classificatietaak. De auteurs merken op dat "versterkend" verwijst naar het versterken van de invloed van het demografische signaal om de gedeelde encoder te regulariseren, en niet naar reinforcement learning.
  3. Adversarial Multi-Task Model: Een model dat een adversarial trainingsschema gebruikt waarbij de encoder wordt gestraft als het demografische attribuut uit de geleerde kenmerken kan worden voorspeld (het minimaliseren van wederzijdse informatie), gebruikmakend van een negatieve kwadratische Pearson-correlatie-loss voor leeftijd en binary cross-entropy voor geslacht.
• Evaluatie: Modellen werden getraind op de gescheefde datasets en geëvalueerd op een gebalanceerde hold-out testset om het effect van trainingsbias te isoleren. Prestaties werden gemeten met behulp van de Area Under the Curve (AUC) voor classificatie en metrieken zoals Brier-scores, Mean Absolute Error (MAE) en Pearson-correlatie voor de hulp-demografische voorspellingsheads. Cross-dataset validatie werd uitgevoerd zonder fine-tuning om de generaliseerbaarheid te beoordelen.

Belangrijkste Bijdragen

1. Uitgebreide Controle via Lineaire Programmering: De studie breidt eerder werk uit door zowel geslacht als leeftijdssubgroepen gelijktijdig te controleren, waarbij vijf leeftijdscategorieën en drie gescheefde leeftijdverdelingen worden geïntroduceerd, terwijl eerder werk zich primair op geslacht richtte.
2. Systematische Strategie-evaluatie: De auteurs vergelijken systematisch single-task, versterkende en adversarial learning strategieën over een granulair bereik van demografische distributies, inclusclusief extreme wanverhoudingen (bijv. 95% man / 5% vrouw).
3. Cross-Dataset Generalisatie: De studie introduceert een nieuwe externe dermoscopische dataset (DERM7PT) naast de smartphone-gebaseerde PAD-UFES-20, wat een analyse mogelijk maakt van hoe domeinverschuivingen (dermoscopisch versus smartphone) interageren met demografische bias.
4. Analyse van de Hulp-head: Het artikel biedt een gedetailleerde analyse van de hulp-voorspellingsheads in het versterkende model, waarbij de prestaties (AUC, Brier score, MAE, correlatie) als diagnostisch instrument worden gebruikt om het succes of falen van bias-mitigatiemechanismen te verklaren.

Resultaten

• Geslacht-gebaseerde Bias:
  • Data-imbalans Drijft Bias: Geslecht-specifieke trainingsdatasets leverden over het algemeen de beste prestaties op voor dat specifieke geslacht. Het baseline-model vertoonde significante bias en presteerde beter voor het meerderheidsgeslacht in gescheefde datasets.
  • Beperkingen van Mitigatie: De versterkende en adversarial modellen slaagden erin de bias-kloven te verkleinen of te elimineren in gebalanceerde en vrouw-meerderheidsdatasets. Echter, in scenario's met een mannelijke meerderheid waren deze strategieën minder effectief; modellen bleven beter presteren voor mannen dan voor vrouwen. De hulp-head van het versterkende model slaagde er niet in een robuuste discriminator te leren in man-gescheefde scenario's (hoge Brier-scores voor de minderheidsgroep vrouwen), wat leidde tot een instorting van het regularisatie-effect.
  • Asymmetrie: Er werd een asymmetrie waargenomen waarbij training met een mannelijke dominantie de prestaties van mannen aanzienlijk verbeterde, maar training met een vrouwelijke dominantie geen vergelijkbare boost opleverde voor de prestaties van vrouwen in de ISIC-dataset, wat suggereert dat modellen kunnen overfitten op man-specifieke kenmerken.
• Leeftijd-gebaseerde Bias:
  • Aanhoudende Daling: In tegen tegenstelling tot geslachtsbias, die grotendeels werd gedreven door data-imbalans, hielden leeftijd-gerelateerde prestatiedalingen aan, zelfs met gebalanceerde training. Jongere leeftijdscategorieën (A1: 0–50) behaalden consistent de hoogste prestaties, terwijl de prestaties progressief afnamen in oudere leeftijdscategorieën.
  • Shortcuts en Correlatie: De hulp-leeftijdsvoorspellingshead vertoonde een matige correlatie in gebalanceerde settings, maar een sterke correlatie in ouder-gescheefde settings voor de jongste cohort, wat suggereert dat het model vertrouwde op leeftijd-specifieke shortcuts wanneer de distributies uit balans waren.
  • Voordelen van Gebalanceerde Training: Hoewel gebalanceerde training de prestaties voor de A4-leeftijdscategorie verbeterde ten opzichte van jonger-gescheefde training, elimineerde het de algehele trend van dalende prestaties met de leeftijd niet.
• Cross-Dataset Validatie:
  • Impact van Domeinverschuiving: Externe validatie op PAD-UFES-20 (smartphone) en DERM7PT (dermoscopisch) onthulde significante prestatieverliezen vergeleken met interne validatie, wat de impact van domeinverschuiving (beeldmodaliteit en acquisitieprotocol) benadrukt.
  • Variatie in Biaspatronen: De demografische biaspatronen waargenomen in de ISIC-dataset werden niet volledig gereproduceerd in externe datasets. Zo vertoonde het adversarial model bijvoorbeeld verbeterde prestaties voor vrouwelijke patiënten in vrouwelijke-gedomineerde cohorten op de PAD-UFES-20 dataset, in contrast met de ISIC-resultaten.

Betekenis en Claims
Het artikel claimt dat de prestatiekloven met betrekking tot geslacht in de classificatie van huidlaesies primair worden gedreven door wanverhoudingen in de trainingsset, wat gedeeltelijk kan worden gemitigeerd door multi-task en adversarial learning strategieën, met name wanneer de minderheidsklasse voldoende vertegenwoordigd is om de hulp-heads te trainen. In tegenstelling hiertoe lijken leeftijd-gerelateerde prestatieverschillen voort te komen uit intrinsieke biologische of fysiologische verschillen (bijv. veranderingen in huidtextuur, rimpels) die blijven bestaan zelfs met gebalanceerde bemonstering, wat suggereert dat data rebalancing alleen onvoldoende is voor leeftijd-eerlijkheid.

De auteurs benadrukken dat biasmechanismen complex en dataset-afhankelijk zijn. Ze concluderen dat hoewel hun methoden de weg vrijmaken voor eerlijkere AI door specifieke bronnen van ongelijkheid te identificeren, de interactie tussen expliciete factoren (datadistributie, acquisitieprotocollen) en impliciete factoren (biologische variaties, geografische verschillen) verdere ontrafeling vereist. De studie dient als een bouwsteen voor het ontwikkelen van meer geavanceerde gezondheidszorg-AI-systemen door aan te tonen dat verschillende mitigatiestrategieën nodig zijn voor verschillende soorten demografische bias.