Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

Technische Samenvatting: Zoeken naar robuuste augmentaties om out-of-domain generalisatie te verbeteren bij dermoscopische huidkankerclassificatie

Probleemstelling
Deep learning-modellen voor de classificatie van dermoscopische huidlaesies behalen vaak een hoge nauwkeurigheid op interne testsets, maar lijden onder aanzienlijke prestatievermindering wanneer ze worden toegepast op gegevens uit nieuwe bronnen (out-of-domain, of OOD). Deze "domeinverschuiving" ontstaat door variaties in beeldvormingsapparatuur, verlichting, kleurverwerking en opname-artefacten tussen verschillende klinieken. Hoewel eerder onderzoek uitgebreid heeft gestudeerd op architectuurselectie en interne validatie, is er een gebrek aan systematische analyse over welke specifieke klassen van data-augmentaties effectief de robuustheid verbeteren tegen bronspecifieke verschuivingen. Bovendien richten bestaande augmentatiestudies zich vaak op het optimaliseren van in-domain validatie, waarbij ze er niet in slagen het specifieke probleem van het overdragen van modellen naar geheel nieuwe acquisitieomgevingen aan te pakken.

Methodologie
De studie hanteert een datacentrische benadering om de OOD-generalisatie van een binaire maligne-versus-niet-maligne classifier te verbeteren.

• Datasets: Het trainen en de in-domain evaluatie maken gebruik van een multi-source collectie uit de ISIC Archive (BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020) en Derm7pt. Om een rigoureuze OOD-evaluatie te waarborgen, werden de HAM10000 en ISIC 2019–2020 datasets volledig buiten beschouwing gelaten als een bron-disjuncte testset. Een onafhankelijke, gesloten klinische dataset (Melanoscope) werd uitsluitend gebruikt voor de uiteindelijke externe validatie zonder de modelselectie te beïnvloeden.
• Modelarchitectuur: Een ConvNeXt-Large backbone, geïnitialiseerd met ImageNet-gewichten, werd gebruikt met een binaire classificatiekop.
• Augmentatiezoektocht: De auteurs voerden een systematische zoektocht uit over drie categorieën augmentaties:
  1. Single augmentaties: Individuele geometrische en fotometrische transformaties.
  2. Fotometrische combinaties: Vaste paren of trios van kleurgebaseerde operatoren (bijv. ColorJitter, PlanckianJitter, HEStain).
  3. Composiet beleid (policies): Configuraties geïnspireerd door competitie-oplossingen en de eigen bevindingen van de auteurs (bijv. mix, kaggle_strong_hestain).
• Evaluatiemetrieken: De primaire metriek was de Area Under the Receiver Operating Characteristic Curve (ROC-AUC). Evaluatie omvatte in-domain tests, de bron-disjuncte OOD-test en de onafhankelijke Melanoscope-set. Statistische significantie werd beoordeeld met bootstrap-betrouwbaarheidsintervallen en DeLong-tests. De studie maakte ook gebruik van t-SNE visualisaties en Grad-CAM om de kwalitatieve beoordeling van feature space mixing en attention maps uit te voeren.

Belangrijkste Bijdragen

1. Systematische Augmentatiezoektocht voor OOD: In tegen tegenstelling tot eerdere studies die augmentaties rangschikken op basis van in-domain prestaties, zoekt dit werk expliciet naar policies die de prestaties maximaliseren op bron-specifieke uitgesloten testsets.
2. Identificatie van Fotometrische Dominantie: De studie identificeert dat fotometrische transformaties (kleur- en intensiteitsaanpassingen) de primaire drijfveren zijn van OOD-robuustheid, waarbij ze geometrische transformaties in dit specifieke domein overtreffen.
3. Het "Mix" Beleid: De auteurs stellen een specifiek composiet augmentatiebeleid voor genaamd mix, dat fotometrische en matige geometrische transformaties combineert. Dit beleid laat zien de hoogste OOD-winsten te behalen terwijl de in-domain nauwkeurigheid behouden blijft.
4. Rigoureus Validatieprotocol: Het artikel maakt onderscheid tussen screeningsresultaten (single-run punt schattingen) en uitgebreide evaluaties (meerdere seeds, betrouwbaarheidsintervallen en onafhankelijke externe datasets), wat een transparant beeld geeft van de variantie en de beperkingen van de bevindingen.

Resultaten

• Out-of-Domain Prestaties: Het mix beleid behaalde de grootste winst op de OOD-testset, met een verbetering van de ROC-AUC van +0,0332 ten opzichte van de baseline in de screeningsfase. In de uitgebreide evaluatie (9.921 afbeeldingen uit uitgesloten bronnen) was de verbetering +0,053 (95% CI: +0,045 tot +0,061, p < 0,001).
• In-Domain Prestaties: Het mix beleid behield ook een positief effect op de in-domain nauwkeurigheid, met een verbetering van de ROC-AUC van +0,0061, wat aantoont dat robuustheid niet ten koste ging van de interne prestaties.
• Robuustheid over Seeds: Het OOD-voordeel van het mix beleid bleef standhouden over vier verschillende willekeurige trainings-seeds, met niet-overlappende ROC-AUC bereiken (Baseline: 0,761–0,775; Mix: 0,806–0,829).
• Externe Validatie (Melanoscope): Op de onafhankelijke Melanoscope dataset vertoonde een enkel checkpoint een toename in sensitiviteit van 0,591 naar 0,818. De auteurs merken echter op dat dit resultaat gebaseerd is op slechts 22 maligne gevallen, geen statistische significantie bereikt in AUC (p = 0,22), en dat het voordeel verdwijnt wanneer er over meerdere trainings-seeds wordt gemiddeld.
• Feature Analyse: t-SNE visualisaties gaven aan dat het mix beleid de bronspecifieke clustering in de feature space verminderde vergeleken met de baseline. Grad-CAM analyse suggereerde dat het geaugmenteerde model compacter focuste op de laesie in plaats van op perifere artefacten.
• Diagnose-specifieke Uitsplitsing: De OOD-verbetering werd voornamelijk gedreven door een verhoogde specificiteit op benigne keratosen (het verminderen van fout-positieven), in plaats van een significante verbetering in melanoma recall, die laag bleef (0,26–0,43) over de verschillende configuraties.

Significantie en Beperkingen
Het artikel beweert dat augmentaties die real-world bronnen van domeinverschuiving modelleren (met name fotometrische variaties) belangrijker kunnen zijn voor OOD-generalisatie dan het maximaliseren van in-domain nauwkeurigheid of het veranderen van de modelarchitectuur. Het mix beleid wordt gepresenteerd als een eenvoudige, reproduceerbare baseline-stap die overwogen moet worden voordat klinische validatie van beslissingsondersteunende systemen plaatsvindt.

De auteurs kwalificeren hun claims echter expliciet:

• Selectiebias: Het beleid is geselecteerd met behulp van gegevens uit dezelfde bronnen die werden gebruikt voor de primaire OOD-evaluatie (HAM10000 en ISIC 2019–2020). Daarom kan de gerapporteerde effectgrootte optimistisch bevooroordeeld zijn, en vormen de resultaten geen onafhankelijke bevestiging van generalisatie naar geheel andere, onbekende bronnen.
• Beperkt Extern Bewijs: De verbetering op de onafhankelijke Melanoscope dataset was niet statistisch significant en bleef niet bestaan over verschillende trainings-seeds, wat aangeeft dat de waargenomen robuustheid op de ISIC/HAM-bronnen nog niet bewezen is te transfereren naar een volledig andere klinische setting.
• Klinische Bruikbaarheid: Hoewel de specificiteit verbeterde, blijft de absolute recall voor melanoma laag, wat suggereert dat het model momenteel beter geschikt is voor het prioriteren van gevallen voor beoordeling dan voor autonome diagnose.

De auteurs concluderen dat hoewel het mix beleid een robuuste baseline biedt, toekomstig werk een bron-disjunct selectieprotocol vereist (bijv. leave-one-source-out) en validatie op grotere, diverse externe cohorten om ongeërfde generalisatie te bevestigen.