Contrastive meta-domain adaptation for robust skin lesion classification across clinical and acquisition conditions

Deze paper introduceert een contrastieve meta-domeinadaptatiestrategie die de robuustheid en generalisatie van diepe leermodellen voor huidlaesie-classificatie verbetert door visuele representaties van grotere dermoscopische datasets over te dragen naar klinische beeldvormingsomgevingen.

De kern

Hoe we een slimme huidarts maken die niet snel in de war raakt

Stel je voor dat je een zeer slimme student medicijnen hebt die honderden foto's van moedervlekken heeft bestudeerd. Maar deze foto's zijn allemaal genomen met een dure, professionele microscoop in een perfect verlichte kamer. De student is hierdoor een expert geworden in het herkennen van moedervlekken op die specifieke foto's.

Het probleem? Als je diezelfde student nu naar een gewone huisarts stuurt, waar de foto's met een gewone smartphone worden gemaakt, in een slecht verlichte kamer, met een trillende hand en soms met een vlekje op de lens, raakt de student in paniek. Hij ziet de moedervlek niet meer, maar ziet alleen de "ruis" (de slechte foto). Hij denkt dan: "Oh, dit is een andere ziekte!" of "Ik weet het niet meer."

Dit is precies het probleem dat de auteurs van dit paper proberen op te lossen. Ze hebben een nieuwe manier bedacht om deze "student" (een computerprogramma) te trainen, zodat hij niet alleen goed is in de perfecte foto's, maar ook in de rommelige, echte wereld.

Hier is hoe ze dat doen, vertaald in simpele taal:

1. De "Spiegel-oefening" (Contrastief voorlopig leren)

Stel je voor dat je iemand leert een auto te herkennen. Als je alleen foto's toont van rode auto's, denkt de persoon dat alle auto's rood zijn.

De auteurs laten hun computerprogramma eerst oefenen zonder antwoorden te geven. Ze tonen twee foto's van dezelfde moedervlek, maar dan met verschillende filters (een beetje wazig, een beetje donker, een beetje gekanteld).

• De opdracht: "Zie je dat dit twee foto's van dezelfde moedervlek zijn, ondanks dat ze er anders uitzien? En zie je dat deze twee foto's van verschillende moedervlekken juist heel anders zijn?"
• Het resultaat: De computer leert niet alleen naar de kleur te kijken, maar naar de essentie van de moedervlek. Het wordt als een speler die niet meer kijkt naar de kleding van een speler, maar naar de manier van lopen. Zo wordt hij veel sterker tegen "rommelige" foto's.

2. De "Reis naar een nieuwe wereld" (Meta-domein aanpassing)

Nu hebben we een sterke student die goed is in de "perfecte foto's wereld" (de microscoopfoto's). Maar we moeten hem voorbereiden op de "smartphone-wereld" (de klinische foto's).

Als je een student direct in een nieuwe wereld gooit, vergeet hij vaak alles wat hij eerder heeft geleerd. Dit noemen ze "catastrophal forgetting" (catastrofaal vergeten).

De auteurs gebruiken een slimme truc:

• Ze nemen de perfecte foto's en doen alsof ze al een beetje op de smartphone-foto's lijken. Ze passen de kleuren en de scherpte aan, alsof ze door een wazige lens kijken.
• Ze laten de computer oefenen op deze "gemixte" foto's. Het is alsof je de student eerst laat oefenen in een kamer die half donker is, half verlicht, voordat je hem de echte donkere kamer in stuurt.
• De magie: Door dit stap voor stap te doen, leert de computer hoe hij zijn kennis moet "vertalen" naar de nieuwe situatie, zonder dat hij zijn oude kennis over de perfecte foto's vergeet.

Wat leverde dit op?

De resultaten waren indrukwekkend:

• Beter dan de standaard: De oude methoden (gewoon meer foto's tonen) werkten niet goed genoeg. De nieuwe methode was veel beter.
• Stabiel: Zelfs als de foto's erg slecht waren (wazig, donker, met ruis), bleef de computer goed presteren.
• Geen vergeten: De computer kon leren van de nieuwe smartphone-foto's, maar vergat niet hoe hij de oude microscoop-foto's moest lezen. Hij werd dus een echte "twee-taal spreker".

De conclusie

Kortom: De auteurs hebben een manier gevonden om kunstmatige intelligentie voor huidkanker te maken die niet zo snel in de war raakt door slechte foto's.

In plaats van alleen te leren van perfecte foto's in een lab, leren ze het systeem om te gaan met de chaos van de echte wereld. Dit betekent dat artsen in de toekomst op meer plekken (bijvoorbeeld in dorpen of met gewone telefoons) betrouwbare diagnoses kunnen krijgen, zonder dat de computer de boel verpest. Het is een stap dichter bij een AI die echt werkt voor iedereen, niet alleen voor degenen met de duurste apparatuur.

Technische samenvatting

Probleemstelling

Diepe leermodellen voor dermatologische beeldanalyse vertonen vaak een sterke prestatiedaling wanneer ze worden ingezet in echte klinische omgevingen. Hoewel deze modellen goed presteren op grote, gecontroleerde datasets (zoals dermoscopische beelden), falen ze bij generalisatie naar klinische beelden die zijn opgenomen met smartphones of andere apparatuur. De hoofdoorzaken zijn:

• Variabiliteit in acquisitie: Verschillen in verlichting, camera-verwerking, kleurbalans en ruis.
• Domeinverschuiving (Domain Shift): De verdeling van de bron-domein-data (bijv. dermoscopie) verschilt significant van die van het doel-domein (klinische foto's).
• Katastrofale Vergetelheid (Catastrophic Forgetting): Wanneer modellen worden bijgetraind op nieuwe domeinen, verliezen ze vaak de kennis die ze eerder hebben opgedaan op de oorspronkelijke domeinen.
• Inter-lesie gelijkenis: In lage-resolutie klinische datasets lijken verschillende laesies op elkaar, wat de besluitvorming van het model bemoeilijkt.

Methodologie

De auteurs stellen een tweestapsaanpak voor om deze uitdagingen aan te pakken:

1. Contrastieve Pre-training (CT-pretrain)

Om de robuustheid tegen visuele variabiliteit te vergroten en de scheiding tussen verschillende laesies te verbeteren, wordt een onbewaakte contrastieve pre-trainingstrategie toegepast.

• Architectuur: Een EfficientNet-backbone zonder classificatiehoofd, gekoppeld aan een decoder voor reconstructie.
• Multi-transform Contrastive Loss: Voor elke afbeelding worden meerdere stochastische augmentaties (zoals rotatie, kleurverschuivingen) toegepast. Het model wordt getraind om de inbeddingen van dezelfde laesie onder verschillende weergaven dicht bij elkaar te houden, terwijl het de afstand tot inbeddingen van andere laesies maximaliseert.
• Doel: Dit dwingt het model om invariante visuele kenmerken te leren en vermindert de verwarring tussen vergelijkbare laesies in de latente ruimte.

2. Geleide Meta-Domein Adaptatie (Guided Meta-Domain Adaptation)

Om de overdracht van kennis van grote bron-datasets (zoals HAM10000) naar kleinere klinische doel-datasets (zoals PAD-UFES-20 en DDI) te faciliteren zonder kennisverlies, wordt een geleide aanpassing (guided-tuning) voorgesteld.

• Meta-domeinen: In plaats van willekeurige transformaties, worden er $K$ "meta-domeinen" gegenereerd. Dit gebeurt door kleurstatistieken (gemiddelde en standaardafwijking in LAB-ruimte) en blur-kenmerken te schatten uit een kalibratiesubset van het doel-domein. Deze statistieken worden gebruikt om de bron-domein-afbeeldingen te transformeren zodat ze visueel lijken op het doel-domein.
• Optimalisatie: Het model wordt getraind met een totale verliesfunctie die drie componenten combineert:
  1. Het verlies op het huidige doel-domein.
  2. Het verlies op de getransformeerde meta-domeinen (om de aanpassing te sturen).
  3. Het verlies op de aangepaste bron-domein-data (om kennisbehoud te garanderen).
• Beperkingen: Geometrische of morfologische transformaties die de structuur van de laesie veranderen, worden vermeden om de diagnose-integriteit te waarborgen.

Belangrijkste Bijdragen

1. Integratie van Contrastief Leren en Domeinadaptatie: Een pipeline die eerst robuuste representaties leert via contrastief pre-training en vervolgens deze kennis overdraagt via meta-domeinadaptatie.
2. Methode tegen Catastrophic Forgetting: De voorgestelde "guided-tuning" strategie stelt het model in staat om zich aan te passen aan nieuwe klinische domeinen terwijl het prestaties op eerder geleerde domeinen behoudt.
3. Visuele Meta-domeinen: Een innovatieve manier om domeinverschuivingen te simuleren en te overbruggen door kleureigenschappen en blur-kenmerken van het doel-domein te "leren" en toe te passen op de bron-data.

Resultaten

De methoden zijn getest op drie datasets: HAM10000 (dermoscopie), PAD-UFES-20 en DDI (klinische smartphone-beelden).

• Robuustheid: Contrastieve pre-training (CT-pretrain) leidde tot een aanzienlijk stabielere prestatie onder degradatie (blur, ruis, verlichting) vergeleken met standaard "naive" training.
• Prestatieverbetering:
  • Op de PAD-UFES-20 dataset bereikte de combinatie van CT-pretrain en Guided-Tuning (GT) een nauwkeurigheid van 0,88 en een F1-score van 0,84. Dit is een aanzienlijke verbetering ten opzichte van de baseline (0,69) en naive training (0,35).
  • Op de DDI dataset (diverse huidtinten) bereikte de combinatie een nauwkeurigheid van 0,79 en een F1-score van 0,81, vergeleken met 0,77 voor de beste bestaande baseline.
• Behoud van Kennis: Figuur 5 toont aan dat naive training weliswaar goed presteert op het huidige domein, maar prestaties op eerdere domeinen verliest. Guided-Tuning behoudt daarentegen de prestaties op alle domeinen, wat essentieel is voor continue leerprocessen.

Betekenis en Conclusie

Dit onderzoek benadrukt dat voor de succesvolle klinische implementatie van AI in de dermatologie, domeinbewuste training onmisbaar is. De voorgestelde strategie lost twee kritieke problemen op: de gevoeligheid voor acquisitienuis en het verlies van kennis bij domeinverschuiving.

De resultaten tonen aan dat het combineren van contrastieve pre-training (voor betere kenmerkenscheiding) met geleide meta-domeinadaptatie (voor robuuste overdracht) leidt tot systemen die betrouwbaarder zijn in real-world klinische scenario's. Dit vormt een belangrijke stap naar deployable AI-systemen die kunnen omgaan met de variabiliteit van medische beeldvorming zonder dat de diagnosekwaliteit daalt.