Automated Disentangling Analysis of Skin Colour for Lesion Images

Deze paper presenteert een raamwerk voor het ontrafelen van huidkleur in dermatologische beelden dat, door het combineren van een geordende latente ruimte, een gedecoloreerde afbeeldingsmapping en geometrisch uitgelijnde nabewerking, nauwkeurige contrafactuele bewerkingen en kleurtransfers mogelijk maakt om de prestaties van machine-learningmodellen voor laesieclassificatie te verbeteren en eerlijkere diagnoses te bevorderen.

De kern

Stel je voor dat je een zeer slimme, digitale arts hebt die huidlaesies (zoals moedervlekken of puistjes) kan analyseren om te zien of ze kwaadaardig zijn. Deze digitale arts is getraind op duizenden foto's. Maar er is een groot probleem: deze arts is gewend geraakt aan de huidtinten van de mensen waar hij voor getraind is. Als je nu een foto laat zien van iemand met een heel donkere huid, of als de foto onder een andere lamp is gemaakt, raakt de digitale arts in de war. Hij ziet de ziekte niet meer goed, omdat hij denkt dat de donkere tint een ander probleem is dan het daadwerkelijke probleem.

Dit is wat onderzoekers van de Universiteit van Waterloo hebben opgelost met hun nieuwe methode. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verwarde" Foto

Huidkleur op een foto is niet alleen de echte kleur van je huid. Het is een rommelige mix van:

• Je natuurlijke huidskleur.
• Het licht in de kamer (is het warm of koud?).
• De camera-instellingen (zoals de witbalans).

Tot nu toe probeerden computers dit te begrijpen door te zeggen: "Dit is licht, dit is donker." Maar dat is te simpel, net als het proberen te beschrijven van een orkest door alleen te zeggen "het klinkt luid". Je mist de nuance.

2. De Oplossing: Een "Scheidingstafel" voor Kleuren

De onderzoekers hebben een slimme computerprogrammatuur bedacht die werkt als een kookrecept voor kleuren. Ze noemen het "ontwarren" (disentangling).

Stel je voor dat je een soep hebt waarin alle smaken door elkaar zitten. Je wilt weten hoe de soep zou smaken als je alleen de zoutigheid zou veranderen, maar de rest (de groenten, het vlees) exact hetzelfde zou laten.

• De oude manier: Je probeerde de hele soep te vervangen door een nieuwe soep, maar dan zag je er niet meer uit als de originele soep.
• De nieuwe manier (van dit papier): De computer leert de "soep" te ontleden in losse ingrediënten. Hij maakt een geheime code (een latent space) aan. In deze code zit één knop voor "huidskleur", één knop voor "licht", en één knop voor "camera-instellingen".

3. De Magische Trucs

Om dit goed te laten werken, hebben ze twee slimme trucjes bedacht:

• De "Willekeurige Grayscale" (Het Vergeten van Kleur):
  Normaal gesproken maakt een computer een foto zwart-wit door simpelweg de kleuren te verwijderen. Maar dat werkt niet goed, want een donkere huid wordt dan vaak nog steeds "donkerder" gezien dan een lichte huid, zelfs zonder kleur.

  • De oplossing: Ze gebruiken een willekeurige, wiskundige manier om de foto grijs te maken. Het is alsof je de foto door een wazige, veranderende bril laat kijken. Hierdoor leert de computer dat de structuur van de huid (de vorm van de moedervlek) losstaat van de kleur. Hij kan de kleur echt "uit" de foto halen zonder de vorm te verpesten.

• De "Vaste Pinnen" (De Post-Processing):
  Soms wil je de huidskleur veranderen, maar wil je niet dat er vreemde dingen gebeuren met andere dingen op de foto, zoals een inktvlekje van een arts of een litteken.

  • De oplossing: De computer kijkt na het veranderen van de kleur: "Heb ik hier iets veranderd dat ik niet mocht?" Als dat zo is (bijvoorbeeld bij een inktvlek), veegt hij die verandering weg en laat hij het originele punt intact. Het is alsof je een foto bewerkt, maar een "veiligheidsnet" hebt dat zorgt dat de tekst op de foto niet verandert terwijl je de achtergrondkleur aanpast.

4. Wat kun je hiermee doen?

Met deze techniek kunnen artsen en computers nu dingen doen die eerder onmogelijk waren:

1. De "Wat als?"-Vraag: "Hoe zou deze moedervlek eruitzien op een persoon met een heel donkere huid?" De computer kan de moedervlek van foto A nemen en de huidskleur van foto B eroverheen plakken, alsof het één foto is. Dit helpt artsen om te leren hoe ziektes eruitzien op alle huidtypes.
2. De "Tijdmachine" voor Licht: Je kunt in de computer zien hoe een huid eruitziet onder verschillende lampen (zoals zonlicht of ziekenhuisverlichting) zonder dat de foto opnieuw gemaakt hoeft te worden.
3. Een Eerlijkere Arts: Door foto's van verschillende mensen te "mixen" en te normaliseren, kunnen ze een trainingsset maken die eerlijk is voor iedereen. De digitale arts wordt dan niet meer alleen getraind op lichte huid, maar leert ook donkere huid te herkennen.

Conclusie

Kortom: deze onderzoekers hebben een manier bedacht om de "ruis" (licht, camera, omgeving) te scheiden van de "boodschap" (de echte huidkleur en de ziekte). Hierdoor kunnen we betere, eerlijkere medische hulpmiddelen bouwen die voor iedereen werken, of je nu een lichte of donkere huid hebt, of dat je foto's onder een lamp of in de zon zijn gemaakt. Het is alsof je een vertaalapparaat hebt dat niet alleen woorden, maar ook de cultuur en omgeving van een foto begrijpt.

Technische samenvatting

Probleemstelling

Machine-learningmodellen voor dermatologische diagnose presteren vaak aanzienlijk slechter wanneer de huidskleur in de testdata (SCCI: Skin Colour Captured in Images) verschilt van die in de trainingsdata. Deze prestatiedaling wordt veroorzaakt door een complex samenspel van verweven factoren:

1. Intrinsieke factoren: De daadwerkelijke huidtint van de patiënt.
2. Extrinsieke factoren: Omgevingsinvloeden zoals verlichting, camera-instellingen (witbalans) en andere apparaatinstellingen.

Bestaande methoden zijn ontoereikend omdat ze huidskleur vaak reduceren tot een enkele scalar (zoals de Fitzpatrick-schaal) of categorische waarde. Dit is een te sterke vereenvoudiging die geen rekening houdt met de complexe kleurformatieprocessen. Bovendien missen bestaande augmentatiemethoden vaak een gestructureerd kleuremodel, wat leidt tot beperkte controle over het resultaat en een gebrek aan distributiematching. Er is behoefte aan een systeem dat kan visualiseren hoe een laesie eruit zou zien onder verschillende huidskleurcondities (counterfactuele analyse) en dat eerlijke diagnose mogelijk maakt voor diverse populaties.

Methodologie

De auteurs stellen een onbewaakt (unsupervised) framework voor dat gebruikmaakt van het principe van "disentanglement-by-compression" (ontkoppeling door compressie) om een gestructureerde, manipuleerbare latente ruimte voor SCCI te leren.

1. Architectuur:
Het model bestaat uit twee netwerken:

• Kleurencodering (Encoder): Maakt een invoerbeeld $y$ om naar een low-bitrate kleurembedding $e$.
• Kleur synthese (Decoder): Reconstructeert een gekleurd beeld $\hat{y}$ uit een kleurloos geometrisch beeld $x$ en de embedding $e$.
  Door de embedding $e$ te beperken tot de minimale informatie die nodig is voor een trouwe reconstructie, wordt het model gedwongen om voornamelijk globale SCCI-informatie vast te leggen, terwijl de geometrie in $x$ behouden blijft.

2. Geautomatiseerde Decolourisatie (Randomized Decolourization):
In tegenstelling tot eerdere werken die een handmatig kleurloos beeld vereisen, genereren de auteurs het kleurloze beeld $x$ uit het gekleurde beeld $y$ via een gerandomiseerde, grotendeels monotoone mapping.

• Een vaste lineaire grijsconversie zou informatie over de donkerte van de huid kunnen lekken, wat de controle vermindert.
• Het paper introduceert een pixelsgewijze mapping $g_\alpha$ waarbij de coëfficiënten per trainingsepoche worden hersampled. Dit zorgt voor diversiteit en voorkomt dat het model shortcuts neemt om huidtint te leren via luminantie-cues.

3. Post-processing voor Kleurcorrectie:
Tijdens het manipuleren van de kleur (bijv. transfereren van de kleur van beeld A naar B) kunnen lokale patronen (zoals inktvlekken, littekens of irritaties) ongewenste kleurverschuivingen ondergaan.

• Om dit te voorkomen, wordt een geometrie-georiënteerde post-processing stap ($P$) toegepast.
• Deze stap berekent een afwijzingsgewicht ($w$) op basis van de reconstructiefout. Als een gebied moeilijk te reconstrueren was (hoge fout), wordt de kleurverandering in dat gebied onderdrukt. Dit zorgt ervoor dat niet-huidstructuren trouw behouden blijven.

4. Toepassingen voor Downstream Taken:

• Data Augmentatie: Het genereren van trainingsdata die de verdeling van de doelpopulatie nabootst door embeddings te sampleën uit de doeldistributie.
• Kleurnormalisatie: Het standaardiseren van alle beelden naar een "standaard" kleurembedding om variatie door apparatuur en omstandigheden te elimineren.

Belangrijkste Bijdragen

1. Onbewaakt Disentanglement Framework: Een model dat SCCI ontkoppelt in een gestructureerde latente ruimte, waardoor het antwoord mogelijk is op de counterfactuele vraag: "Hoe zou deze huidconditie eruitzien bij een andere huidskleur?"
2. Geavanceerde Decolourisatie: Een geautomatiseerde, randomiseerde methode die informatielekken over huiddonkerte voorkomt, essentieel voor het leren van donkere huidtinten.
3. Geometrie-georiënteerde Post-processing: Een mechanisme om onbedoelde kleurverschuivingen van lokale patronen (zoals inkt of littekens) te onderdrukken, wat de betrouwbaarheid van de manipulatie verhoogt.
4. Fysiek Betekenisvolle Trajecten: De latente ruimte bevat trajecten die corresponderen met fysieke eigenschappen zoals bloedperfusie, witbalans van de camera en kleurtemperatuur van verlichting.

Resultaten

• Kwalitatieve Resultaten: Het model kan huidskleur succesvol overdragen tussen beelden zonder de structuur van de laesie of de geometrie te veranderen. Het kan ook individuele latent-dimensies aanpassen om specifieke fysieke factoren (zoals bloeddoorbloeding) te simuleren.
• Kwantitatieve Resultaten (Classificatie):
  • Bij het trainen van een maligniteit-classificatiemodel (ResNet-50) op een dataset met augmentatie of normalisatie via dit framework, werden 0.772 (augmentatie) en 0.764 (normalisatie) nauwkeurigheid behaald.
  • Dit is een aanzienlijke verbetering ten opzichte van de baseline (0.561) en presteert beter dan eerdere augmentatiemethoden zoals Style Transfer (0.761).
• Ablatie Studies:
  • Het verwijderen van de post-processing leidt tot een significante daling in nauwkeurigheid (van 0.764 naar 0.727) en een verslechtering van de perceptuele kwaliteit (LPIPS score).
  • Het gebruik van de voorgestelde randomiseerde decolourisatie is cruciaal; een simpele grijsconversie resulteert in foutieve transfers waarbij de donkerte van het doelbeeld de structuur van de laesie overneemt in plaats van de bronkleur.

Betekenis en Impact

Dit werk is een belangrijke stap naar equitable diagnose (eerlijke diagnose) in de dermatologie. Door een gestructureerde manier te bieden om huidskleur te manipuleren en te normaliseren, kunnen:

1. Trainingsdatasets worden uitgebreid om diverse huidtinten en opnameomstandigheden te omvatten, waardoor modellen robuuster worden voor verschillende populaties.
2. Medisch onderwijs worden verbeterd door het visualiseren van dezelfde huidconditie onder verschillende omstandigheden, wat artsenschoollelingen helpt een accurater mentaal model te bouwen.
3. Klinische implementatie worden vergemakkelijkt, waarbij modellen betrouwbaar kunnen worden toegepast in verschillende klinische settings zonder prestatieverlies door kleurverschillen.

Samenvattend biedt dit framework een oplossing voor het fundamentele probleem van kleurverschillen in medische beeldanalyse, waarbij het niet alleen de prestaties van AI-modellen verbetert, maar ook de interpretatie en het vertrouwen in deze systemen voor diverse patiëntgroepen versterkt.