💻 computer science

MIFR: A Modality-Invariant and Fair Representation Framework for Skin Disease Classification

Dit artikel introduceert MIFR, een nieuw framework dat multimodale klinische en dermoscopische beelden combineert met een multi-objective verliesfunctie om gelijktijdig een hoge nauwkeurigheid in classificatie van huidziekten en een eerlijke prestatie over diverse huidtinten te bereiken.

Oorspronkelijke auteurs: Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

Gepubliceerd 2026-08-20

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Asonyu Senge Njih, Yvan Guifo Fodjo, Vianney Kengne Tchendji, Jerry Lacmou Zeutouo, Kerol Djoumessi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De huid is het grootste orgaan van het lichaam, een complex landschap waar onschuldige vlekjes en gevaarlijke kankers verdraaid veel op elkaar kunnen lijken. Decennialang hebben artsen vertrouwd op twee hoofdwijzen om deze laesies te onderzoeken: een standaardfoto genomen met een gewone camera, bekend als een klinische afbeelding, en een sterk vergroot beeld genomen met een speciaal apparaat dat een dermoscoop wordt genoemd. Hoewel kunstmatige intelligentie de laatste tijd vaardig is geworden in het opsporen van huidaandoeningen, worden deze digitale hulpmiddelen geconfronteerd met twee hardnekkige hindernissen. Ten eerste zijn de meeste systemen getraind om naar slechts één type afbeelding te kijken, wat betekent dat een model dat goed werkt op vergrote dermoscopische foto's, volledig kan falen bij een standaard klinische foto. Ten tweede, en misschien nog wel kritieker, worstelen deze systemen vaak wanneer ze worden toegepast op mensen met een donkere huid. Omdat de overgrote meerderheid van de trainingsdata afkomstig is van mensen met een lichtere teint, leren de algoritmen ziekten te herkennen op basis van kenmerken die niet goed vertaalbaar zijn naar donkere huidtinten, wat leidt tot misdiagnoses en ongelijke uitkomsten in de gezondheidszorg.

Een team van onderzoekers heeft een nieuwe aanpak voorgesteld om beide problemen tegelijkertijd op te lossen, door een systeem te creëren dat verschillende soorten afbeeldingen en verschillende huidtinten met gelijke eerlijkheid behandelt. Hun werk, getiteld MIFR, introduceert een raamwerk dat is ontworpen om een enkel, verenigd begrip van huidaandoeningen te leren dat niet afhankelijk is van de manier waarop de foto is genomen of de kleur van de huid. In plaats van aparte hulpmiddelen te bouwen voor klinische foto's en dermoscopische beelden, of verschillende modellen te trainen voor verschillende huidtypen, leert dit systeem de onderliggende ziekte zelf te zien. De onderzoekers koppelden klinische foto's aan de bijbehorende dermoscopische beelden van dezelfde patiënt, waardoor de computer leerde dat deze twee zeer verschillend uitziende plaatjes eigenlijk dezelfde medische conditie laten zien. Door het systeem te dwingen deze verschillende weergaven met elkaar af te stemmen, leert het model de oppervlakkige verschillen veroorzaakt door de camera of de verlichting te negeren en zich volledig te concentreren op de biologische tekenen van de ziekte.

Om te garanderen dat het systeem niet per ongeluk leert te discrimineren op basis van huidskleur, hebben de onderzoekers een slim trainingsmechanisme toegevoegd. Ze leerden de computer de ziekte te voorspellen terwijl hij tegelijkertijd de huidtype van de patiënt probeerde te verbergen voor het model. Stel je een student voor die een moeilijke vraag correct moet beantwoorden, maar verboden is om aanwijzingen over de achtergrond van de student te gebruiken. In deze digitale versie speelt het systeem een spel waarbij het ene deel probeert de huidskleur te raden op basis van de kenmerken van de afbeelding, en een ander deel probeert die kenmerken te verstoren zodat de gok mislukt. Na verloop van tijd leert het systeem alle informatie gerelateerd aan huidskleur weg te strippen, en alleen de details te behouden die nodig zijn om de ziekte te diagnosticeren. Dit proces zorgt ervoor dat de uiteindelijke tool net zo goed werkt voor een persoon met de donkerste huid als voor iemand met de lichtste.

De onderzoekers testten hun nieuwe raamwerk op een collectie huidbeelden uit verschillende publieke databases, inclus \bij een set gekoppelde beelden waar zowel een klinische foto als een dermoscopisch beeld van dezelfde laesie bestond. Ze richtten zich op drie veelvoorkomende aandoeningen: melanoma (melanoom), een gevaarlijke vorm van huidkanker; naevi (moedervlekken), die goedaardig zijn; en basaalcelcarcinoom, de meest voorkomende vorm van huidkanker. De resulten toonden aan dat het systeem deze ziekten nauwkeurig kon classificeren, of het nu keek naar een standaardfoto of een vergroot beeld, wat bewees dat het erin geslaagd was een modaliteit-invariante representatie te leren. Wanneer het werd getest op data die het nog nooit eerder had gezien, inclusief datasets uit verschillende regio's, behield het model een hoge nauwkeurigheid en presteerde het beter dan eerdere methoden die gespecialiseerd waren voor slechts één type afbeelding.

Misschien wel het belangrijkste is dat het systeem een significante verbetering in eerlijkheid liet zien. Wanneer de onderzoekers de prestaties van het model over verschillende huidtinten heen maten, vertoonde de nieuwe aanpak een veel kleinere kloof in nauwkeurigheid tussen de lichtste en de donkerste groepen vergeleken met bestaande hulpmiddelen. Visualisaties van de data bevestigden dat de computer inderdaad beelden van dezelfde ziekte bij elkaar had gegroepeerd, ongeacht of ze afkomstig waren van een klinische camera of een dermoscoop, en ongeacht de huidskleur van de patiënt. De clusters van datapunten in de interne kaart van de computer waren gemengd, wat liet zien dat het systeem patiënten niet langer scheidde op basis van hun huidskleur of het type gebruikte afbeelding.

Hoewel de resultaten veelbelovend zijn, erkennen de onderzoekers dat hun methode geen perfecte oplossing is voor elke situatie. Het systeem vereist momenteel gekoppelde beelden voor training, wat in de echte wereld zeldzaam is, en de dual-camera opstelling verhoogt de computationele kosten. Bovendien merkte de studie op dat de prestaties van het model iets daalden wanneer het werd getest op een dataset die alleen uit dermoscopische beelden bestond, wat suggereert dat de inspanning om het systeem voor beide typen beelden te laten werken, soms ten koste gaat van een klein beetje van de specifieke details die in één type te vinden zijn. Ondanks deze beperkingen markeert het werk een belangrijke stap voorwaarts. Het demonstreert dat het mogelijk is om kunstmatige intelligentie te bouwen die niet alleen accuraat is, maar ook rechtvaardig, in staat om patiënten over het volledige spectrum van menselijke huidtinten te dienen en over verschillende medische beeldinstellingen heen, zonder dat daar afzonderlijke, gespecialiseerde hulpmiddelen voor nodig zijn.

Technische Samenvatting: MIFR – Een Modality-Invariante en Eerlijke Representatie-framework voor Huidziekteclassificatie

1. Probleemstelling

De diagnose van huidziekten via deep learning staat voor twee kritieke barrières voor de implementatie in de echte klinische praktijk:

Modale Heterogeniteit: Huidlaesies worden vastgelegd via heterogene beeldvormingsmodaliteiten, primair klinische foto's en dermoscopische beelden. Bestaande modellen vertrouwen vaak op een enkele modaliteit, wat onvoldoende kan zijn voor een nauwkeurige diagnose.
Demografische Dispariteiten: Publieke dermatologie-datasets worden gedomineerd door lichtere huidtinten (Fitzpatrick Skin Types I–III), waardoor modellen aanzienlijk slechter presteren op donkere huid (FST IV–VI). Dit bestendigt ongelijkheid in de gezondheidszorg.

Huidige benaderingen pakken deze problemen doorgaans geïsoleerd aan. Fairness-bewuste methoden (bijv. FairDisCo, PatchAlign) werken over het algemeen op single-modale basis, terwijl multimodale foundation-modellen (bijv. PanDerm) vaak een expliciete fairness-beperking missen. Bovendien vereisen veel fairness-methoden gevoelige attributen (huidskleur) tijdens de inferentie, wat onpraktisch is in klinische settings.

2. Methodologie: Het MIFR-framework

De auteurs stellen MIFR (Modality-Invariant and Fair Representation) voor, een dual-encoder architectuur ontworpen om klinische en dermoscopische beelden gezamenlijk te verwerken en tegelijkertijd eerlijkheid af te dwingen zonder dat daarvoor gevoelige attributen nodig zijn tijdens de inferentie.

2.1 Architectuur

Dual Encoders: Het model maakt gebruik van twee onafhankelijke Vision Transformer (ViT-Small) encoders: één voor klinische beelden ( $f^c_\theta$ ) en één voor dermoscopische beelden ( $f^d_\phi$ ).
Projectiekoppen: De output van elke encoder wordt door een modaliteit-specifieke projectiekop gestuurd (een multi-layer perceptron met batch normalisatie en GELU-activaties) om de inputs naar een gedeelde hoogdimensionale embeddingruimte ( $\mathbb{R}^{512}$ ) te mappen.
Inferentie-flexibiliteit: Tijdens de inferentie worden de hulp-branches verwijderd. Het model kan opereren op klinische beelden, dermoscopische beelden, of beide, waardoor de noodzaak voor aparte gespecialiseerde modellen wordt geëlimineerd.

2.2 Multi-Objective Loss Functie

Het trainingsproces optimaliseert een uniforme loss-functie ( $L_{Total}$ ) bestaande uit vijf componenten:

Target Classificatie ( $L_{cls}$ ): Een gewogen cross-entropy loss die klasse-imbalans aanpakt om een nauwkeurige ziektevoorspelling ( $y_i$ ) te garanderen.
Skin-Tone Attribute Branch (SA): Een adversariële mechanisme om huidskleur-bias ( $s_i$ $s_{i}$ ) te verwijderen uit de features zonder dat $s_i$ $s_{i}$ nodig is tijdens de inferentie.
- Confusion Loss ( $L_{conf}$ ): Traint de hoofd-encoder om de huidskleur-classifier onzeker te maken (maximaliseren van entropie), wat effectief huidskleur-kenmerken verbergt.
- Skin Loss ( $L_{skin}$ ): Traint de hulp-huidskleur-classifier om de ware label te voorspellen, om te voorkomen dat de encoder vervalt in een triviale oplossing.
Contrastieve Branch ( $L_{contr}$ ): Een supervised contrastive loss toegepast per modaliteit om embeddings van dezelfde ziekteklasse naar elkaar toe te trekken en verschillende klassen uit elkaar te duwen, wat intra-klasse compactheid tot stand brengt.
Modality-Invariant Branch ( $L_{MI}$ ): Gebaseerd op VICReg, dwingt dit de uitlijning af tussen klinische en dermoscopische embeddings van dezelfde laesie. Het bevat:
- Invariance ( $L_{inv}$ ): Minimaliseert de cosinusafstand tussen gepaarde embeddings.
- Variance ( $L_{var}$ ): Voorkomt dimensionale collaps door voldoende variantie in elke embedding-dimensie te waarborgen.
- Covariance ( $L_{cov}$ ): Ontcorreleert embedding-dimensies om redundantie te verminderen.

3. Experimentele Opzet

Datasets:
- Interne Training: Gepaarde HIBA (1.195 beelden met FST) en Derm7pt (1.738 beelden met geschatte FST) datasets, gefilterd voor Melanoma (MEL), Nevus (NV) en Basal Cell Carcinoma (BCC).
- Externe Benchmarks: PAD-UFES-20 (klinische beelden) en ISIC 2019 (dermoscopische beelden).
Baselines: Vergelijking met FairDisCo en PatchAlign.
Metrieken: Accuratesse (Acc), F1-score, AUC, Predictive Quality Disparity (PQD) en Accuracy Gap ( $\Delta$ Acc).

4. Belangrijkste Resultaten

4.1 Interne Prestaties (HIBA + Derm7pt)

Fairness: Het volledige MIFR-model bereikte een PQD van 87,23%, waarmee het FairDisCo (66,67%) en PatchAlign (82,98%) aanzienlijk verslaat.
Accuratesse: MIFR bereikte 93,33% accuratesse en een 92,17% F1-score. Hoewel dit iets lager is dan de baselines (93,81%), blijft de prestatie zeer competitief.
Ablatie: De combinatie van contrastive learning en modality invariance (BASE+Contr+MI) leverde de laagste accuracy gap op (0,0265), wat suggereert dat modality invariance impliciet fairness bevordert.

4.2 Externe Generalisatie

PAD-UFES-20 (Klinisch): MIFR presteerde significant beter dan de baselines in Accuratesse (85,10% vs. 78,35% voor FairDisCo) en AUC (91,89% vs. 83,44%).
ISIC 2019 (Dermoscopisch): MIFR bereikte 76,64% accuratesse, wat overeenkomt met FairDisCo en PatchAlign overtreft. De AUC (80,50%) was echter lager dan die van het base-model (86,62%). De auteurs schrijven dit toe aan de trade-off waarbij het afdwingen van modality invariance ten koste gaat van enige modaliteit-specifieke discriminatie ten gunste van cross-modale generaliseerbaarheid.

4.3 Visualisatie

t-SNE visualisaties bevestigden dat:

Klinische en dermoscopische embeddings van dezelfde ziekte geometrisch uitgelijnd zijn (modality invariance).
Huidtinten bijna perfect gemengd zijn binnen ziekteclusters, wat wijst op de verwijdering van huidskleur-bias (fairness).

5. Betekenis en Claims

Het artikel claimt dat MIFR een belangrijke stap zet naar een rechtvaardige en robuuste diagnose van huidziekten door:

Objectives te Unificeren: Succesvol behandelen van modality invariance en fairness als een gezamenlijk optimalisatieprobleem in plaats van als afzonderlijke uitdagingen.
Praktische Implementatie: Het elimineren van de noodzaak voor gevoelige attribuut-labels tijdens de inferentie, een vereiste die veel bestaande fairness-bewuste methoden beperkt.
Cross-Dataset Robuustheid: Het demonstreren van superieure generalisatie op externe benchmarks (PAD-UFES-20), wat de toepasbaarheid ervan valideert in real-world scenario's waar datadistributies verschuiven.

6. Beperkingen en Toekomstige Richtingen

De auteurs erkennen specifieke beperkingen:

Data-afhankelijkheid: Het framework vertrouwt op gepaarde trainingsdata (klinische en dermoscopische beelden van dezelfde laesie), die vaak schaars zijn.
Computationele Kosten: De dual-encoder architectuur verhoogt de computationele overhead vergeleken met single-encoder modellen.
Dataset Bias: De studie maakte gebruik van internationale repositories die een tekort aan Afrikaanse huidlaesie-data vertonen. De auteurs merken op dat publieke datasets nog steeds scheefgetrokken zijn naar lichtere huidtinten, en dat het aanpassen van MIFR aan Afrikaanse klinische datasets (bijv. eSkinHealth) een noodzakelijke toekomstige richting is om de specifieke onderprestatie van eerdere methoden op FST IV–VI aan te pakken.
Hyperparameter Tuning: De interactie tussen de vijf loss-gewichten vereiste handmatige afstemming op de validatieset, in plaats van een exhaustieve zoektocht, wat niet garandeert dat optimale prestaties worden bereikt.