Clinical Metadata and Semantic Explanation-Guided Multimodal Deep Learning for Skin Lesion Recognition

Technische Samenvatting: Klinische Metadata en Semantische Verklaring-gestuurde Multimodale Deep Learning voor Huidlaesieherkenning

Probleemstelling
Nauwkeurige herkenning van huidlaesies is cruciaal voor de vroege screening van melanoom en andere maligne dermatologische ziekten. Hoewel bestaande deep learning-methoden een sterk potentieel hebben getoond met behulp van dermoscopische beelden, benutten zij vaak twee cruciale bronnen van informatie die in de klinische praktijk beschikbaar zijn onvoldoende: klinische metadata (bijv. leeftijd van de patiënt, geslacht, anatomische locatie) en semantische diagnostische attributen (bijv. pigmentnetwerk, strepen, blauwwitachtig sluier). Huidige multimodale benaderingen kampen met uitdagingen bij het effectief integreren van deze heterogene databronnen; eenvoudige kenmerkconcatenatie faalt in het vastleggen van complexe cross-modale relaties, terwijl complexe aandacht-gebaseerde of transformer-gebaseerde fusiemodellen mogelijk overmatige computationele belastingen introduceren en onvoldoende klinische interpreteerbaarheid missen.

Methodologie
De auteurs stellen een klinische metadata en semantische verklaring-gestuurd multimodaal deep learning framework voor. De architectuur bestaat uit drie primaire componenten:

1. Multimodale Kenmerkcodering:

   • Beentak (Image Branch): Dermoscopische beelden worden verwerkt met een EfficientNet-gebaseerde backbone. De oorspronkelijke classificatielaag wordt verwijderd en hoogwaardige feature maps worden getransformeerd naar compacte representaties via global average pooling en een projectielaag.
   • Metadata-tak (Metadata Branch): Klinische informatie (leeftijd, geslacht, anatomische locatie) wordt gecodeerd in gestructureerde vectoren. Continue variabelen worden genormaliseerd en categorische variabelen worden via one-hot encoding verwerkt. Deze worden door een Multilayer Perceptron (MLP) verwerkt om metadata-kenmerken te genereren.
   • Semantische tak (Semantic Branch): Diagnostische attributen gebaseerd op de zevenpuntenchecklist (bijv. pigmentnetwerk, stippen, globulen) worden gecodeerd als gestructureerde vectoren (binair of categorisch) en verwerkt door een aparte MLP.
   • Alle drie de modaliteiten worden geprojecteerd in een gedeelde latente kenruimte om vergelijkbaarheid te waarborgen.

2. Gated Cross-Modal Fusie:

   • In plaats van eenvoudige concatenatie maakt het framework gebruik van een gated fusiemodule.
   • Een lichtgewicht gating-netwerk genereert adaptieve gewichten ($\alpha$) voor de beeld-, metadata- en semantische kenmerken op basis van de ingevoerde sample.
   • De uiteindelijke gefuseerde representatie is een gewogen som van de modaliteit-specifieke kenmerken. Dit mechanisme stelt het model in staat om dynamisch informatieve modaliteiten te benadrukken en minder betrouwbare modaliteiten voor specifieke gevallen te onderdrukken.

3. Classificatie en Optimalisatie:

   • De gefuseerde representatie wordt gevoed aan een classifier head (fully connected layers + softmax).
   • Het model wordt geoptimaliseerd met behulp van een weighted cross-entropy loss om klassenonbalans aan te pakken, gecombineerd met L2-regularisatie.

Belangrijkste Bijdragen

• Geïntegreerd Framework: De studie stelt een nieuw framework voor dat gelijktijdig dermoscopische beelden, gestructureerde klinische metadata en semantische diagnostische attributen integreert voor huidlaesieherkenning.
• Adaptief Fusiemechanisme: Een gated cross-modale fusiemodule is ontworend om de bijdragen van verschillende modaliteiten adaptief te balanceren, waarbij men verder gaat dan eenvoudige concatenatie om sample-specifieke modaliteitsimportantie te leren.
• Verbeterde Interpreteerbaarheid: Door expliciet semantische diagnostische attributen (klinisch betekenisvolle concepten) op te nemen, beoogt het model de visuele kenmerken te verbinden met dermatologische redenering, wat de klinische relevantie verhoogt.
• Uitgebreide Evaluatie: De methode wordt rigoureus geëvalueerd op drie publieke datasets: ISIC-DICM-17K, HAM10000 en Derm7pt, waarbij het wordt vergeleken met image-only, metadata-only en diverse multimodale baselines.

Experimentele Resultaten
De voorgestelde methode werd geëvalueerd met behulp van nauwkeurigheid (accuracy), sensitiviteit, specificiteit, F1-score en AUC.

• Algemene Prestaties: Het framework bereikte een algemene nauwkeurigheid van 90,8%, een sensitiviteit van 91,7%, een specificiteit van 89,9%, een F1-score van 0,907 en een AUC van 0,961.
• Datasetspecifieke resultaten:
  • ISIC-DICM-17K: 91,8% nauwkeurigheid, 0,968 AUC.
  • HAM10000: 89,5% nauwkeurigheid, 0,952 AUC.
  • Derm7pt: 88,2% nauwkeurigheid, 0,943 AUC.
• Vergelijkingen: De methode presteerde beter dan image-only baselines (bijv. ResNet-50, EfficientNet-B0), metadata-only modellen en diverse fusiestrategieën (eenvoudige concatenatie, aandacht-gebaseerde fusie). Het overtrof ook recente state-of-the-art multimodale methoden zoals FusionM4Net, TFormer, SkinM2Former en DermFormer.
• Ablatiestudie: Het verwijderen van klinische metadata of semantische attributen leidde tot prestatievermindering, wat de complementaire waarde bevestigt. Het volledige model met het gated fusiemechanisme presteerde beter dan een variant zonder gating, wat de effectiviteit van adaptieve weging aantoont.

Betekenis en Claims
De auteurs claimen dat hun resultaten aantonen dat multimodale integratie zowel de prestaties als de interpreteerbaarheid van deep learning-gebaseerde huidlaesiediagnostiek aanzienlijk verbetert. Specifiek:

• Complementaire Aanwijzingen: Klinische metadata biedt patiëntniveau-context die moeilijk uit beelden alleen te halen is, terwijl semantische attributen klinisch betekenisvolle diagnostische aanwijzingen introduceren.
• Adaptief Leren: Het gated fusiemechanisme stelt het model in staat om visuele, klinische en semantische informatie flexibel te integreren, waardoor meer discriminerende representaties worden geleerd dan statische fusiemethoden.
• Klinische Relevantie: Door gebruik te maken van semantische diagnostische attributen sluit de benadering nauwer aan bij dermatologische redenering, wat potentieel bijdraagt aan de ontwikkeling van betrouwbaardere computerondersteunde diagnostische instrumenten.

De auteurs erkennen beperkingen en merken op dat het framework afhankelijk is van publieke datasets en attribuutannotaties, en dat verdere validatie op grotere, multi-center klinische datasets vereist is voor bredere klinische toepasbaarheid.