WaveInvNet: A Wavelet-Separated Dynamic Involution Network for Multimodal Skin Lesion Classification

Technische Samenvatting: WaveInvNet

Probleemstelling
Het artikel behandelt de kritieke noodzaak voor vroege en nauwkeurige diagnose van huidkanker om sterftecijfers te verlagen, met name voor melanoom. Hoewel deep learning, specifiek Convolutionele Neurale Netwerken (CNN's), de weg heeft vrijgemaakt voor geautomatiseerde dermoscopische beeldanalyse, kampen conventionele architecturen met beperkingen. Standaard CNN's vertrouwen op ruimtelijk gedeelde kernels die alle regio's van een afbeelding uniform verwerken, waardoor ze niet kunnen adapteren aan de heterogene structuren van huidlaesies (bijv. variërende centra, grenzen en de omliggende huid). Bovendien verwerken conventionele extractieprocessen structurele informatie en fijnmazige diagnostische details vaak gezamenlijk, wat het risico inhoudt op het verlies van subtiele patronen tijdens downsampling. Daarnaast vertonen datasets voor huidlaesies zoals HAM10000 een aanzienlijke klassenonbalans, wat modellen kan bevoordelen ten gunste van de meerderheidsklassen.

Methodologie
De auteurs stellen WaveInvNet voor, een lichtgewicht multimodale architectuur die ontworpen is om dermoscopische beelden te integreren met patiëntmetadata (leeftijd, geslacht en anatomische locatie). De kerninnovatie ligt in de Wavelet-Separated Dynamic Involution (WSDI) block, georganiseerd binnen een hiërarchische encoder van vier stadia.

1. Wavelet-Separated Dynamic Involution (WSDI) Block:

   • Stationaire Haar Wavelet Decompositie: Input feature maps ondergaan een stationaire Haar wavelet transformatie. Dit scheidt de data in een laagfrequente structurele component ($F_{LL}$) en drie hoogfrequente detailcomponenten ($F_{LH}, F_{HL}, F_{HH}$). In tegenstelling tot discrete wavelet transformaties, behoudt deze methode de oorspronkelijke ruimtelijke resolutie zonder downsampling.
   • Frequentie-specifieke Kernel Generatie: De block maakt gebruik van aparte generatoren voor structuur, detail en gating.
     • De structuur-tak gebruikt de laagfrequente subband om ruwe kernel-logits te genereren, die worden genormaliseerd via Softmax om een niet-negatieve kernel met een eenheidssom ($K_{str}$) te creëren voor structurele aggregatie.
     • De detail-tak verwerkt de geconcateneerde hoogfrequente subbands. De resulterende logits worden begrensd door een hyperbolische tangens, gecentreerd rond het gemiddelde en L1-genormaliseerd om een gesigneerde, nul-som kernel ($K_{det}$) te produceren die lokale variaties benadrukt.
     • De gating-tak gebruikt absolute hoogfrequente coëfficiënten om een ruimtelijk variërende gate ($\beta$) te genereren die de bijdrage van de detail-kernel moduleert.
   • Adaptieve Kernel Integratie: De uiteindelijke kernel wordt berekend als $K_{wsdi} = K_{str} + \beta \odot K_{det}$. Dit stelt het netwerk in staat om dynamisch aan te passen hoeveel fijnmazig detail de aggregatie op elke ruimtelijke locatie beïnvloedt.
   • Grouped Involution: Deze adaptieve kernels worden toegepast op lokale buurten met behulp van een grouped involution operator, waarbij kernels worden gedeeld over kanaalgroepen maar variëren per ruimtelijke locatie.
   • Residual Refinement: De output ondergaat kanaalexpansie, GELU-activatie, projectie, LayerScale en stochastic depth voordat deze wordt toegevoegd aan de residual input.

2. Multimodale Fusie:

   • Patiëntmetadata wordt gestandaardiseerd en gecodeerd.
   • Nadat de visuele encoder van vier stadia de frequentiebewuste features heeft geëxtraheerd, wordt global average pooling toegepast.
   • De resulterende visuele representatie wordt geconcateneerd met de gecodeerde metadata voordat deze door een dense laag met softmax-activatie gaat voor de uiteindelijke classificatie.

3. Dataverwerking:

   • Het model werd getraind op de HAM10000 dataset (10.015 afbeeldingen, 7 klassen).
   • Om klassenonbalans aan te pakken, werd gerichte data-augmentatie toegepast op ondervertegenwoordigde klassen (bijv. het significant augmenteren van VASC en DF monsters).
   • Ontbrekende leeftijdswaarden werden geïmputeerd met de mediaan.

Belangrijkste Bijdragen

• Nieuwe WSDI Block: Het artikel introduceert de eerste toepassing van een mechanisme dat gebruikmaakt van wavelet-afgeleide structurele en detailcomponenten om direct locatie-specifieke involution kernels te leiden voor de classificatie van huidlaesies.
• Lichtgewicht Architectuur: WaveInvNet is een hiërarchische encoder van vier stadia die progressief frequentiebewuste en ruimtelijk adaptieve representaties leert met een laag aantal parameters.
• Uitgebreide Evaluatie: De studie biedt een verenigde vergelijking met gevestigde CNN-architecturen (EfficientNetB0, DenseNet121, ResNet50, ConvNeXt-Base, InceptionV3) en recente state-of-the-art benaderingen, waarbij prestaties, computationele efficiëntie en modelcomplexiteit worden geëvalueerd.

Resultaten
Geëvalueerd op de HAM10000 testset (70/10/20 split, gemiddeld over 5 runs), bereikte WaveInvNet:

• Accuracy: 93,63%
• AUC: 98,46%
• F1-Score: 94,81%
• Precision: 94,45%
• Recall: 95,20%

Het model vertoonde consistente prestaties met lage standaarddeviaties over de runs. Wat efficiëntie betreft, vereiste WaveInvNet slechts 2,54 miljoen trainbare parameters (10,16 MB aan gewichten), wat een reductie van ~42,6% betekent vergeleken met de kleinste baseline (EfficientNetB0) en een reductie van ~88,7% vergeleken met InceptionV3.

Een analyse van de confusion matrix toonde aan dat het model AKIEC, DF en VASC zonder fouten classificeerde. De primaire verwarring vond plaats tussen Melanoma (MEL) en Nevus (NV), en tussen Benign Keratosis-like lesions (BKL) en NV, wat consistent is met bekende diagnostische uitdagingen in de dermatologie.

Betekenis en Claims
Het artikel claimt dat WaveInvNet aantoont dat de combinatie van frequentiebewuste visuele verwerking (via wavelet-separatie) met ruimtelijk adaptieve aggregatie (via dynamische involution) en patiëntmetadata een nauwkeurige, parameterefficiënte multiclass classificatie van huidlaesies mogelijk maakt. De auteurs stellen dat hun aanpak bestaande deep learning baselines overtreft onder identieke experimentele omstandigheden, terwijl het een aanzienlijk kleiner modelvoetafdruk behoudt. Zij positioneren dit werk als een stap naar meer adaptieve en efficiënte diagnostische ondersteuningssystemen die de heterogeniteit van huidlaesies en de onbalans in klinische datasets kunnen aanpakken.

De auteurs merken op dat hoewel de resultaten veelbelovend zijn, toekomstig werk aanvullende datasets moet testen om de generalisatie over verschillende klinische condities te verifiëren, gestratificeerde k-fold cross-validatie moet verkennen, en de metadata-tak moet uitbreiden met andere klinische variabelen. Ze identificeren ook uitlegbaarheid en onzekerheidsinschatting als gebieden voor toekomstig onderzoek om klinische interpreteerbaarheid te verbeteren.