Technische Samenvatting: MIS-HCC voor Efficiënte Medische Beeldsegmentatie

Probleemstelling

De implementatie van complexe diepe neurale netwerken (bijv. U-Net, Transformers) voor medische beeldsegmentatie staat voor een kritieke flessenhals: de afweging tussen hoge nauwkeurigheid en de computationele/parameterbeperkingen van middelenarme medische platforms (bijv. mobiele apparaten, edge-nodes). Hoewel bestaande modelcompressietechnieken zoals netwerkpruning, kwantisatie en kennisdistillatie bestaan, schieten ze vaak tekort in het adresseren van de specifieke kenmerken van medische beelden.

Huidige gestructureerde pruning-methoden (bijv. HRank, CHEX) evalueren netwerkunits doorgaans in isolatie, waarbij ze de intrinsieke inter-kanaalcorrelaties en de hoge feature-gelijkenis geïnduceerd door anatomische structuren over het hoofd zien. Bijgevolg riskeren deze methoden essentiële fijnmazige semantiek te verwijderen door simpelweg "redundante" filters te wissen, in plaats van de collectieve representatieve kracht van gecorreleerde features te behouden. Er is behoefte aan een compressiekader dat representatie-gelijkenis integreert om gecorreleerde features te fuseren in plaats van ze enkel te elimineren.

Methodologie: MIS-HCC

De auteurs stellen MIS-HCC (Hierarchical Channel Clustering for Efficient Medical Image Segmentation) voor, een gestructureerd compressiekader dat ontworpen is om binaire "houden-of-verwijderen"-beslissingen te vervangen door intelligente parametervisie. De methode werkt in drie primaire stadia:

1. Representatie-gelijkenis via Wasserstein-afstand:
   In plaats van standaardmetrieken zoals cosinus-gelijkenis op ruwe vectoren te gebruiken, hanteert MIS-HCC de Wasserstein-afstand om de gelijkenis tussen kanaaldistributies binnen een getrainde netwerklaag te kwantificeren. Deze metriek is gekozen vanwege het vermogen om distributieverschillen te vangen en de robuustheid tegen lokale massaverplaatsingen, wat het geschikt maakt voor kanaalfeatures geaggregeerd over ruimtelijke, temporele of kerneldimensies.

   • Voor een laag met $N_{in}$ inputkanalen wordt de gewichtstensor platgeslagen tot een kanaal-featurematrix.
   • Een paargewijze kanaalafstandmatrix wordt berekend met behulp van de Wasserstein-afstand.
   • Deze afstandmatrix wordt genormaliseerd en omgezet in een gelijkenismatrix ($M_2$), waarbij hogere waarden grotere gelijkenis aangeven.

2. Hiërarchische Clustering:
   Om de onderlinge afhankelijkheid van kanalen te rekening te houden, past de methode agglomeratieve hiërarchische clustering toe met Average Linkage op de afgeleide gelijkenismatrix.

   • Kanalen worden initieel behandeld als individuele clusters.
   • Het algoritme voegt iteratief clusters samen op basis van de gemiddelde afstand tussen hun leden.
   • Dit proces partitioneert de $N_{in}$ inputkanalen in $K$ clusters ($K \leq N_{in}$), bepaald door een gewenste compressieratio of een dendrogram-snijdrempel. Deze aanpak zorgt ervoor dat functioneel overlappende kanalen worden gegroepeerd.

3. Parametervisie (Parameter Fusion):
   Zodra de kanalen zijn geclusterd, fuseert de methode de parameters binnen elk cluster om een compact netwerk te creëren.

   • Voor elk cluster $c$ met indexverzameling $I_c$ worden de gewichten gefuseerd door middel van rekenkundig gemiddelde langs de input-kanaaldimensie.
   • Dit resulteert in een nieuwe gewichtstensor met $K$ inputkanalen, wat het modelformaat en de FLOPs effectief vermindert met een factor $K/N_{in}$.
   • Cruciaal is dat deze fusie een closed-form, training-vrije operatie is die de oorspronkelijke netwerktopologie behoudt, wat compatibiliteit met algemene hardware garandeert en de noodzaak voor gespecialiseerde inferentie-kernels of hertraining voorkomt.

Het kader is ontworpen om toepasbaar te zijn op zowel CNN- als Transformer-backbones voor 2D- en 3D-data.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. MIS-HCC Framework: Een gestructureerde compressiemethode die hiërarchische clustering introduceert bij medische modelpruning, waarmee de verschuiving wordt gemaakt van eenvoudige filterverwijdering naar intelligente parametervisie.
2. Wasserstein-gebaseerde Gelijkenis: Het gebruik van de Wasserstein-afstand om een robuuste kanaal-gelijkenismatrix te construeren, waarbij de inter-kanaalcorrelaties expliciet worden gemodelleerd om kritieke visuele kenmerken tijdens compressie te behouden.
3. Empirische Validatie: Uitgebreide experimenten op meerdere medische segmentatiebenchmarks tonen aan dat MIS-HCC superieure compressie-nauwkeurigheid-afwegingen bereikt vergeleken met state-of-the-art pruning-methoden.

Experimentele Resultaten

De methode werd geëvalueerd op drie 2D-datasets (BUSI, DSB, ISIC) met behulp van U-Net en U-Net++ backbones, en één 3D-dataset (FLARE 2021) met de MedSAM2 backbone. Een uniforme pruning-rate van 87,5% werd toegepast voor vergelijking.

• 2D Segmentatie: Op de BUSI-, DSB- en ISIC-datasets presteerde MIS-HCC beter dan bestaande methoden (RP, PFEC, HRank, CHEX, TPP) in zowel Dice- als IoU-scores. Opvallend genoeg, terwijl andere methoden vaak een daling in nauwkeurigheid vertoonden ten opzichte van de baseline, bereikte MIS-HCC frequent scores die iets hoger waren dan de ongecomprimeerde baseline of bijna verliesloze prestaties behielden. Zo behaalde MIS-HCC op de BUSI-dataset met U-Net een Dice-score van 0,7841 vergeleken met 0,7781 voor de op één na beste methode (TPP).
• 3D Segmentatie: Op de FLARE 2021-dataset met MedSAM2 presteerde MIS-HCC aanzienlijk beter dan andere strategieën. Terwijl random pruning (RP) een daling van 10,35% in Dice veroorzaakte en TPP een daling van 1,61%, verminderde MIS-HCC de Dice-score met slechts 0,14% (0,8471 vs. 0,8483 baseline).
• Compressie-efficiëntie: Bij hoge pruning-rates (87,5%) demonstreerde MIS-HCC een superieure reductie in FLOPs en parameters vergeleken met TPP, terwijl een hogere nauwkeurigheid werd behouden.
• Ablatie-studies: Experimenten bevestigden dat het combineren van de Wasserstein-afstand met hiërarchische clustering de beste prestaties oplevert, waarbij het varianten overtreft die slechts één van deze componenten gebruiken of standaardmetrieken zoals cosinus-gelijkenis.
• Visuele Analyse: Kwalitatieve resultaten toonden aan dat MIS-HCC segmentatiekaarten produceerde met scherpere laesiecontouren en een betere preservatie van fijne details vergeleken met andere methoden, die vaak wazige randen of fout-positieven vertoonden.

Betekenis en Claims

Het artikel beweert dat MIS-HCC een effectieve oplossing biedt voor de implementatie van medische beeldsegmentatiemodellen op middelenarme platforms. Door gebruik te maken van de intrinsieke structurele gelijkenissen die veel voorkomen in medische beeldvorming, slaagt de methode erin om de balans te vinden tussen modelcompressie en het behoud van kritieke representatieve kracht.

De auteurs stellen dat hun aanpak bijzonder effectief is voor grootschalige 3D-segmentatietaken waar de diversiteit aan features cruciaal is. Zij positioneren MIS-HCC als een robuust en generaliseerbaar kader dat toepasbaar is op diverse architecturen (CNN's en Transformers) en datamodaliteiten (2D en 3D), wat een veelbelovend pad biedt voor praktische klinische implementatie zonder de zware computationele lasten van de huidige state-of-the-art modellen. Het werk concludeert door te suggereren dat deze principes kunnen worden uitgebreid naar andere real-world scenario's om de efficiëntie van modellen verder te verbeteren.