HMSViT: A Hierarchical Masked Self-Supervised Vision Transformer for Corneal Nerve Segmentation and Diabetic Neuropathy Diagnosis

Deze paper introduceert HMSViT, een hiërarchische Vision Transformer met zelftoezichtend leren die door middel van geavanceerde multi-scale feature-extractie en een blok-gemaskerde trainingssessie de segmentatie van hoornvlieszenuwen en de diagnose van diabetische neuropathie aanzienlijk verbetert ten opzichte van bestaande methoden.

De kern

HMSViT: De Slimme Digitale Oogarts voor Diabetici

Stel je voor dat je lichaam een enorme stad is. Bij diabetes kan de "elektriciteit" in deze stad, oftewel je zenuwen, langzaam gaan uitvallen. Dit heet diabetische neuropathie. Vaak merk je dit pas als het te laat is, wanneer je al pijn hebt of je tenen gevoelloos zijn.

Gelukkig is er een manier om dit vroegtijdig te zien: de hoornvliesmicroscopie. Dit is een pijnloze foto van je oog, waar je de zenuwtjes in je hoornvlies kunt zien. Deze zenuwtjes zijn als de "draadjes" van de stad. Als ze dunner worden of verdwijnen, weet je dat er iets mis is met je diabetes.

Het probleem? Mensen moeten deze foto's met de hand bekijken en de zenuwtjes natrekken. Dat is saai, tijdrovend en elke arts kijkt er anders naar.

Hier komt HMSViT om de hoek kijken. Het is een slim computerprogramma dat deze taak overneemt. Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Zoom-in en Zoom-out" Strategie (Hiërarchisch Ontwerp)

Stel je voor dat je een landschapsfoto bekijkt.

• Een gewone camera kijkt alleen naar één klein stukje (een zenuwtje) of alleen naar het hele plaatje (de structuur), maar niet goed naar beide tegelijk.
• HMSViT doet het anders. Het kijkt eerst heel dichtbij, alsof je door een loep kijkt om de dunne draadjes te zien. Vervolgens zoomt het langzaam uit, alsof je op een helikopter stapt, om het grote geheel te zien.
• Door deze "zoom-in en zoom-out" techniek (in het vakjargon hiërarchisch multi-scale ontwerp) ziet het programma zowel de kleine details als het grote plaatje tegelijk. Hierdoor mist het geen enkele zenuw.

2. De "Verborgen Puzzel" (Zelflerend)

Normaal gesproken moet je een computerprogramma duizenden foto's geven met de antwoorden erop (bijvoorbeeld: "dit is een zenuw, dit is niet"). Maar in de medische wereld zijn die "antwoorden" (handgetekende foto's) zeldzaam en duur.

HMSViT gebruikt een slimme truc, zoals een kind dat een puzzel leert oplossen zonder dat iemand het antwoord vertelt:

• Het programma krijgt een foto van een oog, maar 75% van de foto wordt zwart geverfd (verdoezeld).
• De computer moet nu proberen de ontbrekende stukjes te raden op basis van wat er nog wel zichtbaar is.
• Door duizenden foto's op deze manier te "puzzelen", leert het programma vanzelf hoe zenuwen eruitzien, zonder dat iemand ze hoeft te labelen. Dit noemen we zelflerend leren (self-supervised learning). Het wordt zo slim dat het zelfs de dunste, moeilijkste zenuwtjes herkent.

3. De Efficiënte Werknemer (Snel en Lichtgewicht)

Veel slimme computerprogramma's zijn als een olifant: ze zijn sterk, maar ze hebben een enorme hoeveelheid energie (rekenkracht) nodig en zijn traag.

• HMSViT is als een wandelende antilope: snel, wendbaar en energiezuinig.
• Het gebruikt minder "hersencellen" (rekenparameters) dan de concurrenten, maar presteert beter. Het kan een diagnose stellen in een flits, wat cruciaal is als je dit in een drukke huisartsenpraktijk wilt gebruiken.

Wat levert het op?

In tests heeft HMSViT bewezen dat het:

1. Beter is dan de concurrenten: Het ziet de zenuwen nauwkeuriger dan andere geavanceerde modellen (zoals Swin Transformer).
2. Betrouwbare diagnoses geeft: Het kan met 85,6% zekerheid zeggen of een patiënt diabetes heeft met zenuwbeschadiging of niet.
3. Klaar is voor de praktijk: Omdat het zo snel en efficiënt is, kan het straks helpen bij het screenen van duizenden patiënten, zodat artsen eerder kunnen ingrijpen en zenuwbeschadiging kunnen voorkomen.

Kortom: HMSViT is een slimme, snelle en zelflerende digitale assistent die door middel van een "puzzeltruc" en een slimme zoomfunctie de zenuwen in je oog scant. Het helpt artsen om diabetes-complicaties vroegtijdig te zien, voordat het te laat is.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "HMSViT: A Hierarchical Masked Self-Supervised Vision Transformer for Efficient and Robust Corneal Nerve Segmentation and Diabetic Neuropathy Diagnosis", gepubliceerd in het IEEE Journal of Biomedical and Health Informatics.

1. Het Probleem

Diabetische periferische neuropathie (DPN) is een veelvoorkomende en invaliderende complicatie van diabetes die vroeg en nauwkeurig moet worden gedetecteerd. Corneaal confocaal microscopie (CCM) biedt een niet-invasieve diagnostische methode door zenuwvezels in het hoornvlies af te beelden. Echter, de automatische analyse van CCM-afbeeldingen staat voor twee grote uitdagingen:

• Efficiëntie en Feature Extractie: Traditionele Convolutionele Neural Networks (CNNs) hebben beperkte lokale receptieve velden en kunnen lange-afstandsafhankelijkheden en globale structurele variaties in complexe zenuwvezels moeilijk modelleren. Vision Transformers (ViTs) lossen dit op met self-attention, maar standaard ViTs verliezen ruimtelijke resolutie door patch-based verwerking en vereisen enorme hoeveelheden gelabelde data, wat zeldzaam is in de medische wereld.
• Data Schaarste: Het ontbreken van uitgebreide, handmatig geannoteerde datasets beperkt de prestaties van volledig toezicht (supervised) leermodellen. Bestaande hiërarchische ViT-modellen (zoals Swin Transformer) zijn vaak complex, rekenkundig zwaar en afhankelijk van handgemaakte modules (zoals verschoven vensters) die de flexibiliteit en efficiëntie verminderen.

2. Methodologie: HMSViT

De auteurs stellen HMSViT (Hierarchical Masked Self-Supervised Vision Transformer) voor, een architectuur die specifiek is ontworpen voor medische beeldanalyse van CCM-afbeeldingen. De methode bestaat uit drie kerncomponenten:

• Hiërarchische Multi-Scale Feature Extractie:

  • In plaats van complexe modules zoals verschoven vensters of convoluties, gebruikt HMSViT een pooling-gebaseerde hiërarchische architectuur.
  • Het proces start met hoge resolutie (kleine patches van 4x4) om fijne details vast te leggen en vermindert geleidelijk de ruimtelijke resolutie via max-pooling (in plaats van convolutie of gemiddelde pooling) om dominante zenuwsignalen te behouden en ruis te onderdrukken.
  • Dual-Attention Mechanisme:
    • In vroege lagen (hoge resolutie) wordt lokale attention toegepast binnen blokken van tokens om de rekenkosten te beperken ($O(L^2)$ complexiteit te vermijden).
    • In diepere lagen (lagere resolutie) schakelt het model over naar globale attention om lange-afstandsafhankelijkheden en semantische context te vangen.
  • Het model maakt gebruik van absolute positionele encoding op blok-niveau om ruimtelijke relaties te behouden zonder de overhead van relatieve encoding.

• Block-Masked Self-Supervised Learning (SSL):

  • Om de afhankelijkheid van gelabelde data te verminderen, wordt een zelftoezichtsstrategie gebruikt die is gebaseerd op Masked Autoencoders (MAE).
  • In tegenstelling tot het maskeren van individuele patches, worden patches gegroepeerd in blokken van 16x16 pixels (4x4 patches). Deze blokken worden willekeurig gemaskeerd (75% masking ratio).
  • Het model traint om de gemaskeerde blokken te reconstrueren op basis van de zichtbare context. Dit dwingt het model om robuuste ruimtelijke relaties en hogere niveau structuren te leren in plaats van alleen lage niveau texturen.

• Multi-Scale Decoder:

  • Voor downstream taken (segmentatie en classificatie) worden de hiërarchische features uit verschillende stadia gefuseerd.
  • Voor segmentatie worden features geüpgesampled en samengevoegd om een nauwkeurige kaart van de zenuwvezels te genereren.
  • Voor diagnose (classificatie) wordt de globale feature van het laatste stadium gebruikt door een MLP voor patiëntdiagnose.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: HMSViT introduceert een hiërarchische Vision Transformer die specifiek is ontworpen voor medische beeldanalyse, met een unieke combinatie van dual-attention en pooling-based token aggregatie.
2. Innovatieve SSL-strategie: Een nieuw "block-masked" zelftoezichtssysteem dat is afgestemd op hiërarchische ViTs, wat robuuste feature-representaties mogelijk maakt vanuit ongelabelde data en de noodzaak van uitgebreide annotaties vermindert.
3. Superieure Prestaties met Lagere Kosten: Het model bereikt state-of-the-art resultaten op klinische datasets, superieur aan leidende modellen zoals Swin Transformer en HiViT, maar gebruikt tot 41% minder parameters en biedt een snellere inferentie.

4. Resultaten

De prestaties zijn geëvalueerd op klinische CCM-datasets (318 deelnemers) met patiënt-niveau 5-voudige kruisvalidatie:

• Diagnostische Accuratie: HMSViT (Base configuratie) bereikte een patiënt-niveau diagnostische nauwkeurigheid van 85,6% voor DPN-detectie. Dit is een verbetering van 2,3% tot 3,8% ten opzichte van Swin Transformer en HiViT.
• Segmentatie Prestaties: Het model behaalde een mean Intersection over Union (mIoU) van 61,34% voor de segmentatie van corneaal zenuwvezels, een verbetering van 2,45% tot 3,04% ten opzichte van de concurrenten.
• Efficiëntie: HMSViT Base heeft slechts 52 miljoen parameters, vergeleken met 88 miljoen bij Swin Base en 67 miljoen bij HiViT Base.
• Klinische Biomerkers: Het model toonde superieure precisie bij het kwantificeren van klinisch relevante parameters zoals Corneal Nerve Fiber Length (CNFL) en Branch Density (CNBD), met de laagste Root Mean Square Error (RMSE).
• Ablatie Studies: Studies bevestigden dat de combinatie van het hiërarchische ontwerp en de block-masked pretraining essentieel is voor de optimale prestaties. Zelftoezicht (SSL) leverde consistent betere resultaten op dan puur toezicht (supervised) training.

5. Betekenis en Impact

De HMSViT-methodiek biedt een oplossing voor de kritieke uitdagingen in de automatische analyse van medische beelden:

• Overcoming Data Scarcity: Door effectief gebruik te maken van zelftoezicht (SSL) op ongelabelde data, maakt het model de toepassing van geavanceerde deep learning mogelijk in klinische settings waar gelabelde data schaars en duur is.
• Efficiëntie voor Klinische Implementatie: De lage parametercount en snelle inferentie maken het model zeer geschikt voor schaalbare klinische implementatie, zelfs op apparatuur met beperkte rekenkracht.
• Verbeterde Diagnose: De hoge nauwkeurigheid in zowel segmentatie als classificatie kan bijdragen aan vroegtijdige detectie van DPN, wat essentieel is om ernstige complicaties zoals amputaties te voorkomen.
• Nieuwe Richting: Het artikel toont aan dat het combineren van hiërarchische structuren met block-level masked learning een veelbelovende route is voor toekomstige medische AI-modellen, zonder de complexiteit van traditionele hiërarchische ViTs.

Kortom, HMSViT vertegenwoordigt een significante stap voorwaarts in de automatisering van de diagnose van diabetische neuropathie, door een evenwicht te vinden tussen hoge nauwkeurigheid, rekenkundige efficiëntie en de mogelijkheid om te leren met beperkte gelabelde data.