Segmentation of Gray Matters and White Matters from Brain MRI data

Probleemstelling

De nauwkeurige segmentatie van hersenweefsels, specifiek grijze stof (gray matter) en witte stof (white matter), is cruciaal voor het bestuderen van de hersenanatomie, het diagnosticeren van neurologische aandoeningen en het monitoren van ziekteprogressie. Traditionele methoden (zoals drempelwaarden, regio-groei en K-means) en zelfs geavanceerdere deep-learning-modellen zoals U-Net en nnU-Net vereisen vaak specifieke aanpassingen per taak en worstelen met diverse beeldvormingscondities. Hoewel foundation-modellen zoals MedSAM (gebaseerd op SAM) veelbelovend zijn voor binaire segmentatie (voorgrond vs. achtergrond), is hun toepassing op multi-class segmentatie (bijv. achtergrond, grijze stof, witte stof tegelijkertijd) nog onderbelicht. De uitdaging ligt in het aanpassen van deze modellen voor meerdere klassen zonder de pre-trained kennis te verliezen of de architectuur volledig opnieuw te moeten ontwerpen.

Methodologie

De auteurs stellen een aangepaste versie van het MedSAM-model voor, specifiek ontworpen voor multi-class segmentatie van hersen-MRI-beelden. De aanpak omvat de volgende stappen:

1. Voorverwerking (Preprocessing):

   • Schedelverwijdering (Skull Stripping): Gebruik van FSL BET om niet-hersenweefsel (zoals de schedel en huid) te verwijderen uit T1-gewogen MRI-volumes.
   • Weefselsegmentatie: Toepassing van FSL FAST op de geschedelde beelden om waarschijnlijkheidskaarten (probability maps) te genereren voor grijze stof, witte stof en cerebrospinaal vocht (CSF).
   • Dataset-conversie: De 3D-volumes worden omgezet naar 2D-slices in drie orthogonale vlakken: axiaal, sagittaal en coronaal. De waarschijnlijkheidskaarten van FAST worden gethresholded (drempelwaarde 0,5) en gecombineerd tot één multi-class masker met drie labels:
     • 0: Achtergrond (inclusief CSF)
     • 1: Grijze stof
     • 2: Witte stof
   • De dataset (IXI) bevat 581 scans van gezonde proefpersonen, verdeeld in trainings-, validatie- en testsets.

2. Architectuur-aanpassing:

   • De oorspronkelijke MedSAM-architectuur is ontworpen voor binaire segmentatie. De auteurs hebben de mask decoder aangepast om in plaats van één kanaal (binair) drie kanalen uit te voeren (voor de drie klassen).
   • De image encoder (ViT-B) is bevroren (frozen) om de algemene features van het pre-trained model te behouden en overfitting te voorkomen.
   • Alleen de prompt encoder en de aangepaste multi-class mask decoder zijn fine-tuned.

3. Training:

   • Er zijn aparte modellen getraind voor elk anatomisch vlak (axiaal, sagittaal, coronaal) en één unified model getraind op een gecombineerde dataset van alle drie de vlakken.
   • Gebruikt werd de AdamW-optimizer met een learning rate van 1e-4 en een gewogen cross-entropy loss om class-imbalance aan te pakken (de achtergrondklasse kreeg een lagere weight).
   • Training duurde 10 epochs met vroege stopzetting (early stopping) op basis van de validatie-verlies.

Belangrijkste Bijdragen

• Extensie van MedSAM naar Multi-class: Het artikel toont aan dat MedSAM effectief kan worden aangepast voor multi-class segmentatie met minimale architecturale wijzigingen (alleen de output-head aanpassen).
• Efficiënte Fine-tuning: Door de image encoder te bevriezen, wordt de rekenkracht en het geheugenverbruik geminimaliseerd, terwijl toch hoge prestaties worden behaald op een relatief kleine dataset.
• Analyse van Anatomische Oriëntatie: De studie vergelijkt systematisch de prestaties van modellen getraind op specifieke anatomische vlakken versus een unified model, wat inzicht geeft in hoe de oriëntatie van de slice de segmentatiekwaliteit beïnvloedt.
• Pseudo-Ground Truth Strategie: Het gebruik van FSL FAST-kaarten als pseudo-ground truth voor het trainen van een deep learning-model, wat een haalbare route biedt wanneer handmatige annotaties schaars zijn.

Resultaten

De modellen werden geëvalueerd op de Dice Similarity Coefficient (DSC) en Intersection over Union (IoU) op een testset van 1.000 willekeurig geselecteerde slices.

• Beste Prestaties: Het model getraind op coronale slices presteerde het beste met een Dice-score van 0,8751 en een IoU van 0,7935.
• Vergelijking Oriëntaties:
  • Coronaal: 0,8751 (Dice)
  • Sagittaal: 0,8604 (Dice)
  • Axiaal: 0,8440 (Dice)
• Unified Model: Het model getraind op alle drie de oriëntaties gecombineerd presteerde niet beter dan de specifieke oriëntatiemodellen. In sommige gevallen zelfs iets slechter. Dit suggereert dat het mengen van verschillende anatomische perspectieven de kenmerkextractie voor specifieke vlakken kan verdunnen.
• Kwalitatieve Analyse: De coronale slices vertoonden scherpere grenzen tussen grijze en witte stof. De probability heatmaps toonden aan dat modellen hoge zekerheid hebben in het centrum van de hersenen, maar meer onzekerheid vertonen bij randen (grenzen tussen weefsels).

Betekenis en Conclusie

Dit werk demonstreert dat foundation-modellen zoals MedSAM uitstekend geschikt zijn voor medische beeldsegmentatie, zelfs voor complexe multi-class taken, met minimale aanpassingen. De aanpak biedt een alternatief voor het van scratch trainen van modellen zoals U-Net, wat vooral waardevol is bij beperkte gelabelde data.

Beperkingen en Toekomst:

• De "ground truth" is gegenereerd door een ander model (FSL FAST) en niet door menselijke experts, wat betekent dat de resultaten de overeenkomst met FAST weergeven en niet noodzakelijk de absolute anatomische waarheid.
• De dataset is beperkt tot gezonde onderwerpen en T1-gewogen scans; pathologische gevallen (tumoren, laesies) zijn niet meegenomen.
• De studie is gebaseerd op 2D-slices; toekomstig werk zou moeten onderzoeken of 3D-uitbreidingen van MedSAM betere resultaten kunnen opleveren.

Samenvattend opent dit onderzoek de weg voor het gebruik van universele, aanpasbare segmentatiesystemen in klinische toepassingen, waarbij de kracht van foundation-modellen wordt benut om de drempel voor nauwkeurige hersenanalyse te verlagen.