Brain-SAM: A SAM-based Model Tailored for Brain MRI Lesion Segmentation

Technische Samenvatting van Brain-SAM

Probleemstelling
Magnetische resonantiebeeldvorming (MRI) is fundamenteel voor neuroimaging, maar nauwkeurige segmentatie van hersenstructuren en laesies blijft een uitdaging. Hoewel foundation models zoals het Segment Anything Model (SAM) en zijn opvolger SAM2 een opmerkelijke generaliseerbaarheid hebben getoond in natuurlijke afbeeldingen, stuit hun toepassing op hersen-MRI op aanzienlijke hindernissen. Bestaande medische aanpassingen (bijv. MedSAM, SAM-Med3D) zijn doorgaans getraind op datasets met gemengde organen die structuren bevatten zoals het hart, de lever en de longen. Deze modellen hebben moeite met het aanpassen aan de unieke anatomische kenmerken van de hersenen, zoals de complexe weefselorganisatie, de onduidelijke grenzen tussen grijze en witte stof, en zeer diverse morfologieën van laesies. Bovendien zetten de meeste SAM-gebaseerde aanpassingen 3D-volumetrische scans om in 2D-coupe-afsnijdingen, waardoor de ruimtelijke context over de coupes heen wordt genegeerd. Daarnaast beperkt de afhankelijkheid van handmatige interactieve prompts de schaalbaarheid, aangezien clinici moeite kunnen hebben met het geven van nauwkeurige prompts voor subtiele pathologieën zoals epileptische laesies. Ten slotte presteert de oorspronkelijke SAM mask-decoder, ontworpen voor 2D natuurlijke afbeeldingen met duidelijke randen, vaak suboptimaal op hersen-MRI-data die worden gekenmerkt door wazige randen en weefselheterogeniteit.

Methodologie
De auteurs stellen Brain-SAM voor, een model dat specifiek is afgestemd op 3D hersen-MRI laesiesegmentatie. De architectuur breidt het SAM2-framework uit met drie primaire modificaties:

1. 3D-adaptatie van de Image Encoder: De oorspronkelijke 2D Hiera-encoder (een hiërarchische Vision Transformer) is aangepast om 3D-volumetrische gegevens direct te verwerken. Dit omvat het uitbreiden van vier sleutelmodules:

   • Patch Embedding: Het vervangen van 2D-convoluties door 3D-convoluties om volumetrische inputs op te delen in voxel-patches.
   • Position Embedding: Uitbreiding van 2D naar 3D-representaties om ruimtelijke relaties over diepte, hoogte en breedte vast te leggen.
   • Token Sequence: Het afvlakken van 3D-volumes langs alle drie de dimensies om langere token-sequenties te creëren die geschikt zijn voor volumetrische aandacht.
   • Q-Pooling: Het vervangen van MaxPool2d door MaxPool3d om feature downsampling over diepte en ruimtelijke dimensies mogelijk te maken.

2. UNETR-geïnspireerde Decoder: Om de beperkingen van de oorspronkelijke SAM-decoder bij het verwerken van fijnmazige lokale texturen en randdetails aan te pakken, introduceren de auteurs een decoder die geïnspireerd is door UNETR. Deze component integreert het globale modelleringsvermogen van Transformers met de lokale fijnmazige representatie van CNN's via multi-scale feature fusie. In tegen tegenstelling tot standaard UNETR-decoders die resolutie-transformaties vereisen, maakt dit ontwerp gebruik van de inherente hiërarchische features van de Hiera-encoder voor directe fusie en progressieve upsampling. De architectuur ondersteunt een dual-head output: één voor volledig automatische segmentatie en een andere voor het genereren van intermediaire features voor prompt-gebaseerde segmentatie.

3. Trainings- en Fine-tuning Strategie:

   • Pretraining: Het model wordt geïnitialiseerd met SAM2-gewichten en ondergaat een pretraining-fase op de BraTS2021 dataset (1.000 gevallen, 4 modaliteiten) uitsluitend voor automatische segmentatie om robuuste medische representaties te vestigen.
   • Adapter-gebaseerde Fine-tuning: Om zich aan te passen aan meerdere hersen-laesiedatasets (tumoren, beroerte, epilepsie) terwijl catastrofale vergetelheid wordt voorkomen, worden lichtgewicht adapter-modules (bottleneck architectuur met 3D-convoluties) ingevoegd vóór elke Hiera-block. Tijdens de fine-tuning blijft de backbone bevroren en worden alleen de gedeelde adapter-parameters bijgewerkt.
   • Prompt Mechanisme: Point-prompts worden gebruikt als de primaire interactiemethode, uitgebreid naar 3D. De mask-generatiestrategie is gewijzigd: in plaats van geüpdatete keys te gebruiken in de dot-product operatie, fuseert het ontwerp verwerkte queries met intermediaire feature-representaties van de UNETR-geïnspireerde decoder.
   • Verfijning: Een post-processing verfijningsmechanisme gebruikt gebruikersclicks om de mask-waarschijnlijkheden lokaal aan te passen via 3D Gaussische kernels.

Belangrijkste Bijdragen

1. 3D-extensie van SAM2: Dit werk slaagt erin het SAM2-framework uit te breiden van 2D natuurlijke afbeeldingen naar 3D medische beeldanalyse, wat directe volumetrische verwerking mogelijk maakt zonder slice-by-slice benadering.
2. Hybride Decoder Architectuur: De introductie van een UNETR-geïnspireerde decoder stelt het model in staat om zowel automatische als interactieve segmentatie binnen een verenigde architectuur te ondersteunen, waarbij zowel lokale fijnmazige details als globale contextuele afhankelijkheden effectief worden vastgelegd.
3. Omvattende Dataset Curatie: De auteurs hebben een grootschalige dataset samengesteld die hersentumoren, beroertes en epilepsie beslaat, waardoor het model een breed scala aan klinische toepassingen kan ondersteunen.

Resultaten
Uitgebreide experimenten werden uitgevoerd op zeven publieke datasets (BraTS-PED, BraTS-SSA, BraTS-MET, BraTS-MEN, ISLES2022, ATLAS v2.0, OPMRI) die zes MRI-modaliteiten beslaan. Brain-SAM werd vergeleken met taakspecifieke modellen (nnU-Net, UNETR, Swin UNETR) en foundation models (SAM-Med3D, VISTA3D).

• Algemene Prestaties: Brain-SAM behaalde superieure Dice-scores en lagere 95% Hausdorff-afstanden (HD95) vergeleken met alle baselines. Specifiek behaalde het vergeleken met nnU-Net Dice-verbeteringen van 22% op epileptische laesies, 9% op hersenmetastasen en 6% op meningiomen.
• Segmentatie van Kleine Laesies: Het model toonde significante voordelen bij het segmenteren van kleine laesies (bijv. epilepsie), waarbij het 15%–18% hogere Dice-scores behaalde dan sterke baseline-modellen. Het behield een betere balans tussen recall en precisie voor kleine targets (<5.000 voxels) vergeleken met andere methoden.
• Ablatie-studies:
  • Het vervangen van de 3D-ViT backbone door 3D-Hiera verbeterde de Dice-scores met wel 14% voor kleine laesies en verminderde de HD95 aanzienlijk.
  • Het integreren van de UNETR-geïnspireerde decoder verhoogde de gemiddelde Dice-score met 8% vergeleken met de versie zonder deze decoder.
  • De adapter-gebaseerde fine-tuning strategie bleek zeer parameter-efficiënt (39,4M aan regelbare parameters versus 72,02M voor volledige fine-tuning) terwijl het prestaties bereikte die vergelijkbaar zijn met volledige fine-tuning.

Betekenis en Claims
Het artikel beweert dat Brain-SAM een robuust voorgetraind model biedt voor downstream hersen-MRI analyse-taken. Door de specifieke anatomische en structurele uitdagingen van hersenweefsel aan te pakken — zoals onduidelijke grenzen en kleine laesiegroottes — biedt het een betrouwbaardere en nauwkeurigere segmentatie dan bestaande generalistische foundation models. De auteurs stellen dat deze capaciteit kan bijdragen aan een betere klinische besluitvorming, met name bij de vroege diagnose en behandeling van aandoeningen zoals epilepsie en hersentumoren. Het vermogen van het model om zowel in automatische als in prompt-gestuurde modi te functioneren, heeft als doel de handmatige annotatielast te verminderen terwijl de hoge nauwkeurigheid behouden blijft. De auteurs merken op dat de huidige studie beperkt is tot single-modality data en suggereren dat toekomstig werk multi-modality integratie kan verkennen om de karakterisering van laesies verder te verbeteren.