RobustMedSAM: Degradation-Resilient Medical Image Segmentation via Robust Foundation Model Adaptation

1. Het Probleem

Medische beeldsegmentatiemodellen die zijn gebaseerd op de Segment Anything Model (SAM) architectuur, presteren uitstekend op schone, onbeschadigde benchmarks. In de klinische praktijk echter, waar beelden vaak lijden onder ruis, wazigheid, bewegingsartefacten en modality-specifieke vervormingen (zoals Rician-ruis in MRI of speckle-ruis in echografie), neemt de betrouwbaarheid van deze modellen drastisch af.

Bestaande oplossingen adresseren meestal slechts één van de volgende twee aspecten, maar niet beide tegelijkertijd:

• Medische domeinaanpassing: Modellen zoals MedSAM zijn getraind op medische data en begrijpen anatomische structuren goed, maar zijn kwetsbaar voor beelddegradatie.
• Robuustheid tegen corruptie: Modellen zoals RobustSAM zijn ontworpen om bestand te zijn tegen beschadigingen, maar zijn getraind op natuurlijke beelden en missen de specifieke medische priors (voorafgaande kennis).

Er is dus een urgent behoefte aan een framework dat zowel medische domeinkennis behoudt als robuust is tegen realistische beelddegradaties.

2. Methodologie: RobustMedSAM

De auteurs stellen RobustMedSAM voor, een framework dat gebaseerd is op de observatie dat medische priors en robuustheid tegen degradatie voornamelijk in verschillende modules van de SAM-architectuur zijn geconcentreerd:

• De beeldencoder (Image Encoder) bevat de medische priors.
• De mask-decoder (Mask Decoder) bepaalt de robuustheid tegen corrupties.

In plaats van een nieuw model van nul af te trainen, gebruiken de auteurs een strategie van module-wise checkpoint fusion (modulaire fusie van checkpoints):

1. Hybride Initialisatie:

   • De Image Encoder en Prompt Encoder worden geïnitieerd vanuit MedSAM (om medische anatomische representaties te behouden).
   • De Mask Decoder wordt geïnitieerd vanuit RobustSAM (om robuustheid tegen corrupties te inhereren).
   • Beide modellen delen dezelfde ViT-B (Vision Transformer) architectuur, wat de fusie mogelijk maakt.

2. Trainingstrategie:

   • De encoder en prompt encoder worden bevroren (frozen) om de medische representaties intact te houden.
   • Alleen de mask decoder wordt gefinetuned.
   • Training Data: Het model wordt getraind op 35 medische datasets uit MedSegBench, die zes beeldmodi en 12 soorten corrupties omvatten.
   • Clean-Degraded Pair Training: Voor elk voorbeeld wordt een schoon beeld ($x_c$) en een gereduceerd/vervormd beeld ($x_d$) gegenereerd. Beide worden door dezelfde encoder gestuurd. De decoder leert om consistente maskers te produceren voor beide, waarbij de supervisie (verliesfunctie) specifiek op de gereduceerde tak wordt toegepast om robuustheid te optimaliseren.
   • Verliesfuncties: Het totale verlies bestaat uit segmentatieverlies (Dice + Focal) op de gereduceerde tak, gecombineerd met consistentieverlies (MSE) voor mask-features en tokens tussen de schone en gereduceerde takken.

3. Optionele SVD-Adaptatie:

   • Voor het geval de encoder toch enige aanpassing nodig heeft, onderzoeken de auteurs een parameter-efficiënte variant gebaseerd op Singular Value Decomposition (SVD). Hierbij worden alleen de singuliere waarden ($\Sigma$) van de convolutieweegs aangepast, terwijl de orthogonale bases ($U$ en $V$) van MedSAM worden behouden.

3. Belangrijkste Bijdragen

• Module-wise Fusie: Het aantonen dat het initialiseren van de encoder van een medisch aangepast model en de decoder van een robuust model een effectieve manier is om domeinaanpassing en corruptierobuustheid te combineren.
• Decoder-only Finetuning: Het bewijs dat het finetunen van alleen de decoder (met clean-degraded consistentie) voldoende is om robuustheid te bereiken zonder de prestaties op schone beelden te verliezen.
• Uitgebreide Evaluatie: Een grondige analyse over 35 datasets, 6 beeldmodi (zoals MRI, CT, Echografie) en 12 degradatietypes, inclusief out-of-distribution (OOD) tests.
• Analyse van Trade-offs: Het in kaart brengen van wanneer deze fusie werkt (bijv. punt-prompting, medische specifieke ruis) en waar de beperkingen liggen (bijv. topologie-gevoelige structuren zoals dunne bloedvaten).

4. Resultaten

De experimenten tonen aan dat RobustMedSAM aanzienlijk beter presteert dan de bestaande baselines:

• Prestaties op Gereduceerde Beelden: Op MedSegBench steeg de gemiddelde Dice-score voor gereduceerde beelden van 0.613 (SAM) naar 0.719 voor RobustMedSAM (+0.106 verbetering).
• Vergelijking met Baselines:
  • Het verslaat MedSAM aanzienlijk onder punt-prompting (waar MedSAM vaak faalt met een score van ~0.20).
  • Het verslaat RobustSAM doordat het de medische priors van MedSAM behoudt.
• Clean vs. Degraded Trade-off: RobustMedSAM behoudt de prestaties op schone beelden (vergelijkbaar met SAM), terwijl het de robuustheid verbetert. De SVD-variant (+SVD) toonde een ongunstige trade-off: het verbeterde de robuustheid niet significant, maar verlaagde wel de prestaties op schone beelden.
• Out-of-Distribution (OOD): Het model toont verbeteringen op de meeste OOD-datasets, hoewel de winst beperkt blijft bij zeer dunne structuren (zoals in CHASE DB1 en DCA1) waar topologie-gevoeligheid cruciaal is.
• Prompt Sensitiviteit: RobustMedSAM is minder gevoelig voor het type prompt (punt vs. doos) dan MedSAM en bereikt met slechts 3 punten een prestatieniveau dat vergelijkbaar is met doos-prompting.

5. Betekenis en Conclusie

RobustMedSAM biedt een praktische en effectieve oplossing voor een groot probleem in de medische beeldanalyse: het gebrek aan betrouwbaarheid onder realistische, imperfecte omstandigheden.

De kerninzicht van het werk is dat gestructureerde fusie van complementaire vooraf getrainde modellen (in plaats van het opnieuw trainen van een heel netwerk) een krachtige methode is. Door de sterke punten van MedSAM (anatomische kennis) en RobustSAM (resistentie tegen ruis) te combineren via modulaire initialisatie, creëren de auteurs een model dat zowel klinisch relevant (door medische kennis) als robuust (door degradatie-resistentie) is.

De studie benadrukt dat voor de meeste medische toepassingen het behoud van de encoder (voor domeinkennis) en het aanpassen van de decoder (voor robuustheid) de optimale strategie is, zonder de noodzaak van zware, volledige hertraining of het introduceren van ongewenste trade-offs tussen schone en vervormde beeldprestaties.