💻 computer science

DiffuSAM: Diffusion-Based Prompt-Free SAM2 for Few-Shot and Source-Free Medical Image Segmentation

DiffuSAM is een promptvrij raamwerk voor medische beeldsegmentatie dat SAM2 aanpast door maskerachtige embeddingen te synthetiseren via een lichtgewicht diffusieprior die is geconditioneerd op ruimtelijke consistentie, waardoor effectieve few-shot en bronvrije domeinaanpassing mogelijk wordt zonder dat gebruikersprompts of uitgebreide fijnafstemming vereist zijn.

Oorspronkelijke auteurs: Tal Grossman, Noa Cahan, Lev Ayzenberg, Hayit Greenspan

Gepubliceerd 2026-04-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Tal Grossman, Noa Cahan, Lev Ayzenberg, Hayit Greenspan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Slimme maar Onwetende" Robot

Stel je hebt een super-intelligente robot genaamd SAM2. Deze robot is getraind op miljoenen foto's van katten, honden en auto's. Het is geweldig in het bekijken van een afbeelding en zeggen: "Dat is een hond!" of "Dat is een auto!", gewoon door je vinger erop te wijzen (een "prompt").

Echter, wanneer je deze robot een röntgenfoto of MRI-scan laat zien, raakt hij in de war. Medische beelden zien er heel anders uit dan foto's van huisdieren; ze zijn grijswaarden, hebben verschillende texturen en tonen inwendige organen in plaats van vacht.

Het Probleem: Om SAM2 te laten werken op medische scans, moeten artsen meestal veel tijd en geld investeren om het te "hertrainen", en moeten ze nog steeds handmatig op elk enkel orgaan wijzen zodat de robot begrijpt wat hij moet uitsnijden. Dit is traag en vereist dat een mens constant boven het scherm zweeft.

De Oplossing: DiffuSAM (De "Magische Vertaler")

De auteurs hebben een nieuw systeem ontwikkeld dat DiffuSAM heet. Denk hierbij aan een gespecialiseerde vertaler die tussen het ruwe medische beeld en de robot (SAM2) zit.

In plaats van een mens te vragen om op de lever of de nieren te wijzen, doet DiffuSAM het zware werk. Het kijkt naar het medische beeld en verbeeldt wat de "instructie" zou moeten zijn, en voert die instructie vervolgens door aan SAM2.

Hier is hoe het werkt, stap voor stap:

1. Het "Raadselspel" (Diffusie)

De kern van DiffuSAM is een Diffusiemodel.

De Analogie: Stel je een wazig, statische TV-scherm voor (pure ruis). Een kundig kunstenaar (het Diffusiemodel) verwijdert langzaam de ruis, laag voor laag, totdat een helder beeld verschijnt.
In het Paper: Het systeem begint met willekeurige ruis. Het gebruikt het medische beeld als "gids" om die ruis langzaam op te schonen totdat het een perfecte digitale instructiekaart vormt (een "memory embedding" genoemd). Deze kaart vertelt SAM2 precies waar de organen zijn, zonder dat een mens ooit het scherm aanraakt.

2. Het "Bevroren Brein" (SAM2)

De auteurs hebben de hele robot (SAM2) niet opnieuw geleerd hoe hij moet zien. Dat zou zijn alsof je een volwassene opnieuw leert lezen vanaf nul.

De Analogie: Ze hebben SAM2's brein bevroren (vergrendeld in zijn oorspronkelijke staat). Ze hebben alleen de "vertaler" (het Diffusiemodel) getraind om SAM2's taal te spreken.
Het Resultaat: De vertaler neemt het medische beeld, creëert de "instructiekaart" en geeft die door aan de bevroren SAM2. SAM2 tekent vervolgens direct de omtrek van de organen.

3. De "3D-puzzel" (Volumetrische Consistentie)

Medische scans zijn niet gewoon afzonderlijke plaatjes; het zijn stapels van plakken (zoals een brood). Als je een brood in plakken snijdt, zou de vorm van het brood in plak #5 er heel erg op moeten lijken als plak #4 en plak #6.

De Analogie: Als je een 3D-voorwerp op papier tekent, wil je niet dat je tekening van de bovenste plak eruitziet als een cirkel, terwijl de plak eronder eruitziet als een vierkant.
In het Paper: DiffuSAM kijkt naar de plakken naast de waar het momenteel aan werkt. Het gebruikt de "buur"-plakken om ervoor te zorgen dat het orgaan consistent blijft naarmate het door het 3D-volume beweegt. Dit voorkomt dat de robot in de war raakt en een nier tekent die plotseling verdwijnt of van vorm verandert tussen de plakken.

Waarom is dit een groot ding? (De Resultaten)

Het paper heeft dit getest op twee grote uitdagingen:

Few-Shot Learning (Leren met zeer weinig data):
- Scenario: Stel je hebt slechts 3 voorbeelden van een specifiek orgaan om het systeem te leren, maar je wilt dat het werkt op 27 nieuwe scans.
- Resultaat: DiffuSAM was in staat om te leren van die kleine voorbeelden en presteerde beter dan andere methoden die enorme hoeveelheden data of handmatig wijzen vereisten. Het behaalde een gemiddelde nauwkeurigheid (Dice-score) van 87,24%.
Source-Free Domain Adaptation (De "Vreemdeling"-test):
- Scenario: Je traint het systeem op CT-scans (een type medisch beeld) maar vraagt het vervolgens om te werken op MRI-scans (een compleet ander type beeld) zonder dat het ooit een MRI heeft gezien tijdens de training.
- Resultaat: Meestal falen robots deze test. Maar omdat DiffuSAM de "vorm" van de organen in de abstracte ruimte heeft geleerd, kon het zich aanpassen aan de nieuwe MRI-stijl zonder de oorspronkelijke CT-beelden meer nodig te hebben. Het presteerde net zo goed als de beste bestaande methoden voor deze specifieke taak.

Samenvatting

DiffuSAM is een slimme truc die een algemeen doel-AI (SAM2) in staat stelt om te werken met medische beelden zonder dat een mens op elk orgaan hoeft te wijzen. Het gebruikt een "ruis-verwijderende" AI om de instructies automatisch te genereren en controleert aangrenzende plakken om ervoor te zorgen dat de 3D-anatomie logisch is. Het werkt goed, zelfs wanneer je zeer weinig trainingsdata hebt of wanneer je schakelt tussen verschillende soorten medische scanners.

1. Probleemstelling

Medische beeldsegmentatie is cruciaal voor klinische diagnose, maar staat voor aanzienlijke hindernissen met huidige state-of-the-art fundamentele modellen zoals het Segment Anything Model (SAM) en zijn opvolger SAM2.

Domeinkloof: SAM en SAM2 zijn getraind op natuurlijke afbeeldingen en hebben moeite om te generaliseren naar medische data vanwege verschillen in textuur, contrast en anatomische structuren.
Prompt-afhankelijkheid: Deze modellen vereisen door de gebruiker verstrekte prompts (punten, vakken of tekst) om te functioneren, wat onpraktisch is voor geautomatiseerde klinische workflows.
Data-schaarste: Supervised fine-tuning vereist grote, door experts geannoteerde datasets, die duur en tijdrovend zijn om aan te maken.
Beperkingen van bestaande aanpassingen: Eerdere pogingen om SAM/SAM2 aan te passen aan medische data vereisen vaak computergewichtige fine-tuning of vertrouwen nog steeds op prompts. Bovendien maken bestaande prompt-vrije varianten geen gebruik van de volumetrische geheugencapaciteiten van SAM2.

2. Methodologie: DiffuSAM

De auteurs stellen DiffuSAM voor, een raamwerk dat SAM2 aanpast voor prompt-vrije medische segmentatie met behulp van een conditionele latente diffusiemodel. Het kernidee is om "geheugen-embeddings" te synthetiseren die SAM2 kan gebruiken om maskers te genereren, waardoor de behoefte aan gebruikersprompts effectief wordt vervangen.

Kernarchitectuur

Bevroren Backbone: De SAM2-afbeeldingsencoder en geheugenencoder blijven bevroren tijdens het trainen. Het model leert alleen een lichtgewicht diffusie-prior.
Training van Diffusie-prior:
- Input: Het model neemt de afbeeldingsembedding ( $z_{img}$ ) van de bevroren SAM2-afbeeldingsencoder en de klasselabel ( $l$ ).
- Doel: Het leert de bijbehorende geheugenembedding ( $z_{mem}$ ) te genereren die SAM2 normaal gesproken zou produceren als er een prompt zou worden gegeven.
- Proces: Een op UNet gebaseerd diffusiemodel wordt getraind volgens een Denoising Diffusion Probabilistic Model (DDPM)-schema. Het leert een verstoord geheugenembedding te ontdoen van ruis, geconditioneerd op de afbeeldingsembedding en label.
- Verliesfunctie: Het trainingsdoel combineert een prior-verlies (het reconstrueren van de geheugenembedding) en een segmentatieverlies (waarbij wordt gegarandeerd dat de gegenereerde embedding nauwkeurige maskers produceert wanneer deze door de maskerdecoder van SAM2 wordt geleid).
Inferentie (Prompt-vrije generatie):
- Tijdens inferentie start het diffusiemodel met pure ruis en de afbeeldingsembedding.
- Het ontdoet iteratief van ruis om een geheugenembedding ( $\hat{z}_{mem}$ ) te synthetiseren.
- Deze gesynthetiseerde embedding wordt ingebracht in de geheugenattentie en maskerdecoder van SAM2 om het definitieve segmentatiemasker te produceren zonder enige gebruikersinput.

Volumetrische consistentie (3D-conditionering)

Om de 3D-aard van medische volumes (CT/MRI) aan te pakken, dwingt DiffuSAM ruimtelijke consistentie af over schijven:

Bij het genereren van de geheugenembedding voor een specifieke schijf $i$ , conditioneert het model op de segmentatievoorspellingen van aangrenzende schijven ($adj$).
De voorspellingen van aangrenzende schijven worden gecodeerd via de geheugenencoder en samengevoegd met de data van de huidige schijf.
Dit zorgt voor anatomische continuïteit en voorkomt inconsistenties tussen schijven in het 3D-volume.

Source-Free Unsupervised Domain Adaptation (SF-UDA)

Het raamwerk is ontworpen voor SF-UDA, waarbij het model wordt getraind op een brondomein (bijv. CT) en wordt getest op een doeldomein (bijv. MRI) zonder toegang tot bronafbeeldingen tijdens de target-adaptatie.

De methode maakt gebruik van de eigenschap van feature-affiniteit: SAM2-afbeeldingsembeddings voor dezelfde klasse neigen zelfs over verschillende domeinen heen dicht bij elkaar te clusteren.
De op bron getrainde diffusie-prior wordt direct toegepast op schijven van het doeldomein zonder verdere fine-tuning, waardoor pseudo-geheugenembeddings worden gegenereerd voor het doeldomein.

3. Belangrijkste bijdragen

Nieuw raamwerk: Introductie van DiffuSAM, de eerste op diffusie gebaseerde aanpassing van SAM2 voor prompt-vrije medische beeldsegmentatie.
Werking in latente ruimte: Het model opereert in de latente embedding-ruimte van SAM2, waardoor het hoge-niveau verdelingen van kenmerken kan vastleggen zonder de zware backbone te wijzigen.
Volumetrische integratie: Integratie met het geheugenattentiemechanisme van SAM2 om anatomische continuïteit over 3D-schijven te waarborgen via cross-slice conditionering.
Efficiëntie: De aanpak vereist het trainen van een lichtgewicht UNet in plaats van het fine-tunen van het volledige fundamentele model, wat resulteert in een laag geheugengebruik (<5GB GPU) en snelle inferentie (slechts 2 diffusiestappen).

4. Experimentele resultaten

De methode werd geëvalueerd op twee grote datasets: BTCV (CT-scans) en CHAOS (MRI-scans), met focus op het segmenteren van de milt, nieren en lever.

Few-Shot setting (BTCV)

Opzet: Getraind op 10% van de data (3 volumes), getest op 90% (27 volumes).
Prestaties: DiffuSAM behaalde een gemiddelde Dice-score van 87,24%.
Vergelijking: Het presteerde beter dan native SAM/SAM2 (die afhankelijk zijn van prompts) en supervised UNet/UNETR-modellen die op dezelfde kleine dataset waren getraind. Het was concurrerend met FATE-SAM (dat ground-truth schijven vereist tijdens testtijd), maar bereikte dit zonder handmatige prompts of supervisie tijdens testtijd.
Ablatie: Het toevoegen van volumetrische cross-slice conditionering verbeterde de gemiddelde Dice van 82,72% (DiffuSAM-no 3D) naar 87,24%.

Source-Free UDA setting (CT $\to$ MRI)

Opzet: Getraind op BTCV (CT), getest op CHAOS (MRI) zonder toegang tot bronafbeeldingen.
Prestaties: DiffuSAM behaalde een gemiddelde Dice van 85,2%.
Vergelijking: Het presteerde aanzienlijk beter dan andere source-free baselines (DPL: 56,0%) en deed het even goed als DFG (85,2%), een sterke methode gebaseerd op feature-affiniteit.
Ablatie: Volumetrische conditionering verbeterde de prestaties van 80,4% naar 85,2%.

5. Betekenis en conclusie

Klinische toepasbaarheid: Door de behoefte aan gebruikersprompts te elimineren, overbrugt DiffuSAM de kloof tussen fundamentele modellen en geautomatiseerde klinische workflows.
Data-efficiëntie: De methode toont aan dat hoogwaardige segmentatie kan worden bereikt met minimale trainingsdata (few-shot) en zonder toegang tot brondata tijdens target-adaptatie (SF-UDA).
Computatie-efficiëntie: In tegenstelling tot volledige fine-tuning van grote modellen traint DiffuSAM een lichtgewicht diffusie-prior, waardoor het toegankelijk is voor omgevingen met beperkte middelen.
Toekomstig werk: De auteurs erkennen dat hoewel MedSAM (end-to-end getraind met prompts) beter presteert, DiffuSAM een uniek voordeel biedt door prompts en volledige fine-tuning te vermijden. Toekomstig werk zal gericht zijn op het integreren van aanvullende SF-UDA-technieken.

Kortom, DiffuSAM maakt succesvol gebruik van de generatieve kracht van diffusiemodellen om de benodigde geheugenembeddings voor SAM2 te "hallucineren", waardoor robuuste, prompt-vrije en domein-adapterende medische beeldsegmentatie mogelijk wordt.