💻 computer science

ENSAM: an efficient foundation model for interactive segmentation of 3D medical images

ENSAM is een lichtgewicht foundation model voor interactieve 3D medische beeldsegmentatie dat een state-of-the-art prestatie levert onder beperkte data- en computationele budgetten door een SegResNet-gebaseerde architectuur te combineren met geavanceerde trainings-technieken zoals genormaliseerde aandacht en de Muon-optimizer, waarmee het verschillende voorgetrainde baselines overtreft in de CVPR 2025 Foundation Models for Interactive 3D Biomedical Image Segmentation Challenge.

Oorspronkelijke auteurs: Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Gepubliceerd 2026-07-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om specifieke organen te vinden in een 3D medische scan (zoals een CT of MRI). Normaal gesproken vereist dit een enorme, dure supercomputer en duizenden uren aan training.

De auteurs van dit artikel, Elias, Agnar en Arian, hebben een nieuwe tool gebouwd genaamd ENSAM. Denk aan ENSAM als een "slimme, lichtgewicht assistent" die kan leren om elk deel van een 3D medische afbeelding te segmenteren (omlijnen) door slechts naar een paar voorbeelden te kijken en een paar hints te krijgen van een mens.

Hier is het verhaal over hoe ze het gebouwd hebben, eenvoudig uitgelegd:

1. Het Doel: Een "Eénmansleger"

Het team wilde een model creëren dat het werk van een gigantisch, zwaar basismodel (foundation model) kon doen, maar dat kan draaien op een enkele, standaard computergrafische kaart (een 32 GB GPU). Ze wilden bewijzen dat je geen supercomputer nodig hebt om geweldige resultaten te behalen.

De Naam: Ze noemden het ENSAM (Equivariant, Normalized, Segment Anything Model). De naam is een subtiele grap: in Zweedse en Germaanse talen betekent "ensam" alleen of eenzaam. Dit weerspiegelt hun doel om een krachtig model volledig alleen te trainen, zonder hulp van andere vooraf getrainde reuzen.

2. Het Recept: Hoe ze het hebben gebouwd

Ze hebben niet simpelweg bestaande modellen gekopieerd; ze hebben een nieuw recept samengesteld met drie speciale ingrediënten:

De Hersenen (Image Encoder): In plaats van de nieuwste, meest complexe "Transformer"-hersenen te gebruiken (wat lijkt op een zware, brandstofverslindende motor), gebruikten ze een SegResNet. Denk aan dit als een betrouwbare, efficiënte werkpaard-motor die bewezen goed met 3D medische data omgaat.
De GPS (Relative Positional Encoding): Wanneer je een computer vertelt "klik hier", moet de computer weten waar "hier" is. Oude modellen gebruiken "Absolute Positionering" (zoals een adres opgeven: "Hoofdstraat 123"). Als je het huis verplaatst, klopt het adres niet meer. ENSAM gebruikt Relatieve Positionering (zoals zeggen: "twee blokken ten noorden van het park"). Dit is als het geven van een flexibele kaart aan de computer die werkt, ongeacht waar het orgaan zich in het lichaam bevindt. Dit zorgde ervoor dat het model veel sneller leerde.
De Coach (Muon Optimizer): Het trainen van AI is als het lesgeven aan een student. Meestal gebruik je een standaard leraar (een optimizer genaamd Adam). De auteurs vervingen deze door een nieuwe, snellere coach genaamd Muon. Stel je een coach voor die niet alleen de student vertelt "doe meer je best", maar die direct het hele lesplan reorganiseert om de beste route te vinden. Dit hielp het model om in recordtijd te leren.

3. De Uitdaging: De "Coreset" Test

Het artikel beschrijft een wedstrijd (de CVPR 2025 Challenge) waarbij teams deze modellen moesten bouwen.

De Twist: Er was een speciaal traject genaamd het "Coreset Track". Teams mochten slechts 10% van de beschikbare trainingsdata gebruiken. Het was alsof je gevraagd werd een hele taal te leren met alleen een zakwoordenboek in plaats van een bibliotheek.
De Beperking: Ze moesten ook trainen op een enkele GPU in slechts 6 uur.

4. De Resultaten: Boven hun Gewicht Presteren

Ondanks het gebruik van slechts een fractie van de data en één computer, presteerde ENSAM ongelooflijk goed:

De Score: Het eindigde op de 5e plaats van de 10 teams in het Coreset-traject.
De Grote Overwinning: Het was het beste team dat geen gebruik maakte van vooraf getrainde gewichten (veel andere teams begonnen met een model dat al getraind was op enorme datasets; ENSAM begon vanaf nul, als een leeg blad).
Vergelijking: Het versloeg twee andere beroemde modellen (VISTA3D en SAM-Med3D) en kwam heel dicht in de buurt van het derde (SegVol), ook al werd ENSAM getraind met veel minder rekenkracht.

5. Hoe het in de Praktijk Werkt (Het "Interactieve" Deel)

Stel je een arts voor die naar een 3D-scan van een lever kijkt.

De arts tekent een kader rond de lever.
Het model raadt de omlijning.
De arts klikt op "Ja" bij de lever en op "Nee" bij een nabijgelegen nier om het model te corrigeren.
Het model werkt de omlijning onmiddellijk bij.
ENSAM is ontworpen om deze heen-en-weer conversatie zeer snel af te handelen, waarbij de omlijning bij elke klik steeds verder wordt verfijnd.

6. Waar het Struikelt (Beperkingen)

De auteurs zijn eerlijk over de punten waar hun model nog niet perfect is:

Kleine Details: In zeer kleine, dichte afbeeldingen (zoals microscopie) mist het model soms kleine details of raakt het in de war door ruis.
De "Simulatie" Kloof: Het model is getest door clicks van een computer te simuleren. De auteurs geven toe dat echte menselijke artsen anders kunnen klikken, en ze hebben het nog niet met echte mensen getest.
Eén tegelijk: Momenteel verwerkt het model één object (zoals één nier) tegelijk. Het begrijpt niet van nature dat als je op "nier" klikt, je zeker niet "lever" bedoelt.

Samenvatting

Kortom, ENSAM is een bewijs van concept dat je een zeer effectieve, interactieve 3D medische segmentatietool kunt bouのが zonder dat je een enorm budget of een supercomputer nodig hebt. Door een "relatief kaart"-systeem en een "snelle coach" voor de training te gebruiken, hebben ze een model gecreëerd dat snel leert, goed werkt op een enkele computer en concurreert met veel grotere, duurdere systemen.

Technische Samenvatting: ENSAM – Een Efficiënt Fundatiemodel voor Interactieve 3D Medische Beeldsegmentatie

Probleemstelling

Nauwkeurige segmentatie van 3D medische beelden is cruciaal voor klinische taken zoals diagnose en behandelplanning. Hoewel deep learning-modellen deze taken hebben geautomatiseerd, worstelen recente fundatiemodellen zoals SAM (Segment Anything Model) en SAM2, die ontworpen zijn voor natuurlijke afbeeldingen, met het generaliseren naar medische modaliteiten zonder significante aanpassing. Bestaande medische-specifieke modellen kampen vaak met afruilverschillen: sommige missen ondersteuning voor iteratieve verfijning (bijv. MedSAM), andere vereisen enorme computationele middelen en pre-trained gewichten, en veel slagen er niet in te generaliseren over diverse modaliteiten (CT, MRI, PET, Ultrasound, Microscopie). Bovendien ontbrak voorheen een uniforme benchmark om deze modellen te vergelijken op een gestandaardiseerde, verborgen testset.

De specifieke uitdaging die in dit werk wordt aangepakt, is de CVPR 2025 Foundation Models for Interactive 3D Biomedical Image Segmentation Challenge. Het doel is om een universeel, promptbaar model te ontwikkelen dat elke anatomische of pathologische structuur kan segmenteren op basis van een gebruikersprompt (bounding box of clicks) binnen een gesimuleerde interactieve setting. Een cruciale beperking van de "coreset track" is de beperking tot 10% van de totale trainingsdata en de vereiste om vanaf nul te trainen zonder gebruik te maken van externe pre-trained gewichten, terwijl er strikt wordt geobserveerd onder computationele budgetten (enkele 32 GB GPU).

Methodologie: ENSAM Architectuur

De auteurs stellen ENSAM voor (Equivariant, Normalized, Segment Anything Model), een lichtgewicht, promptbaar model gebouwd op een U-Net-achtige architectuur. Het bestaat uit drie primaire componenten: een beeldencoder, een promptencoder en een maskerdecoder.

1. Beeldencoder

In plaats van Vision Transformers, die vaak onderpresteren ten opzichte van CNN's in specifieke segmentatiebenchmarks, maakt ENSAM gebruik van een SegResNet-gebaseerde encoder. Deze architectuur bestaat uit een cascade van residual blocks afgewisseld met downsampling-lagen (StridedConv3D). Het transformeert single-channel inputs naar multi-channel feature maps, waarbij de volumetrische consistentie behouden blijft.

2. Promptencoder en Interactiemechanisme

De promptencoder verwerkt 3D bounding boxes, foreground clicks en background clicks. Belangrijke innovaties zijn:

Lie Rotational Positional Encoding (LieRE): Om equivariantie te behouden en efficiëntie te verbeteren, vervangt het model absolute positional encoding door relatieve positional encoding. Dit wordt bereikt door positieafhankelijke rotatiematrices toe te passen op key en query vectoren. De rotatiematrix $R(p)$ is afgeleid van de Lie-algebra $so(n)$, waardoor attention scores alleen afhangen van de relatieve positie $p_j - p_i$ .
Genormaliseerde Attention: Geïnspireerd door recent werk op genormaliseerde transformers, vervangt ENSAM standaard LayerNorm en weight decay door $\ell_2$ -normalisatie toegepast op alle gewichtsmatrices en activaties na elke optimalisatiestap. Dit beperkt de outputs tot een eenheids hypersfeer, waarbij een gemodificeerde residuele update-strategie wordt gebruikt:
$x \leftarrow \text{Norm}(\text{Norm}(x) + \lambda(\text{Norm}(\text{nBlock}(x)) - \text{Norm}(x)))$
waarbij $\lambda$ een leerbare eigen learning rate is. Dit beoogt convergentie te versnellen en de numerieke stabiliteit te verbeteren.
Interactie-flow: Gebruikersprompts en voorgaande segmentatie-logits (gedownsampled via strided convolutions) interageren met beeldembeddings via een vierstaps proces: (1) genormaliseerde self-attention op prompts, (2) prompt-to-image attention, (3) MLP-verwerking, en (4) image-to-prompt attention. Deze cyclus herhaalt zich tweemaal.

3. Maskerdecoder

De decoder weerspiegelt de encoderstructuur maar gebruikt single residual blocks per upsampling-laag. Het concateneert skip-verbindingen, verwerkt deze via een ResBlock3D, en past trilineaire upsampling toe om segmentatie-logits te produceren.

4. Trainingsstrategie

Optimizer: De auteurs gebruiken de Muon optimizer, die opereert op 2D gewichtsmatrices met behulp van een efficiënte benadering van Singular Value Decomposition (SVD) voor updates, in plaats van standaard gradiëntafdaling. Voor 1D parameters wordt AdamW gebruikt.
Dataverwerking: Training omvat gesimuleerde interacties waarbij initiële bounding boxes worden gegenereerd vanuit de grondwaarheid (ground truth) met willekeurige offsets, gevolgd door vijf iteratieve clicks geplaatst in de grootste foutgebieden (foreground bij ondersegmentatie, background bij oversegmentatie).
Loss Functie: Een samengestelde loss van Generalized Dice Loss en Cross-Entropy (gewogen 1:2) wordt gebruikt.
Coreset Selectie: Voor de coreset track werd de trainingsset beperkt tot ~4.471 samples (10% van het totaal), geselecteerd om een uniforme representatie over modaliteiten te waarborgen, waarbij datasets met normalisatie- of annotatieproblemen werden uitgesloten.

Belangrijkste Bijdragen

Efficiënt Fundatiemodel: ENSAM bereikt concurrerende prestaties in universele 3D medische segmentatie terwijl het vanaf nul is getraind op een enkele 32 GB GPU in slechts 6 uur, met minder dan 5.000 volumes.
Architecturale Innovaties: De integratie van Lie Rotational Positional Encoding en Normalized Attention binnen een SegResNet-backbone versnelt de convergentie aanzienlijk en verbetert de segmentatiekwaliteit vergeleken met absolute encoding en standaard attention.
Toepassing van Optimizer: Het paper demonstreert de effectiviteit van de Muon optimizer voor 3D medische segmentatietaken, waarbij wordt aangetoond dat deze AdamW overtreft in trainingssnelheid en finale loss.
Benchmarking: Het werk biedt een rigoureuze evaluatie op een verborgen, multimodale testset, wat een eerlijke vergelijking mogelijk maakt met state-of-the-art baselines (VISTA3D, SAM-Med3D, SegVol) onder beperkte data- en computecondities.

Resultaten

Kwantitatieve Prestaties

Op de verborgen testset (coreset track) behaalde ENSAM:

DSC AUC: 2.404
NSD AUC: 2.266
Finale DSC: 0.627
Finale NSD: 0.597

Vergelijkingen:

ENSAM presteerde beter dan VISTA3D en SAM-Med3D op alle vier de metrieken.
Het kwam overeen met SegVol in DSC AUC en NSD AUC, maar overtrof SegVol in Finale DSC (0.627 vs. 0.622), hoewel het iets achterbleef in Finale NSD.
In de algemene challenge-ranking behaalde ENSAM de 5e plaats van de 10 teams en was het het best presterende model dat geen gebruik maakte van pre-trained gewichten.

Ablatie-studies

Experimenten bevestigden dat het overstappen van absolute naar relatieve positional encoding (LieRE) de trainingsefficiëntie verbeterde. Bovendien resulteerde de combinatie van LieRE met de Muon optimizer in de snelste convergentie en de beste finale loss, waarmee de baseline configuratie (Absolute PE + Adam) werd overtroffen.

Kwalitatieve Analyse

Successen: ENSAM demonstreerde nauwkeurige afbakening van grote structuren (bijv. lever, milt, nieren in CT; wervelkolom in MRI) en handelde 2D+t ultrasound-sequenties effectief af.
Fouten: Het model had moeite met fijne details in microscopie (dunne vaten) en vertoonde soms oversegmentatie in PET-beelden, waarschijnlijk door intensiteitsclipping tijdens de preprocessing. Het vertoonde ook kartelige randen in ultrasound door bewegingsartefacten.

Betekenis en Claims

De auteurs beweren dat ENSAM aantoont dat hoogwaardige fundatiemodellen voor medische beeldvorming efficiënt vanaf nul getraind kunnen worden zonder te vertrouwen op enorme computationele middelen of externe pre-trained gewichten. Het paper benadrukt dat de combinatie van relatieve positional encoding en de Muon optimizer een belangrijke drijfveer is voor deze efficiëntie.

Het werk benadrukt dat hoewel het model nog niet superieur is aan alle baselines op elke metriek (vooral wanneer die baselines aanzienlijk meer data en compute gebruiken), het een sterke balans bereikt tussen prestaties en resource-efficiëntie. De auteurs merken bescheiden op dat de huidige architectuur waarschijnlijk niet optimaal is en dat toekomstig werk baat kan hebben bij het verkennen van diepere netwerken, het afhandelen van anisotrope spacing via fysieke coördinaten, en het integreren van meer diverse prompt-typen (bijv. scribbles, lassos).

Het paper concludeert dat ENSAM een belangrijke stap is naar het democratiseren van de toegang tot fundatiemodellen voor medische beeldvorming, door te bewijzen dat effectieve interactieve segmentatie haalbaar is onder strikte beperkingen van data en hardware.