🤖 AI

SegMaFormer: A Hybrid State-Space and Transformer Model for Efficient Segmentation

SegMaFormer is een lichtgewicht hybride architectuur die Mamba- en Transformer-modules combineert om 3D-medische beeldsegmentatie efficiënter te maken door de rekenkosten aanzienlijk te verlagen terwijl de prestaties van grotere modellen worden behaald.

Oorspronkelijke auteurs: Duy D. Nguyen, Phat T. Tran-Truong

Gepubliceerd 2026-03-24

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Duy D. Nguyen, Phat T. Tran-Truong

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

SegMaFormer: De Slimme, Lichte Chirurg voor 3D-Medische Beelden

Stel je voor dat je een gigantische, driedimensionale puzzel hebt: een medische scan van een menselijk lichaam, vol met organen, tumoren en bloedvaten. De taak is om elk stukje van deze puzzel precies te herkennen en in te kleuren. Dit heet "segmentatie".

Vroeger deden computers dit met een soort "loep" (CNN's): ze keken heel dichtbij, stukje bij beetje. Dat was goed voor details, maar ze misten het grote plaatje. Later kwamen er "super-intelligente" modellen (Transformers) die overal tegelijk naar keken. Die waren geweldig, maar ze waren ook als een olifant in een porseleinwinkel: enorm zwaar, langzaam en ze hadden een enorm energieverbruik. Voor veel ziekenhuizen, vooral in ontwikkelingslanden, waren deze olifanten te zwaar om te dragen.

SegMaFormer is de oplossing: een slimme, lichte hybride die het beste van twee werelden combineert. Hier is hoe het werkt, vertaald in alledaagse termen:

1. De Twee Assistenten: De Mamba en de Transformer

Het model gebruikt twee verschillende soorten "assistenten" om de puzzel op te lossen, afhankelijk van hoe ver ze moeten kijken:

De Mamba (De Snelle Scouter): In het begin, wanneer het beeld nog heel groot en gedetailleerd is (zoals een foto in 4K), zet het model de Mamba aan het werk.
- Analogie: Stel je voor dat je een grote stad moet verkennen. De Mamba is als een snelle fietser die door de straten rijdt. Hij is supersnel, gebruikt weinig energie en kan snel de lokale gebouwen en wegen herkennen. Hij houdt de "lokale" details scherp, zonder de hele stad in één keer te hoeven scannen.
De Transformer (De Strategische Plannera): Pas later, wanneer het beeld is ingekrompen tot een overzichtelijke kaart (zoals een stadsplattegrond), schakelt het model over naar de Transformer.
- Analogie: Nu de fietser de buurt heeft verkend, komt de strategische planner. Deze kijkt naar de hele kaart tegelijk. Hij ziet hoe de verschillende wijken met elkaar verbonden zijn en begrijpt het "grote plaatje". Omdat de kaart nu klein is, kan deze planner dit doen zonder de hele stad opnieuw te hoeven verkennen.

Het geheim: Door de snelle fietser (Mamba) te gebruiken voor de grote, moeilijke details en de planner (Transformer) alleen voor het overzicht, bespaart het model enorme hoeveelheden tijd en energie.

2. De 3D-RoPE: Het Binnenschippe Kompas

Een ander probleem bij 3D-beelden is dat computers vaak vergeten waar iets precies ligt in de ruimte.

Analogie: Stel je voor dat je een 3D-puzzel hebt, maar alle stukjes hebben geen pijltje om te laten zien welke kant "boven" is. Je raakt de orientatie kwijt.
De oplossing: SegMaFormer gebruikt een trucje genaamd 3D-RoPE. Dit werkt als een ingebouwd kompas en GPS-systeem voor elk stukje van de puzzel. Het zorgt ervoor dat het model precies weet: "Dit stukje zit links, boven en achter". Hierdoor wordt het veel beter in het herkennen van complexe vormen, zoals een hart of een tumor, zelfs als de data niet perfect is.

3. Het Resultaat: Een Ferrari in plaats van een Tank

De onderzoekers hebben dit model getest op drie grote medische datasets (hersentumoren, organen in de buik en het hart).

De concurrenten: De beste modellen van nu zijn als zware tanks. Ze wegen honderden miljoenen parameters (denk aan miljarden regels code) en kosten enorm veel rekenkracht.
SegMaFormer: Dit model weegt slechts 2 miljoen parameters.
- De vergelijking: Het is alsof je een tank vervangt door een snelle, wendbare sportauto. SegMaFormer is 75 keer lichter dan de zwaarste concurrenten, maar hij rijdt bijna even snel en komt op dezelfde bestemming aan.

Waarom is dit belangrijk?

Voor veel ziekenhuizen, vooral in landen met minder geld of minder krachtige computers, is het onmogelijk om die zware "tank-modellen" te draaien. SegMaFormer maakt geavanceerde 3D-segmentatie toegankelijk voor iedereen. Het laat zien dat je niet per se een gigantisch, zwaar model nodig hebt om goede diagnoses te stellen; soms is een slimme, lichte combinatie van technieken juist veel beter.

Kortom: SegMaFormer is de slimme, efficiënte chirurg die met een klein team (weinig parameters) en een goed kompas (3D-RoPE) net zo goed werkt als de zware, dure teams van vroeger.

Probleemstelling

De automatische segmentatie van 3D medische beelden (zoals MRI en CT-scans) is cruciaal voor diagnose en behandelplanning. Hoewel Convolutionele Neurale Netwerken (CNNs) lang de standaard waren, hebben ze beperkingen in het modelleren van globale context vanwege hun lokale receptieve velden. Transformer-modellen hebben dit opgelost door middel van self-attention, maar ze introduceren een kwadratische complexiteit ( $O(N^2)$ ) ten opzichte van de tokenlengte. Bij 3D volumetrische data explodeert het aantal tokens, wat leidt tot onhoudbare rekenkosten en geheugenvraag. Bestaande hybride modellen (CNN + Transformer) of pure Mamba-modellen (State-Space Models) hebben vaak nog steeds te veel parameters of presteren suboptimaal zonder zorgvuldig ontwerp, wat ze onpraktisch maakt voor ziekenhuizen met beperkte rekenkracht.

Methodologie: SegMaFormer

SegMaFormer is een lichtgewicht hybride architectuur die de efficiëntie van Mamba (State-Space Models) combineert met de globale contextmodelleringscapaciteit van Transformers. De architectuur is opgebouwd als een hiërarchische volumetrische encoder-decoder:

Hybride Encoder-strategie:
- Vroege stadia (Hoge resolutie): Hier worden Mamba-blokken gebruikt. Omdat Mamba lineaire complexiteit heeft ( $O(N)$ ), kan deze efficiënt werken met de lange sequenties van tokens die ontstaan bij het verwerken van hoge-resolutie 3D-volumes. Dit vangt essentiële ruimtelijke context op zonder de rekenlast van self-attention.
- Late stadia (Lage resolutie): Na stapsgewijze downsampling wordt het aantal tokens ( $N$ ) drastisch kleiner, terwijl de embed-dimension ( $d$ ) groter wordt. Op dit punt worden Self-Attention (Transformer) lagen ingeschakeld. Omdat $N$ nu klein is, is de kwadratische complexiteit van attention acceptabel en effectief voor het verfijnen van globale anatomische afhankelijkheden.
3D-Rotary Positional Embedding (3D-RoPE):
- Om de ruimtelijke bewustwording te verbeteren, integreert het model 3D-RoPE na de patch-embedding. Dit zorgt voor rotatie-consistente positie-informatie en helpt het model om complexe anatomische relaties beter te begrijpen, wat zowel de Mamba- als de Transformer-componenten ten goede komt.
Decoder:
- In plaats van zware convolutielagen, gebruikt de decoder een lichtgewicht opzet gebaseerd op lineaire lagen (MLP). Multi-scale features worden samengevoegd, geupsampled en gefuseerd via lineaire transformaties om het uiteindelijke segmentatiemasker te genereren.
Geen Pre-training:
- Het model is getraind zonder externe pre-training (zoals ImageNet), wat aantoont dat de architectuur zelfstandig leert.

Belangrijkste Bijdragen

Hybride Architectuur: Een innovatieve combinatie van Mamba voor sequentiemixing in vroege stadia en self-attention in late stadia, specifiek ontworpen voor 3D volumetrische data.
Efficiëntie: Het model reduceert de parameters met tot wel 75x en verlaagt de FLOPs (Floating Point Operations) aanzienlijk ten opzichte van state-of-the-art modellen, terwijl het de prestaties behoudt.
3D-RoPE Integratie: Het succesvol toepassen van 3D-RoPE in een hybride Mamba-Transformer context om de ruimtelijke nauwkeurigheid te verhogen.
Prestaties zonder zware capaciteit: Het bewijst dat sterke segmentatieprestaties haalbaar zijn met slechts 2 miljoen parameters en 15 GFLOPs, zonder afhankelijkheid van zware pre-training.

Experimentele Resultaten

Het model is getest op drie publieke benchmarks zonder externe pre-training:

BraTS (Hirntumor-segmentatie):
- SegMaFormer behaalde een gemiddelde Dice-score van 83,79%, wat hoger is dan de baselines SegFormer3D (82,1%) en UNETR (71,1%), en vergelijkbaar met de veel zwaardere nnFormer (86,4%), maar met een fractie van de parameters.
Synapse (Multi-orgaan CT-segmentatie):
- Het model behaalde een gemiddelde Dice-score van 83,33%, wat het plaatst op de derde plek, direct achter U-Mamba en nnFormer. Het overtreft de baselines en presteert beter dan veel grotere modellen, hoewel het iets minder goed scoort op kleine organen (een bekende uitdaging voor Mamba-architecturen).
ACDC (Cardiologische diagnose):
- Met een gemiddelde Dice-score van 91,11% overtreft het de baselines (SegFormer3D: 90,96%) en komt het zeer dicht in de buurt van de state-of-the-art (Primus-S: 92,46% en nnFormer: 92,06%), ondanks het gebruik van 10x minder parameters.

Vergelijking:

nnFormer: 150,5 M parameters vs. SegMaFormer: 2,02 M parameters.
nnFormer: 213,4 GFLOPs vs. SegMaFormer: 15,2 GFLOPs.

Betekenis en Conclusie

SegMaFormer biedt een praktische oplossing voor de groeiende uitdagingen van rekenkracht en generalisatie in de 3D medische beeldsegmentatie. De studie toont aan dat het niet nodig is om modellen te overparametriseren om hoge nauwkeurigheid te bereiken. Door slimme architecturale keuzes (Mamba voor lokale/efficiënte verwerking, Attention voor globale context) en het gebruik van geavanceerde positiële embedding, kan een compact model presteren op het niveau van gigantische netwerken.

Dit maakt geavanceerde 3D-segmentatie toegankelijk voor klinische omgevingen met beperkte hardware (zoals ontwikkelingslanden of kleinere ziekenhuizen), zonder in te leveren op diagnostische kwaliteit. De resultaten suggereren dat tokenisatiestrategieën uit Vision Transformers, gecombineerd met Mamba, CNNs volledig kunnen vervangen voor efficiënte en nauwkeurige medische beeldanalyse.