⚡ electrical engineering

Mamba Goes HoME: Hierarchical Soft Mixture-of-Experts for 3D Medical Image Segmentation

Dit artikel introduceert HoME, een hiërarchisch soft mixture-of-experts-framework gebouwd op de Mamba-backbone dat een tweelaags token-routingmechanisme gebruikt om long-context modellering te verbeteren en state-of-the-art prestaties te behalen in 3D medische beeldsegmentatie over diverse modaliteiten en datakwaliteiten heen.

Oorspronkelijke auteurs: Szymon Płotka, Gizem Mert, Maciej Chrabaszcz, Ewa Szczurek, Arkadiusz Sitek

Gepubliceerd 2026-02-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Szymon Płotka, Gizem Mert, Maciej Chrabaszcz, Ewa Szczurek, Arkadiusz Sitek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek probeert te organiseren met miljoen boeken (die een 3D-medische scan van een menselijk lichaam vertegenwoordigen). Je doel is om specifieke, minuscule details te vinden—zoals een kleine tumor of de grens van een specifiek orgaan—terwijl je ook het grote plaatje begrijpt van hoe de hele bibliotheek is gerangschikt.

Dit artikel introduceert een nieuw AI-systeem genaamd Mamba-HoME om dit probleem op te lossen. Dit is hoe het werkt, uitgelegd via eenvoudige analogieën:

Het Probleem: Te groot voor één brein

Eerdere AI-modellen probeerden de hele bibliotheek tegelijkertijd te bekijken.

Oude Methode A (CNN's): Als een bibliothecaris die slechts naar één boekenkast tegelijk kijkt. Ze zijn snel en goed in het zien van lokale details, maar ze kunnen niet zien hoe de planken over de hele kamer met elkaar verbonden zijn. Ze missen het "grote plaatje".
Oude Methode B (Transformers): Als een bibliothecaris die probeert elk enkel boek in de bibliotheek tegelijkertijd te lezen om de verbanden te begrijpen. Dit is geweldig voor het zien van het grote plaatje, maar het duurt eeuwig en vereist een supercomputer om het geheugen aan te kunnen. Het wordt te traag voor 3D-scans met een hoge resolutie.

De Oplossing: Het "Mamba-HoME" Team

De auteurs hebben een nieuw team van AI-medewerkers gecreëerd dat de snelheid van Methode A combineert met het visuele vermogen van het grote plaatje van Methode B, maar dan met een slimme draai genaamd HoME (Hierarchical Soft Mixture-of-Experts).

Beschouw HoME als een managementstructuur op twee niveaus voor een enorme bouwploeg:

Niveau 1: De Lokale Voormannen (De "Lokale" Experts)

Wanneer het team een enorme 3D-scan ontvangt, sturen ze niet elke afzonderlijke pixel naar de grote baas. In plaats daarvan breken ze de scan op in kleine, hanteerbare buurten (groepen).

In elke buurt wordt een Lokale Voorman (een "expert") toegewezen om de specifieke details van dat gebied af te handelen.
Als een buurt veel bottextuur heeft, neemt een "bot-expert" het over. Als er vloeistof is, neemt een "vloeistof-expert" het over.
Dit is efficiënt omdat de experts eerst alleen met de mensen in hun eigen buurt communiceren. Ze verspillen geen tijd aan het schreeuwen door de hele stad.

Niveau 2: De Stadsplanners (De "Globale" Experts)

Zodra de Lokale Voormannen hun werk hebben gedaan, sturen ze een samenvatting door naar de Stadsplanners (de "globale" experts).

Deze planners bekijken de samenvattingen van alle buurten.
Zij bepalen hoe de buurten in elkaar passen. Bijvoorbeeld: "De lever (buurt A) ligt direct naast de maag (buurt B)."
Zij verfijnen de definitieve kaart, zodat de lokale details logisch zijn binnen de globale context.

Waarom "Mamba"?

Het artikel maakt gebruik van een technologie genaamd Mamba als ruggengraat. Denk aan Mamba als een zeer efficiënte lopende band.

In tegen tegenstelling tot oudere systemen, die bij elk item op de band moesten stoppen om het hele proces te begrijpen (wat traag is), beweegt Mamba lineair langs de band. Het onthoudt wat het eerder heeft gezien en gebruikt dat geheugen om te begrijpen wat het nu ziet, zonder dat het vertraagt.
Dit stelt het systeem in staat om enorme 3D-scans (zoals een heel menselijk lichaam) veel sneller en met minder computergeheugen te verwerken dan eerdere methoden.

De Resultaten: Betere Kaarten, Minder Geheugen

De auteurs hebben dit systeem getest op drie verschillende soorten medische "camera's":

CT-scans (zoals röntgenfoto's die botten en organen in 3D laten zien).
MRI-scans (die zachte weefsels zoals de hersenen en de lever in grote detail weergeven).
Ultrasound (echografie, die vaak ruizig en korrelig is).

Wat zij ontdekten:

Nauwkeurigheid: Mamba-HoME tekende de grenzen van organen en tumoren nauwkeuriger dan welke andere huidige methode dan ook. Het was beter in het vinden van de "randen" van zaken.
Efficiëntie: Ondanks dat het zeer intelligent is, had het niet een enorme hoeveelheid computergeheugen (RAM) nodig om te draaien, wat een groot probleem is voor 3D medische beelden.
Veelzijdigheid: Het systeem leerde van CT- en MRI-scans en begreep de "vorm" van organen zo goed, dat het ook goed functioneerde op Ultrasound-scans, ook al was het daar niet expliciet eerst op getraind.

In een Notendop

Het artikel beweert dat Mamba-HoME een nieuwe manier is om computers te leren "kijken" in het menselijk lichaam. Dit doen ze door een twee-lagen team van specialisten te gebruiken: lokale experts die snel kleine details afhandelen, en globale experts die ervoor zorgen dat die details perfect bij elkaar passen. Deze aanpak is sneller, verbruikt minder computerkracht en creëert nauwkeuriger medische kaarten dan de huidige beste tools.

Noot: Het artikel richt zich volledig op de technische prestaties van het AI-model bij segmentatietaken (het tekenen van lijnen rond organen). Het beweert niet dat het model momenteel in ziekenhuizen wordt gebruikt voor patiëntdiagnose of behandelplanning, noch bespreekt het toekomstige klinische toepassingen buiten de gepresenteerde technische benchmarks.

Technische Samenvatting: Mamba Goes HoME

Probleemstelling

Driedimensionale (3D) medische beeldsegmentatie is cruciaal voor diagnose en behandelplanning bij modaliteiten zoals Computertomografie (CT), Magnetic Resonance Imaging (MRI) en Echografie (US). Bestaande architecturen kampen echter met aanzienlijke trade-offs:

Convolutionele Neurale Netwerken (CNN's) bieden een lineaire computationele complexiteit, maar lijden aan beperkte receptieve velden, wat het vastleggen van globale ruimtelijke patronen belemmert die essentieel zijn voor het begrijpen van de hiërarchische relatie tussen lokale laesies en globale anatomische structuren.
Vision Transformers (ViTs) maken gebruik van globale aandacht om langetermijnafhankelijkheden te modelleren, maar brengen een kwadratische computationele complexiteit met zich mee ten opzichte van het aantal tokens. Dit maakt ze computationeel onhaalbaar voor hoogresolutie 3D-volumetrische data.
Selectieve State-Space Modellen (SSM's), zoals Mamba, bieden lineaire complexiteit voor long-sequence modellering, wat een efficiënt alternatief biedt voor ViTs. Echter, standaard SSM's zijn niet inherent ontworpen om adaptief om te gaan met de diverse lokale patronen die voorkomen in complexe, multi-schaal medische data.
Mixture-of-Experts (MoE)-frameworks kunnen kenmerken dynamisch routeren naar gespecialiseerde subnetwerken om lokale patronen te verwerken, maar het combineren van de globale efficiëntie van SSM's met de gelokaliseerde adaptiviteit van MoE in 3D medische beeldvorming is grotendeels nog onontgonnen.

Methodologie: Mamba-HoME

De auteurs stellen Mamba-HoME voor, een nieuwe architectuur die de Mamba Selective State-Space Model (SSM) backbone integreert met een Hierarchical Soft Mixture-of-Experts (HoME) laag. Het ontwerp is gericht op het efficiënt modelleren van lokale-naar-globale patroonhiërarchieën met een lineaire computationele complexiteit.

1. Hierarchical Soft Mixture-of-Experts (HoME)

De kerninnovatie is een twee-niveau token-routinglaag, ontworpen om een balans te vinden tussen lokale specialisatie en globale contextintegratie:

Niveau 1: Lokale Groepering en Routing. Invoersequenties worden verdeeld in lokale groepen. Een Soft Mixture-of-Experts (SMoE) laag routeert tokens binnen deze groepen naar gespecialiseerde lokale experts. Dit maakt lokale extractie van kenmerken mogelijk terwijl de ruimtelijke lokaliteit behouden blijft en het geheugengebruik wordt verminderd in vergelijking met globale routing.
Niveau 2: Globale Aggregatie. De outputs van het eerste niveau worden geaggregeerd en door een tweede-niveau globale SMoE laag gestuurd. Dit faciliteert cross-groep informatiefusie en globale contextverfijning.
Schaalbaarheid: Door routing binnen groepen uit te voeren vóór globale aggregatie, vermijdt de methode de verboden geheugenkosten van globale routing op hoogresolutie 3D-data (waar het aantal tokens miljoenen kan bereiken), waardoor een computationele complexiteit van $O(Nd)$ behouden blijft.

2. Mamba-HoME Blok

De architectuur implementeert de HoME-laag in een U-vormig encoder-decoder netwerk (geïnspireerd door SegMamba):

Backbone: Maakt gebruik van Mamba-lagen voor efficiënte modellering van langetermijnafhankelijkheden met lineaire tijdcomplexiteit.
Gated Spatial Convolution (GSC): Geïntegreerd om lokale ruimtelijke priors te vangen voordat de data wordt platgeslagen naar 1D-sequenties voor Mamba-verwerking.
Dynamic Tanh (DyT): Vervangt standaard Layer Normalization door een punt-wise niet-lineariteit ( $f(x) = w \cdot \tanh(\alpha \cdot x) + b$ ). Dit stabiliseert gradiënten en vermindert de computationele overhead door het vermijden van gemiddelde- en variantieberekeningen, wat training en inferentie versnelt.
Hiërarchische Progressie: Het aantal experts neemt monotoon toe met de diepte ( $E_1 < E_2 < \dots$ ), terwijl de groepsgroottes afnemen ( $K_1 > K_2 > \dots$ ), wat zorgt voor progressief fijnmazigere verwerking naarmate het netwerk dieper wordt.

Belangrijkste Bijdragen

HoME Laag: Introductie van een twee-niveau token-routing MoE-laag die efficiënt lokale-naar-globale patroonhiërarchieën vastlegt door tokens te groeperen voor lokale expert-routing gevolgd door globale expert-verfijning.
Verenigde Architectuur: Ontwerp van de Mamba-HoME Blok, die Mamba's SSM's integreert met HoME, waardoor geheugenefficiënte long-sequence verwerking wordt gecombineerd met hiërarchische expert-routing.
Multi-Stage Segmentatienetwerk: Implementatie van deze componenten in een U-vormige architectuur die specifelijk is afgestemd op 3D medische beeldsegmentatie, wat de contextuele representatie over ruimtelijke en diepte-dimensies verbetert.

Experimentele Resultaten

De auteurs evalueerden Mamba-HoME op vier publieke datasets (PANORAMA, AMOS, FeTA 2022, MVSeg) en één in-house CT-dataset, die CT, MRI en US modaliteiten beslaan.

Prestaties: Mamba-HoME behaalde state-of-the-art (SOTA) resultaten in segmentatie-accuratesse (Dice Similarity Coefficient - DSC) en grensprecisie (Hausdorff Distance 95% - HD95) over alle geteste modaliteiten.
- Op de PANORAMA-dataset behaalde het een DSC van 56,7% (pre-trained) en 54,8% (from scratch), waarmee het baselines zoals SegMamba en Swin UNETR overtrof.
- Op de FeTA 2022 foetale MRI-dataset bereikte het een DSC van 87,7% (pre-trained).
- Op de MVSeg 3D US-dataset behaalde het een DSC van 85,0% (pre-trained).
Efficiëntie: Ondanks een groter aantal parameters (170,1M) vergeleken met sommige concurrenten, vertoonde het model een laag GPU-geheugengebruik tijdens inferentie, een cruciaal voordeel voor hoogresolutie 3D-data. Hoewel de inferentie ongeveer 30% langzamer was dan sommige baselines, merken de auteurs op dat dit een aantrekkelijke trade-off is voor de significante winst in accuratesse.
Generaliseerbaarheid: Het model toonde sterke cross-modale generalisatie. Een model dat vooraf is getraind op CT- en MRI-data slaagde erin om zich aan te passen aan 3D-echografie taken met minimale fine-tuning, waarbij het SOTA-methoden overtrof in zowel DSC als HD95-metrieken.
Ablatie-studies:
- Optimale prestaties werden gevonden met specifieke expert-aantallen ( $E_1 \in \{4, 8, 12, 16\}$ , $E_2 \in \{8, 16, 24, 32\}$ ) en groepsgroottes ( $K \in \{2048, 1024, 512, 256\}$ ).
- Dynamic Tanh (DyT) normalisatie verbeterde de trainings- en inferentiesnelheid met ~6% vergeleken met Layer Normalization zonder verlies van accuratesse.
- Gesuperviseerde pre-training op grootschalige CT- en MRI-datasets verbeterde de prestaties en robuustheid over diverse anatomische regio's en modaliteiten aanzienlijk.

Betekenis en Claims

Het artikel claimt dat Mamba-HoME een significante vooruitgang vormt in 3D medische beeldsegmentatie door effectief de kloof te overbruggen tussen de efficiëntie van SSM's en de adaptiviteit van MoE-frameworks. De auteurs stellen dat hun hiërarchische ontwerp het model in staat stelt om de inherente lokale-naar-globale ruimtelijke hiërarchieën van medische data effectiever te vangen dan voorheen gebruikte CNN- of Transformer-gebaseerde benaderingen.

Het werk benadrukt het potentieel van modaliteits-agnostische feature-representaties, waarbij wordt aangetoond dat een model dat is voorgetraind op CT en MRI effectief kan generaliseren naar 3D-echografie, wat de uitdaging van data-variabiliteit tussen verschillende beeldvormingsmodaliteiten aanpakt. De auteurs positioneren Mamba-HoME als een schaalbare oplossing voor hoogresolutie 3D-data die een concurrerende geheugen- en reken-efficiëntie behoudt terwijl het superieure segmentatie-accuratesse levert.

Erkende Beperkingen: De auteurs merken op dat de schaalbaarheid naar extreem grote datasets (bijv. >10.000 scans) en het gedrag onder grootschalige zelfgesuperviseerde leerprocessen (>200.000 scans) nog niet zijn onderzocht, en identificeren dit als richtingen voor toekomstig werk.