🤖 machine learning

MambaX-Net: Dual-Input Mamba-Enhanced Cross-Attention Network for Longitudinal Prostate MRI Segmentation

MambaX-Net is een nieuwe semi-gesuperviseerde, dual-input 3D-segmentatiearchitectuur die een Mamba-verbeterde Cross-Attention-module en een Shape Extractor benut om prostaatzones effectief te segmenteren in longitudinale Active Surveillance MRI door gebruik te maken van gegevens van voorgaande tijdstippen en pseudo-labels, waardoor het bestaande modellen overtreft in scenario's met beperkte expertannotaties.

Oorspronkelijke auteurs: Yovin Yahathugoda, Davide Prezzi, Patricia A. Gutierrez, Piyalitt Ittichaiwong, Vicky Goh, Sebastien Ourselin, Michela Antonelli

Gepubliceerd 2026-08-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yovin Yahathugoda, Davide Prezzi, Patricia A. Gutierrez, Piyalitt Ittichaiwong, Vicky Goh, Sebastien Ourselin, Michela Antonelli

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Prostaatkanker is een veelvoorkomende ziekte bij mannen, en voor veel gevallen die niet direct levensbedreigend zijn, kiezen artsen voor een strategie die actieve surveillance wordt genoemd. In plaats van direct over te gaan tot chirurgie of bestraling, wat aanzienlijke bijwerkingen kan veroorzen, worden patiënten nauwlettend gevolgd gedurende een langere periode. Dit houdt regelmatig bloedonderzoek en herhaalde MRI-scans (magnetic resonance imaging) in om te kijken naar tekenen van groei of verandering van de kanker. Het doel is om progressie vroegtijdig te detecteren terwijl onnodige behandelingen voor degenen die het niet nodig hebben, worden vermeden. Het lezen van deze scans is echter een veeleisende taak voor radiologen. Zij moeten de gehele prostaatklier en de interne secties ervan zorgvuldig omlijnen om het volume te meten en subtiele veranderingen op te merken. Dit handmatig doen voor elke scan in een langdurig monitoringsprogramma is traag en foutgevoelig, wat een behoefte creëert aan kunstmatige intelligentie om dit proces te automatiseren.

De uitdaging voor computers is dat de prostaatanatomie niet statisch is. Gedurende maanden of jaren kan de klier van vorm veranderen, krimpen of licht verschuiven, en de kwaliteit van de MRI-beelden kan variëren. De meeste bestaande AI-modellen zijn getraind om een enkele scan in isolatie te bekijken, als een momentopname. Ze begrijpen het verhaal van de geschiedenis van de patiënt niet. Als een computer een nieuwe scan ziet zonder te weten hoe de prostaat er een jaar geleden uitzag, kan het moeite hebben om onderscheid te maken tussen een normale verandering en een teken van ziekte. Bovendien vereist het trainen van deze systemen meestal duizenden afbeeldingen die met zorg door deskundige artsen zijn getekend, een bron die schaars en duur is om te produceren.

Een team van onderzoekers aan King's College London heeft een nieuwe aanpak ontwikkeld om deze problemen op te lossen, zoals beschreven in een recente studie. Ze hebben een systeem ontwikkeld genaamd MambaX-Net, dat is ontworpen om twee scans van dezelfde patiënt tegelijk te bekijken: de huidige afbeelding en de afbeelding van het vorige bezoek. In plaats van de nieuwe scan als een op zichzelf staand beeld te behandelen, gebruikt het systeem de oude scan en de vorige medische tekening van de prostaat als gids. Dit stelt de computer in staat om te begrijpen hoe de anatomie in de loop van de tijd is geëvolueerd, in plaats van alleen maar te gissen op basis van één enkel moment.

De kern van dit nieuwe systeem rust op twee specifieke innovaties. Ten eerste maakt het gebruik van een component die fungeert als een geheugenbank, die de oude medische tekening neemt en deze omzet in een compacte kaart van de vorm en grootte van de prostaat. Deze kaart dient als een anatomische anker, die het systeem eraan herinnert hoe de klier er specifiek voor die persoon uit zou moeten zien. Ten tweede gebruikt het systeem een gespecialiseerde verwerkingseenheid die de huidige scan vergelijkt met de vorige, waarbij gezocht wordt naar verbindingen over de gehele afbeelding. Deze eenheid is ontworpen om efficiënt te zijn, waardoor het in staat is om langetermijnrelaties binnen het 3D-volume van de prostaat te volgen zonder vast te lopen in de enorme hoeveelheid gegevens. Door het geheugen van de oude vorm te combineren met een diepe vergelijking van de nieuwe afbeelding, kan het systeem de grenzen verfijnen, vooral in lastige gebieden waar de prostaat de omliggende weefsels raakt of waar de vorm onregelmatig is.

Om dit idee te testen, vertrouwden de onderzoekers niet op een perfecte set van deskundige tekeningen, die zeldzaam zijn voor longitudinale studies. In plaats daarvan gebruikten ze een slimme trainingsmethode. Ze begonnen met een krachtig, bestaand AI-model om ruwe, geautomatiseerde tekeningen te genereren voor een grote set patiëntenscans. Deze geautomatiseerde tekeningen, hoewel niet perfect, dienden als startpunt. Het nieuwe systeem leerde vervolgens deze ruwe concepten te corrigeren door gebruik te maken van de geschiedenis van de scans van de patiënt. De onderzoekers testten hun systeem op een real-world dataset van patiënten die ondergaan aan actieve surveillance, een groep die moeilijke gevallen omvatte, zoals mannen die een prostaatoperatie hadden ondergaan of die een slechte beeldkwaliteit hadden door metaalimplantaten of andere factoren.

De resultaten toonden aan dat deze nieuwe methode de bestaande state-of-the-art modellen aanzienlijk overtrof. Zelfs wanneer getraind op een relatief klein aantal patiënten met imperfecte, geautomatiseerde labels, produceerde het systeem nauwkeurigere contouren van de prostaat en de interne zones dan modellen die getraind waren op veel grotere datasets. Het was bijzonder succesvol in het behouden van gladde, continue grenzen, waarbij de grillige of gefragmenteerde fouten die andere systemen vaak teisteren, werden vermeden. Het systeem bleek robuust, zelfs wanneer de geautomatiseerde labels waarvan het leerde fouten bevatten, wat suggereert dat het gebruik van historische context de computer hels te helpen ruis te negeren en zich te concentreren op de ware anatomie.

De studie onderzocht ook hoe goed het systeem verschillende soorten fouten in de trainingsdata kon afhandelen. Ze vonden dat het systeem weliswaar veerkrachtig was tegen een bepaalde mate van onnauwkeurigheid, maar het meest gevoelig was voor fouten in de buitenste laag van de prostaat, een dunne en onregelmatige regio die moeilijk te definiëren is. Dit komt overeen met de bekende moeilijkheid die radiologen ervaren bij het markeren van dit specifieke gebied. Ondanks deze gevoeligheid leverde het systeem consequent betere resultaten dan zijn concurrenten, wat aantoont dat het benutten van de tijdlijn van de zorg van een patiënt een krachtige manier is om de analyse van medische beeldvorming te verbeteren.

Dit werk suggereert een pad voorwaarts voor de klinische praktijk waar de tijd van experts beperkt is. Door de eigen medische geschiedenis van de patiënt als gids te gebruiken, kan kunstmatige intelligentie complexe organen met hoge precisie segmenteren, zelfs wanneer de trainingsdata imperfect zijn. De onderzoekers merken op dat hoewel hun systeem een belangrijke stap voorwaarts is, het is ontworpen om met paren scans te werken, waarbij het naar één bezoek tegelijk in sequentie kijkt. Ze erkennen dat voor zeer langdurige monitoring het systeem zorgvuldig beheerd moet worden om te garanderen dat kleine fouten zich niet over vele jaren ophopen. Desalniettemin biedt het vermogen om de prostaat accuraat over de tijd te volgen zonder dat daarvoor een enorme bibliotheek aan handgetekende kaarten nodig is, een veelbelovende tool om actieve surveillance efficiënter en betrouwbaarder te maken voor patiënten.

Technische Samenvatting: MambaX-Net voor longitudinale prostaat-MRI-segmentatie

Probleemstelling
Actieve surveillance (AS) is een standaardbehandeling voor laag- tot intermediair risico bij prostaatkanker, waarbij regelmatige monitoring via seriële MRI nodig is om ziekteprogressie te volgen. Nauwkeurige segmentatie van de gehele prostaat (WP) en haar subregio's (perifere zone PZ, transitiezone TZ) is cruciaal voor volumeschatting en geautomatiseerde detectie van laesies. Bestaande deep learning-modellen kampen echter met twee primaire beperkingen in deze context:

Longitudinale Modelleringskloof: De meeste state-of-the-art (SOTA) modellen worden getraind op data van één enkel tijdstip. Ze behandelen elke scan in isolatie, waardoor ze de rijke temporele informatie die beschikbaar is in AS-protocollen—waarbij patiënten gedurende meerdere scans over een bepaalde tijd worden gevolgd—niet benutten.
Annotatieschaarste: Longitudinale datasets zijn schaars en kostbaar om handmatig te annoteren. Bestaande semi-gesuperviseerde benaderingen hebben vaak moeite met de domeinverschuiving tussen publieke pre-training datasets en private klinische AS-data, of kunnen niet goed omgaan met de ruis die inherent is aan pseudo-labels gegenereerd voor ongelabelde longitudinale scans.
Architecturale Beperkingen: Hoewel Transformers langetermijncontext kunnen vastleggen, vereisen ze vaak grote datasets en hebben ze moeite met fijne details. Omgekeerd zijn CNN's (zoals nnU-Net) robuust, maar missen ze expliciete mechanismen om temporele evolutie te modelleren zonder rigide registratie, wat onbetrouwbaar is voor prostaat-MRI vanwege niet-rigide deformaties.

Methodologie
De auteurs stellen MambaX-Net voor, een nieuwe semi-gesuperviseerde, dual-input 3D segmentatiearchitectuur die specifiek is ontworpen voor longitudinale data. Het model breidt het 3D nnU-Net framework uit om een paar scans te verwerken: de huidige scan op tijdstip $t$ ( $I_t$ ) en de vorige scan op tijdstip $t-1$ ( $I_{t-1}$ ), samen met de segmentatiemasker van het vorige tijdstip ( $M_{t-1}$ ).

Belangrijke architecturale componenten zijn onder meer:

Dual-Encoder Structuur: Twee encoders met gedeelde gewichten die $I_t$ en $I_{t-1}$ verwerken. De encoder voor $I_{t-1}$ is afgekapt om alleen de bovenste drie feature-niveaus te extraheren, om de balans te bewaren tussen computationele efficiëntie en het behoud van hoog-resolutie ruimtelijke details.
Shape Extractor Module (SEM): Een sequentiële blok van 3D convolutionele lagen die het vorige segmentatiemasker ( $M_{t-1}$ ) codeert in een latente anatomische representatie ( $f_{SEM}^{t-1}$ ). Dit dient als een expliciete anatomische prior, die patiëntspecifieke vorm- en grootte-informatie vastlegt zonder dat expliciete beeldregistratie nodig is.
Mamba-Enhanced Cross-Attention Module (M-CAM): Dit is de kerninnovatie. Het integreert Mamba-blokken (State Space Models) in een cross-attention mechanisme.
- De huidige scan features ( $f_t$ ) fungeren als queries.
- De vorige scan features ( $f_{t-1}$ ) gecombineerd met de SEM-output ( $f_{SEM}^{t-1}$ ) fungeren als keys en values.
- Mamba-blokken verwerken deze embeddings om efficiënt lange-afstands ruimtelijke en temporele afhankelijkheden te vangen met lineaire schaling, waardoor de kwadratische complexiteit van Transformers wordt vermeden.
- De module voert impliciete feature-alignering uit in de latente ruimte, waarbij de beelddata van de huidige scan wordt gefuseerd met de structurele begeleiding van het vorige masker.
Self-Training Framework: Om de schaarste aan expert-annotaties in longitudinale datasets aan te pakken, gebruiken de auteurs een semi-gesuperviseerde strategie. Een vooraf getrainde nnU-Net op de publieke PI-CAI dataset genereert pseudo-labels voor de ongelabelde AS-trainingsdata. Deze pseudo-labels worden gebruikt om MambaX-Net te finetunen, waarbij het pseudo-label van het vorige tijdstip als input dient en het pseudo-label van het huidige tijdstip wordt gebruikt voor de loss-berekening.
Loss Functie: Een gemodificeerde Focal Tversky Dice Cross-Entropy (FT_DCE) loss wordt gebruikt om klassenimbalans aan te pakken en de focus te leggen op moeilijke negatieve voorbeelden, met name bij de onregelmatige prostaatapex en -basis.

Belangrijkste Bijdragen

Eerste Mamba-gebaseerde Longitudinale Segmentatie: MambaX-Net is de eerste architectuur die gezamenlijk de longitudinale MRI-evolutie en de expliciete prior-mask anatomische context modelleert met behulp van Mamba-blokken.
Nieuwe Module Integratie: De introductie van de M-CAM en SEM modules stelt het model in staat om globale aandacht te funderen in patiëntspecifieke geometrie, waardoor zonegrenzen worden verfijnd zonder afhankelijk te zijn van rigide registratie.
Data-efficiëntie: Het framework demonstreert dat hoogwaardige segmentatie kan worden bereikt met beperkte expert-annotaties door gebruik te maken van ruisige pseudo-labels en temporele context, waarmee het modellen die getraind zijn op grotere datasets overtreft.

Experimentele Resultaten
Het model werd geëvalueerd op een private longitudinale AS-dataset (317 patiënten) en vergeleken met SOTA-baselines (nnU-Net-V2, SwinUNETR-V2, SegMamba) en een eerder dual-scan model (DSM).

Prestaties: MambaX-Net presteerde significant beter dan alle baselines in de Dice Similarity Coefficient (DSC) en de 95e percentiel Hausdorff Distance (HD95) voor de WP, PZ en TZ, met name in low-data regimes ( $n \le 50$ patiënten voor finetuning).
Robuustheid: Het model behield een superieure prestatie, zelfs wanneer het getraind werd op ruisige pseudo-labels, terwijl single-scan modellen (met name SwinUNETR) ernstige degradatie vertoonden.
Kwalitatieve Analyse: Visualisaties toonden aan dat MambaX-Net gladde, aaneengesloten 3D-volumes produceerde met nauwkeurige begrenzing, zelfs in uitdagende gevallen met betrekking tot post-chirurgische anatomie (TURP) of beeldartefacten, waar andere modellen fouten vertoonden in de grensafbakening of discontinuïteiten in de voorspelling.
Efficiëntie: Ondanks een groot aantal parameters (426,4M), vereist MambaX-Net minder piek GPU-geheugen (14,4 GB) en is het sneller (276,3 ms) dan SwinUNETR (25,1 GB, 649,5 ms) dankzij de lineaire schaling van Mamba-blokken, waardoor de kwadratische geheugenbottlenecks van Transformers worden vermeden.

Betekenis en Claims
Het artikel claimt dat MambaX-Net een haalbare weg biedt naar klinische vertaling voor longitudinale prostaat-MRI-analyse zonder de noodzaak van uitgebreide handmatige annotatie of expliciete beeldregistratie. Door de efficiëntie van Mamba effectief te combineren met de structurele begeleiding van een shape extractor, overwint het model de beperkingen van zowel CNN's als Transformers bij het verwerken van temporele data. De auteurs benadrukken dat het vermogen van het model om pseudo-labels te benutten terwijl de nauwkeurigheid hoog blijft in data-arme, ruisige omgevingen, een kritieke bottleneck aanpakt bij de implementatie van AI voor Actieve Surveillance.

De auteurs erkennen bescheiden de beperkingen, waarbij zij opmerken dat de studie gebaseerd is op een dataset van één instelling en dat het dual-input ontwerp momenteel paren van tijdstippen verwerkt in plaats van drie of meer gelijktijdig te modelleren. Ze merken ook op dat de prestaties kunnen verslechteren als de pseudo-labels sterk gecorrumpeerd raken, wat met name de PZ beïnvloedt, wat wijst op toekomstig werk in uncertainty-aware zelf-training.

Meer zoals dit