MNet++: Extended 2D/3D Networks for Anisotropic Medical Image Segmentation

Technische Samenvatting: MNET++: EXTENDED 2D/3D NETWORKS VOOR ANISOTROPE MEDISCHE IMAGE SEGMENTATIE

Probleemstelling

Drie-dimensionale medische beeldsegmentatie staat voor een hardnekkige uitdaging met betrekking tot anisotrope voxel-afstand, waarbij de afstand tussen plakjes (z-as) aanzienlijk groter is dan de in-plane resolutie (x- en y-assen). Dit komt veel voor bij klinische MRI- en CT-acquisities. Standaard 3D Convolutionele Neurale Netwerken (CNN's) lijden vaak aan overfitting op dun gezaaide door-plane regio's, terwijl 2D CNN's er niet in slagen om volumetrische context te vangen. Hoewel hybride benaderingen zoals 2.5D U-Nets of de originele MNet proberen deze regimes te verzoenen, vertrouwen ze vaak op handmatig ontworpen fusieregels of missen ze moderne mechanismen voor efficiënte langetermijn-contextuele redenering langs de diepte-as.

Methodologie

De studie richt zich op twee primaire doelstellingen: de getrouwe reproductie van de originele MNet-architectuur en de introductie van lichtgewicht uitbreidingen om de aanpasbaarheid en efficiëntie te verbeteren.

1. Reproductiekader

De auteurs hebben MNet opnieuw geïmplementeerd binnen het nnU-Net framework om consistentie met standaard preprocessing-pipelines te waarborgen en de gerapporteerde prestaties onder realistische rekenbeperkingen te verifiëren.

• Datasets: Experimenten werden uitgevoerd op PROMISE12 (prostaat MRI) en een gecontroleerde subset van LiTS (lever CT).
• Configuratie: De reproductie maakte gebruik van de originele MNet-architectuur (5 encoder/decoder stadia met parallelle 2D/3D stromen) getraind voor 150 epochs met Dice loss en deep supervision.
• Anisotropie-testen: Modellen werden geëvalueerd over variërende z-afstanden (1 mm, 2.2/2.0 mm, en 4 mm) om robuustheid te beoordelen.

2. Voorgestelde Uitbreidingen

Twee specifieke architecturale modificaties zijn geïntroduceerd in de opnieuw geïmplementeerde MNet:

• Fusion Gating Mechanisme:

  • Probleem: De originele MNet gebruikt vaste, hard-coded operaties (optelling, aftrekking of concatenatie) om 2D en 3D feature maps te fuseren.
  • Oplossing: Een geleerd Fusion Gating module vervangt deze statische regels. Het voorspelt een soft gate $g \in [0, 1]$ om te interpoleren tussen 2D en 3D features: $y = g \odot x_{2D} + (1-g) \odot x_{3D}$.
  • Varianten: De studie verkende Channel Gating (globale betrouwbaarheid per kanaal) en Spatial Gating (locatie-specifieke trust maps gedeeld over kanalen). Dit stelt het model in staat om feature-stromen adaptief te wegen op basis van lokale beeldkwaliteit of de ernst van de anisotropie.

• VMamba Integratie:

  • Probleem: Standaard 3D convoluties worstelen om langetermijn-afhankelijkheden langs de z-as te modelleren in dikke-plakjes scans zonder excessieve computationele kosten.
  • Oplossing: De auteurs hebben VMamba (een state-space recurrent module) geïntegreerd in de bottleneck stadia (3, 4, en 5) van de encoder.
  • Mechanisme: Het inputvolume wordt gehervormd zodat elke ruimtelijke positie $(H, W)$ wordt behandeld als een onafhankelijke sequentie langs de diepte $D$. Een z-as selectieve scan verwerkt deze sequenties met $O(D)$ complexiteit, waardoor inter-slice afhankelijkheden efficiënt worden gevangen. Dit vermindert het aantal parameters door zware 3D-convoluties te vervangen in de bottleneck.

Belangrijkste Resultaten

Reproductie Validatie

De opnieuw geïmplementeerde MNet kwam succesvol overeen met de prestatietrends van het originele paper binnen de acceptabele reproductiemarge ($\pm 2\text{--}3\%$):

• PROMISE: Behaalde 89.0 ± 0.9% Dice Similarity Coefficient (DSC), binnen 0.8% van de originele 89.8%.
• LiTS: Behaalde 94.3 ± 1.9% voor lever en 54.6 ± 3.1% voor tumorsegmentatie. De lagere tumorscore wordt toegeschreven aan de kleinere trainingssubset (50 gevallen versus 131) en minder trainingsepochs (150 versus 500).

Prestaties van de Uitbreidingen

• Spatial Gating: Verbeterde de PROMISE-prestaties met +0.8% (bereikte 90.0% DSC) met verwaarloosbare parameter overhead (<3% inference kosten). Het demonstreerde superieure stabiliteit onder variërende anisotropie, met een kleinere DSC-daling (1.5 punten) tussen 1mm en 4mm afstand vergeleken met de baseline.
• VMamba: Verminderde het aantal modelparameters van 8.77M naar 7.42M. Het behaalde de sterkste leversegmentatie prestatie op LiTS (95.8 ± 0.7% DSC) en verbeterde de prestatieconsistentie, waarbij de PROMISE Dice variatie werd gereduceerd tot ±0.7%.
• Gecombineerd Model: De combinatie van Spatial Gating en VMamba bereikte 95.9 ± 0.3% DSC op LiTS lever, wat de complementaire aard van adaptieve fusie en diepte-bewuste modellering bevestigt.

Anisotropie Robuustheid

Beide uitbreidingen behielden de robuustheid van MNet tegen anisotropie. Over 1–4 mm voxel-afstanden bleef de Dice variatie ongeveer 1.5%, wat aantoont dat geleerde fusie en state-space modellering het vermogen van het netwerk om met variabele plakdikte om te gaan niet in gevaar brengen.

Betekenis en Claims

Het paper claimt drie primaire bijdragen:

1. Reproduceerbaarheid: Het valideert dat de hybride 2D/3D fusiestrategie van MNet haalbaar en robuust is onder realistische rekenbudgetten, waarmee de kernpremisse van het originele paper wordt bevestigd dat adaptieve dimensionale representatie essentieel is voor anisotrope segmentatie.
2. Adaptieve Fusie: Het demonstreert dat het vervangen van hard-coded fusieregels door geleerde gating mechanismen het netwerk in staat stelt om 2D en 3D features dynamisch te mengen, wat de grensprecisie en stabiliteit verbetert zonder significante computationele overhead.
3. Efficiënte Langetermijn-modellering: Het toont aan dat het integreren van VMamba blokken efficiënt langetermijn-diepte afhankelijkheden in anisotrope volumes kan modelleren, wat de feature coherentie verhoogt en het aantal parameters vermindert.

Beperkingen en Bescheiden Conclusies

De auteurs hanteren een bescheiden standpunt met betrekking tot hun bevindingen:

• Dataset Beperkingen: De LiTS resultaten, met name voor tumorsegmentatie, worden beperkt door het gebruik van een 50-gevallen subset en kortere trainingsschema's. De auteurs merken op dat tumorprestaties sterk afhankelijk zijn van de morfologie van de laesie en de hoeveelheid data; volledige dataset training met uitgebreidere schema's kan nodig zijn om verdere winst te boeken.
• Convergentie: Hoewel 150 epochs voldoende waren voor de PROMISE dataset (waar de prestaties rond epoch 100–120 plateauerden), vertoonden de LiTS loss-curves grillig gedrag, wat suggereert dat langere training of meer data nodig kan zijn voor complexe anatomische structuren.
• Toekomstig Werk: De studie erkent dat verdere testen vereist zijn om definitieve conclusies te trekken, met name met betrekking tot de generalisatie van deze uitbreidingen naar andere multi-class taken en het potentieel van geavanceerde VMamba varianten (bijv. bidirectionele scanning) op grotere computationele middelen.

Samenvattend bevestigt de studie de reproduceerbaarheid van MNet en levert het bewijs dat adaptieve fusie en state-space aandacht de segmentatiebetrouwbaarheid onder anisotrope condities verder kunnen versterken, hoewel definitieve conclusies over tumorsegmentatie meer uitgebreide validatie vereisen.