MMIF-MESFusion：Coupling Modality-Specific Enhancement and Statistics- Guided Adaptive Fusion for Medical Image Fusion

Technische Samenvatting: MMIF-MESFusion

Probleemstelling
Multimodale medische beeldfusie beoogt anatomische details (van CT/MRI) en functionele metabole informatie (van PET/SPECT) te synthetiseren tot één enkel beeld om "informatieblinde vlekken" in de klinische diagnostiek te elimineren. Bestaande deep learning-benaderingen worden echter geconfronteerd met drie primaire uitdagingen:

1. Heterogene Kenmerkverschillen: Verschillende modaliteiten bezitten verschillende fysieke beeldvormingsmechanismen (bijv. hoogfrequente anatomische texturen in MRI versus laagfrequente metabole intensiteit in PET), die standaard uniforme encoders niet effectief kunnen aanpakken.
2. Onvoldoende Lange-Afstand Modellering: Hoewel Transformers globale modellering bieden, is hun kwadratische complexiteit prohibitief voor medische beelden met een hoge resolutie. Omgekeerd zijn standaard CNN's beperkt door lokale receptieve velden, en de directe toepassing van Mamba (State Space Models) worstelt vaak met de niet-causale ruimtelijke structuur van 2D/3D beelden, wat leidt tot een verslechterde ruimtelijke continuïteit.
3. Inefficiënte Fusiestrategieën: Huidige fusiemethoden vertrouwen vaak op rekenintensieve aandachtmechanismen of eenvoudige concatenatie, waarbij ze er niet in slagen om structurele en functionele informatie dynamisch te balanceren op basis van de holistische statistische eigenschappen van de feature maps.

Methodologie: Het MESFusion-framework
De auteurs stellen MESFusion voor, een lichtgewicht, end-to-end framework dat is ontworpen om modaliteitsspecifieke verbetering te koppelen aan statistiekgestuurde adaptieve fusie. De architectuur volgt een encoder-fusie-decoder paradigma bestaande uit vier sleutelfases:

1. Modaliteitsbewuste Verbetering (MAE):

   • In plaats van een gedeelde preprocessing-module, gebruikt MAE gedifferentieerde strategieën voor anatomische (MRI) en functionele (PET/SPECT/CT) beelden.
   • Voor MRI maakt het gebruik van multi-schaal gradiëntextractie (3×3 en 5×5 convoluties) en structuurbewuste aandacht om hoogfrequente anatomische texturen te verbeteren.
   • Voor Functionele beelden voert het kanaalgebaseerde statistische modellering uit (het berekenen van het globale gemiddelde en de standaarddeviatie) om energiebewuste aandachtsgewichten te crenteren, waardoor de intensiteitsverdelingen behouden blijven en metabole regio's worden geaccentueerd.

2. Spatial Gated Mamba (SGMam) Backbone:

   • Om de beperkingen van standaard Mamba in 2D medische beeldvorming aan te pakken, introduceren de auteurs SGMam, die lineaire globale modellering integreert met lokale kenmerkextractie.
   • Het beschikt over een Spatial Gating (SPG) tak met behulp van een 7×7 depth-wise convolutie om een ruimtelijke gewichtskaart te genereren, wat achtergrondredundantie onderdrukt en prominente structurele details versterkt.
   • Het maakt gebruik van een 2D Selective Scan (SS2D) mechanisme met een multi-pad scanningstrategie om lange-afstandsafhankelijkheden en globale context te vangen met lineaire computationele complexiteit, waarbij de fijne anatomische continuïteit behouden blijft.

3. Statistiek-gestuurde Adaptieve Fusie (SDAF):

   • Deze module vervangt zware aandachtmechanismen door een lichtgewicht, distributiebewuste fusiestrategie.
   • Het extraheert eerste-orde (gemiddelde) en tweede-orde (standaarddeviatie) statistieken uit de featurekanalen van beide modaliteiten.
   • Deze statistieken worden geconcateneerd en verwerkt door een bottleneck-netwerk om dynamische kanaalsgewijze gewichten te genereren, waardoor het model in staat is om structurele en functionele informatie adaptief te balanceren op basis van de specifieke inhoud van de invoerbeelden.

4. Decoder en Verliesfunctie:

   • Een hiërarchische decoder reconstrueert het gefuseerde beeld met behulp van gecascadeerde convoluties met SiLU- en Tanh-activaties om radiometrische getrouwheid te garanderen.
   • De training maakt gebruik van een samengestelde verliesfunctie die Intensity Loss (voor globale balans en doelverbetering), Gradient Loss (voor randbehoud) en Structural Similarity Loss (MS-SSIM) (voor perceptuele consistentie) combineert.

Belangrijkste Bijdragen

1. Probleemgestuurde Architectuur: Het artikel introduceert een framework dat specifiek is ontworpen voor heterogene medische modaliteiten, waarbij wordt afgeweken van generieke stapeling van modules naar een op maat gemaakte encoder-fusie-decoder benadering.
2. Modaliteitsspecifieke Verbetering: De MAE-module overbrugt de representatiekloof tussen anatomische en functionele beelden door onderscheidende verbeteringsstrategieën toe te passen vóór de diepe interactie.
3. Lichtgewicht Spatial-Gated Mamba: De SGMam-module past de Mamba-architectuur succesvol aan voor 2D medische beelden, waarbij lokale inductieve biases wordt gecombineerd met globale contextmodellering terwijl de lineaire complexiteit behouden blijft.
4. Statistiek-gestuurde Fusie: De SDAF-laag biedt een efficiënt alternatief voor aandacht-gebaseerde fusie, waarbij gebruik wordt gemaakt van kanaalsgewijze statistische priors om gewichten dynamisch te kalibreren zonder significante computationele overhead.

Experimentele Resultaten
De auteurs evalueerden MESFusion op drie publieke datasets (CT-MRI, PET-MRI, SPECT-MRI) en een externe cross-dataset test (NAF-PROSTATE PET/CT).

• Kwantitatieve Prestaties: MESFusion behaalde competitieve of superieure resultaten over meerdere metrieken, waaronder Visual Information Fidelity (VIF), Correlation Coefficient (CC), Edge-based Fusion Quality (QAB/F) en Multi-Scale Structural Similarity (MS-SSIM). Met name vertoonde het sterke prestaties in PSNR en MS-SSIM, wat wijst op superieure structurele bewaring.
• Ablatieonderzoeken: Het verwijderen van een kerncomponent (MAE, SGMam of SDAF) resulteerde in een meetbare degradatie van de visuele kwaliteit en de score van de metrieken, wat de synergetische werking van de voorgestelde modules bevestigt. De inclusie van zowel het gemiddelde als de standaarddeviatie in SDAF bleek superieur aan het gebruik van alleen het gemiddelde.
• Generalisatie: Op de ongeziene NAF-PROSTATE dataset behield de methode een robuuste fusiekwaliteit en presteerde deze beter dan andere methoden in het behouden van laesiecontrast en anatomische grenzen, ondanks verschuivingen in de distributie.
• Efficiëntie: De voorgestelde methode is zeer efficiënt, met aanzienlijk lagere FLOPs (3.511G) en parameteraantallen (31.6K) vergeleken met state-of-the-art methoden zoals DDBFusion en DM-FNet, terwijl het snellere inferentietijden (0.056s) bereikt.

Betekenis en Claims
Het artikel claimt dat MESFusion een robuuste en efficiënte oplossing biedt voor multimodale medische beeldfusie door effectief de heterogeniteit van feature-distributies en de computationele kosten van globale modellering aan te pakken. De auteurs benadrukken dat hun aanpak een gunstige afweging bereikt tussen structurele bewaring, retentie van functionele informatie en computationele efficiëntie. Het framework wordt gepresenteerd als een levensvatbare optie voor middelenbeperkte klinische omgevingen, waarbij visueel coherente resultaten worden geboden met duidelijke anatomische contouren en een precieze functionele representatie. De auteurs erkennen dat de huidige weging van de verliesfunctie afhankelijk is van handmatige afstemming en identificeren adaptieve optimalisatie van de verliesgewichtgeving als een richting voor toekomstig werk.