Joint Medical Image Enhancement and Segmentation with Diffusion-based Symbiotic Information Interaction

Technische Samenvatting: DiSIINet – Gecombineerde medische beeldverbetering en segmentatie met diffusie-gebaseerde symbiotische informatie-interactie

Probleemstelling
Medische beeldvormingsmodaliteiten zoals MRI, CT en echografie lijden frequent aan kwaliteitsdegradatie door kostenbeperkingen, wat resulteert in een lage resolutie, ruis, onscherpte en slechte belichting. Deze beperkingen compliceren de visualisatie van kritieke anatomische structuren en laesies, wat potentieel kan leiden tot misdiagnose. Traditionele benaderingen behandelen beeldverbetering doorgaans als een aparte voorverwerkingsstap vóór de segmentatie, waardoor het potentieel van de synergie tussen beide taken onbenut blijft. Bovendien worstelen bestaande generatieve methoden, inclusief GANs en vroege diffusiemodellen, vaak met het balanceren van perceptuele kwaliteit met getrouwheid (fidelity), of vertrouwen ze op een unidirectionele informatiestroom (bijv. het gebruik van segmentatie om verbetering te sturen) die de wederzijdse voordelen niet volledig benut. Recente tekstgestuurde diffusiebenaderingen kampen met beperkingen in semantische nauwkeurigheid, zoals het over het hoofd zien van belangrijke objecten of het creëren van ambiguïteit bij super-resolutie taken.

Methodologie
De auteurs stellen DiSIINet (Diffusion-based Symbiotic Information Interaction Network) voor, een verenigd framework dat gezamenlijk medische beeldverbetering en segmentatie uitvoert. De architectuur is gebouwd op Denoising Diffusion Implicit Models (DDIM) en bestaat uit twee primaire takken:

1. DiEnh (Diffusion-based Enhancement): Een tak die gewijd is aan het herstellen van laagwaardige (LQ) beelden naar hoogwaardige (HQ) beelden.
2. DiSeg (Diffusion-based Segmentation): Een tak die gewijd is aan het genereren van segmentatiemaskers vanuit LQ-beelden.

Kernmechanisme: Symbiotische Informatie-interactie (SII)
De kerninnovatie is de Symbiotic Information Interaction (SII) module, die een dynamische, bidirectionele informatie-uitwisseling tussen de DiEnh- en DiSeg-takken faciliteert tijdens het reverse diffusieproces. In tegen tegenstelling tot unidirectionele gecascadeerde methoden, staat DiSIINet toe dat de taken elkaar iteratief verbeteren.

• Architectuur: De SII-module bestaat uit een Enh-Controller en een Seg-Controller.
• Werking: In elke reverse diffusiestap $t$ berekent de module cross-attention tussen de latente representaties van beide takken.
  • De Enh-Controller behandelt de segmentatie-latent ($Z^{seg}_t$) als de query en de verbetering-latent ($Z^{enh}_t$) als de key en value matrices om een geleide feature ($F^{(t)}_{oi}$) voor de verbeteringstak te genereren.
  • De Seg-Controller behandelt de verbetering-latent ($Z^{enh}_t$) als de query en de segmentatie-latent ($Z^{seg}_t$) als de key en value matrices om een geleide feature ($F^{(t)}_{os}$) voor de segmentatietak te genereren.
• Training: Het model wordt end-to-end getraind met behulp van een gezamenlijke verliesfunctie die DDIM ruisvoorspellingsverliezen voor beide takken combineert, een herstelverlies (MSE) voor het verbeterde beeld, en een gewogen binary cross-entropy verlies voor het segmentatiemasker.

Belangrijkste Bijdragen

1. Dual-Branch Diffusion Architectuur: DiSIINet wordt gepresenteerd als het eerste framework dat gebruikmaakt van een dual-branch diffusiearchitectuur waarbij verbetering en segmentatie elkaar wederzijds versterken door continue informatie-uitwisseling, in plaats van sequentieel of onafhankelijk te opereren.
2. Symbiotic Information Interaction (SII) Module: De auteurs hebben een nieuw module ontworpen die bidirectionele feature-flow mogelijk maakt via cross-attention tijdens het reverse diffusieproces, waardoor de segmentatietak de verbetering kan sturen en vice versa.
3. Uitgebreide Validatie: De methode werd gevalideerd over diverse mainstream medische beeldvormingsmodaliteiten (MRI, CT en echografie) en meerdere datasets (ACDC, KiTS19, TN3K), waarbij consistente prestatieverbeteringen werden aangetoond ten opzichte van state-of-the-art sequentiële en onafhankelijke benaderingen.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op drie datasets:

• ACDC (MRI): DiSIINet bereikte een PSNR van 32.15 en een SSIM van 0.932 voor verbetering, en een gemiddelde mIoU van 84.81 en gemiddelde Dice van 91.78 voor segmentatie, waarmee het methoden zoals MedSegDiff-V2 en UNet-varianten overtreft.
• KiTS19 (CT): Het model bereikte een PSNR van 34.68 en SSIM van 0.961 voor verbetering, met segmentatiemetrieken van 75.25 mIoU en 85.87 Dice.
• TN3K (Echografie): DiSIINet bereikte een PSNR van 34.26 en SSIM van 0.942, met segmentatiemetrieken van 75.18 mIoU en 85.82 Dice.

Kwalitatieve resultaten geven aan dat DiSIinet fijne structurele details (bijv. ventriculaire regio's, niertumoren, schildklierknobbels) effectiever behoudt dan concurrerende methoden, die vaak last hebben van onscherpte of verlies van detail. Ablatie-studies bevestigden dat het verwijderen van ofwel de Enh-Controller of de Seg-Controller de prestaties significant verslechtert, wat de noodzaak van de symbiotische interactie valideert.

Betekenis en Claims
Het artikel claimt dat DiSIINet het gat in diepe feature-interactie tussen verbeterings- en segmentatietaken binnen het generatieve framework van diffusiemodellen overbrugt. Door een symbiotische relatie te vestigen waarbij beide taken profiteren van de andere's semantische en structurele informatie, bereikt het framework een superieure reconstructiekwaliteit en segmentatienauwkeurigheid vergeleken met unidirectionele of onafhankelijke methoden. De auteurs erkennen dat deze prestatiewinsten gepaard gaan met een verhoogde computationele complexiteit en suggereren dat toekomstig werk zich zal richten op modeldistillatie en adaptieve mechanismen om het aantal denoising-stappen te verminderen zonder de symbiotische voordelen in gevaar te brengen.