Supervise-assisted Multi-modality Fusion Diffusion Model for PET Restoration

Probleemstelling

Positron Emissie Tomografie (PET) is een krachtige functionele beeldvormingstechniek die essentieel is voor de diagnose van kanker, hartaandoeningen en neurologische ziekten. Een groot nadeel is echter de blootstelling aan straling door de gebruikte radioactieve tracer. Om de stralingsdosis te verlagen (volgens het ALARA-principe), wordt vaak de injectiedosis verlaagd of de scantijd verkort. Dit leidt tot PET-beelden met een laag aantal fotonen, wat resulteert in een slechte signaal-ruisverhouding (SNR) en ruisrijke beelden die de klinische diagnose kunnen beïnvloeden.

Bestaande methoden om deze lage-dosis (LPET) beelden te herstellen naar standaard-dosis (SPET) kwaliteit, hebben twee belangrijke beperkingen:

1. Beperkte informatie: Methoden die alleen LPET-beelden gebruiken, hebben te weinig informatie om hoogwaardige herstelresultaten te garanderen.
2. Multimodale inconsistentie en OOD-data: Hoewel het gebruik van MRI-beelden (die duidelijke anatomische details bieden) als extra input veelbelovend is, leiden directe fusiemethoden vaak tot artefacten. De structuur en textuur van MRI en PET komen niet altijd overeen (bijv. een anatomische structuur in MRI die niet overeenkomt met metabolische activiteit in PET). Dit kan leiden tot het onbedoeld introduceren van "foute" structuren in het herstelde PET-beeld. Daarnaast presteren diepe leermodellen vaak slecht op Out-of-Distribution (OOD) data, zoals beelden verkregen met verschillende scanners, tracers of protocollen, omdat ze vaak zijn getraind op specifieke, kleine datasets.

Methodologie: MFdiff

De auteurs stellen MFdiff voor: een Supervise-assisted Multi-modality Fusion Diffusion Model. Dit model is ontworpen om hoogwaardige SPET-beelden te genereren uit LPET en bijbehorende T1-MRI-beelden. Het framework bestaat uit drie kerncomponenten:

1. Multi-modality Feature Fusion Module

Om de informatie uit PET en MRI effectief te combineren zonder artefacten, wordt een speciaal fusiemodule gebruikt bestaande uit twee sub-modules:

• Intra-Modality Learning (IML):
  • Modality Encoder: Gebruikt twee onafhankelijke Transformer-encoders (met gedeelde architectuur maar verschillende parameters) om modality-specifieke features te extraheren.
  • Global/Detailed Encoder: Splits de features in twee takken.
    • Global Tak: Gebruikt Multi-Head Attention (Transformer) om globale anatomische structuren te extraheren. Hierbij wordt de consistentie tussen MRI en PET benadrukt.
    • Detail Tak: Gebruikt Invertible Residual Blocks (IRB) voor verliesvrije extractie van fijne details. Omdat MRI en PET verschillende texturen hebben, worden de parameters van deze takken onafhankelijk gehouden om te voorkomen dat MRI-texturen de lagere-resolutie PET-signalen overschrijven.
• Cross-Modality Aggregation (CMA):
  • Een dual-fusiestrategie met een Global Fusion Layer en een Detail Fusion Layer. Deze lagen leren een geoptimaliseerde fusie-feature die de complementaire informatie combineert terwijl inconsistenties (zoals anatomische structuren zonder metabolische activiteit) worden gefilterd.

2. Conditional Diffusion Restoration Module

De gefuseerde features worden gebruikt als conditionele input voor een Denoising Diffusion Probabilistic Model (DDPM).

• Forward Proces: Ruis wordt geleidelijk toegevoegd aan het doel-SPET-beeld.
• Reverse Proces: Het model leert het ruisproces omgekeerd te doorlopen om het SPET-beeld te reconstrueren.
• Conditionering: Tijdens het ontrafelen (denoising) worden de ruwe LPET-beelden en de gefuseerde features (van MRI en LPET) als extra condities aan het netwerk (Attention U-Net) gegeven. Dit zorgt ervoor dat het model complexe details in het SPET-beeld nauwkeuriger kan genereren op basis van de anatomische gids van de MRI, zonder de metabolische informatie van de PET te verliezen.

3. Twee-staps Supervise-assisted Learning Strategie

Om het gebrek aan grote, gepaarde klinische datasets en het probleem van OOD-data aan te pakken, wordt een twee-fasen trainingsstrategie gebruikt:

1. Externe Fase (Generalized Priors): Het model wordt getraind op een groot, gesimuleerd dataset (phantoms). Hier leert het de fundamentele principes van multimodale fusie en ruisreductie zonder de beperkingen van echte patiëntdata.
2. Interne Fase (Specific Priors): Het voorgetrainde model wordt fijngefineerd (fine-tuned) op een kleine hoeveelheid echte in-vivo klinische data. Dit stelt het model in staat om zich aan te passen aan specifieke OOD-variabelen (zoals verschillende scanners of protocollen) zonder dat er enorme hoeveelheden nieuwe gepaarde data nodig zijn.

Belangrijkste Bijdragen

1. Nieuw Diffusion Framework: Een conditioneel diffusion-model dat specifiek is ontworpen voor PET-restauratie met multimodale input (PET + MRI).
2. Geavanceerde Fusiemodule: Een module die modality-specifieke en gedeelde informatie effectief scheidt en combineert via een dual-branch (globaal/detail) architectuur, wat artefacten door modality-mismatch minimaliseert.
3. Robuuste Leerstrategie: Een twee-staps strategie die generalisatie over verschillende klinische scenario's mogelijk maakt door eerst te leren op gesimuleerde data en vervolgens te fine-tunen op beperkte echte data.
4. Superieure Prestaties: Het model presteert zowel kwalitatief als kwantitatief beter dan de state-of-the-art methoden (zoals GANs, CNNs en eerdere diffusion-modellen).

Resultaten

De auteurs hebben hun methode getest op zowel gesimuleerde phantom-data als drie verschillende in-vivo OOD-datasets (variaties in scantijd, injectiedosis en toedieningsprotocol van de tracer).

• Kwantitatieve Resultaten: MFdiff behaalde de hoogste scores op PSNR (Peak Signal-to-Noise Ratio) en SSIM (Structural Similarity Index) en de laagste NMSE (Normalized Mean Square Error) in vergelijking met zes andere state-of-the-art methoden (o.a. M-UNet, EA-GAN, Hi-Net, CSRD).
  • Op de phantom-dataset verbeterde de PSNR met ongeveer 0.65 dB ten opzichte van de tweede beste methode (CSRD).
  • Op OOD-data (bijv. 2-minuten scans) toonde MFdiff een verbetering van 0.92 dB ten opzichte van de concurrentie.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat MFdiff scherpe randen en rijke textuurdetails behoudt. Cruciaal is dat het model in staat is om laesies te behouden die in de MRI niet zichtbaar zijn (omdat ze metabolisch actief zijn), terwijl andere methoden deze vaak "wegfilteren" of vervormen door de MRI-structuur te kopiëren. De foutkaarten (error maps) tonen de kleinste afwijkingen voor MFdiff.
• Ablatie Studies: De studies bevestigen dat zowel de multi-modale input, de specifieke fusiemodule (globaal + detail), het diffusion-model en de twee-staps leerstrategie essentieel zijn voor de prestaties. Een enkelvoudige training (zonder de twee-staps strategie) resulteerde in suboptimale convergentie.

Significantie

Deze studie biedt een robuuste oplossing voor een van de grootste uitdagingen in de nucleaire geneeskunde: het verkrijgen van diagnostisch bruikbare PET-beelden bij een minimale stralingsdosis.

• Klinische Toepasbaarheid: Door de twee-staps leerstrategie is het model minder afhankelijk van enorme, specifieke klinische datasets voor elke nieuwe scanner of tracer, wat de implementatie in diverse ziekenhuizen vergemakkelijkt.
• Kwaliteit en Veiligheid: Het model stelt artsen in staat om beelden te gebruiken die oorspronkelijk te ruisrijk waren, wat kan leiden tot betere diagnose en minder herhaalscans.
• Technologische Vooruitgang: Het succes van diffusion-modellen in combinatie met geavanceerde multimodale fusie en transfer learning markeert een belangrijke stap voorwaarts in medische beeldherstel, waarbij het de beperkingen van eerdere GAN-gebaseerde methoden (zoals instabiliteit en mode collapse) overwint.

Kortom, MFdiff demonstreert dat het combineren van gesimuleerde priors met beperkte echte data, ondersteund door een geavanceerd diffusion-framework, leidt tot superieure herstelkwaliteit van PET-beelden, zelfs onder uitdagende, variabele klinische omstandigheden.