3D-LLDM: Label-Guided 3D Latent Diffusion Model for Improving High-Resolution Synthetic MR Imaging in Hepatic Structure Segmentation

Probleemstelling

Dieplerningmodellen presteren uitstekend in medische beeldanalyse, zoals classificatie en segmentatie, maar hun succes is sterk afhankelijk van de beschikbaarheid van grote, hoogwaardige en geannoteerde datasets. In de medische beeldvorming, en specifiek voor MRI van de lever, is er een tekort aan dergelijke data. Bestaande generatieve modellen (zoals GANs) kunnen vaak geen realistische, hoogresolutie 3D-volumes genereren met de nodige anatomische consistentie. Veel huidige methoden genereren beelden slice-voor-slice, wat leidt tot structurele onvolkomenheden tussen de dwarsdoorsneden. Er is dus behoefte aan een methode die niet alleen realistische 3D-MRI-volumes kan synthetiseren, maar ook de bijbehorende anatomische segmentatiemaskers, om zo de dataknelpunten voor downstream-taken op te lossen.

Methodologie: 3D-LLDM

De auteurs stellen 3D-LLDM (Label-Guided 3D Latent Diffusion Model) voor, een innovatief generatief model dat is ontworpen om hoogresolutie synthetische MRI-volumes te genereren die gekoppeld zijn aan hun anatomische segmentatielabels. De architectuur bestaat uit de volgende kerncomponenten:

1. Latent Diffusion Model (LDM): Het model opereert in een gecomprimeerde latente ruimte in plaats van direct op de pixelruimte, wat de rekencomplexiteit verlaagt terwijl de kwaliteit behouden blijft. Het gebruikt een Encoder-Decoder paar (VAE-structuur) om de 3D-volumes en labels te comprimeren en te reconstrueren.
2. Label-Guidance via ControlNet: Het unieke aspect van deze aanpak is het gebruik van ControlNet. Het proces verloopt in twee fasen:
   • Eerst wordt een latent diffusion model getraind om synthetische segmentatielabels (maskers voor lever, poortader, leverader en hepatocellulair carcinoom/HCC) te genereren.
   • Vervolgens worden deze synthetische labels (of de latente representaties van echte labels tijdens training) gebruikt als ruimtelijke geleiding (conditioning) voor de generatie van het daadwerkelijke MRI-volume.
3. Training en Inferentie:
   • Het model is getraind op 720 anonieme hepatobiliaire fase (HBP) MRI-scans (met Gd-EOB-DTPA contrast) van Samsung Medical Center.
   • Tijdens de inferentie genereert het model eerst een synthetisch label op basis van ruis, en gebruikt dit label vervolgens via ControlNet om een bijbehorend, realistisch 3D-MRI-volume te synthetiseren.
   • Dit resulteert in gepaarde datasets van synthetische volumes en labels die direct gebruikt kunnen worden voor training.

Belangrijkste Bijdragen

1. Innovatieve Architectuur: De introductie van 3D-LLDM, een diffusion-model specifiek ontworpen voor hoogresolutie 3D-MRI-synthese met labelgeleiding, wat zorgt voor strikte anatomische consistentie over alle vlakken (coronaal, sagittaal, axiaal).
2. Data Augmentatie voor Segmentatie: Het aantonen dat het toevoegen van door 3D-LLDM gegenereerde synthetische data aan trainingssets de prestaties van CNN-based segmentatiemodellen significant verbetert, zelfs in vergelijking met training alleen op echte data.
3. Multimodale Toepassing: Het succesvol toepassen van de techniek op complexe leverstructuren, inclusief tumoren (HCC) en vasculaire structuren (poortader en leverader).

Resultaten

De prestaties zijn geëvalueerd aan de hand van beeldkwaliteit en downstream segmentatie-taken:

• Beeldkwaliteit (FID-score):

  • 3D-LLDM bereikte een Fréchet Inception Distance (FID) van 28,31.
  • Dit is een verbetering van 70,9% ten opzichte van HA-GAN (FID 97,38) en 26,7% ten opzichte van de beste diffusion-baseline (3D-LDM met VAE, FID 38,62).
  • De synthetische beelden tonen scherpe randen en nauwkeurige vasculaire structuren, wat visueel bevestigd wordt in kwalitatieve vergelijkingen.

• Segmentatieprestaties (Dice-score):

  • De synthetische data werd gebruikt om vijf verschillende CNN-architecturen (U-Net, ResUNet, WideResUNet, DynUNet, VNet) te trainen.
  • HCC-segmentatie: Toonde de grootste verbetering, met een toename van de Dice-score tot +11,153% (voor U-Net) en een gemiddelde verbetering van 8,874% over alle modellen.
  • Veneuze segmentatie: Gemiddelde verbetering van +8,591%.
  • Leversegmentatie: Een bescheiden maar consistente verbetering van +1,362%.
  • Kwalitatieve analyses (Fig. 4) tonen aan dat modellen getraind met synthetische data continuïteit tonen in structuren zoals de middelste leverader, waar modellen getraind op alleen echte data vaak discontinuïteiten vertonen.

Betekenis en Conclusie

Deze studie demonstreert dat 3D-LLDM een krachtige oplossing biedt voor het tekort aan geannoteerde medische data. Door het genereren van anatomisch consistente, hoogresolutie 3D-volumes met bijbehorende labels, kan het model de prestaties van segmentatie-algoritmen voor complexe leverstructuren aanzienlijk verbeteren. De methode is bijzonder waardevol voor het trainen van modellen op zeldzame pathologieën (zoals HCC) of complexe vasculaire netwerken waar echte data schaars is. De auteurs wijzen erop dat toekomstig werk gericht zal zijn op het uitbreiden van deze aanpak naar andere beeldvormingsmodaliteiten en het verbeteren van de generalisatie via domeinadaptatie.