HUydra: Full-Range Lung CT Synthesis via Multiple HU Interval Generative Modelling

Probleemstelling

Een van de grootste uitdagingen bij de implementatie en validatie van computer-ondersteunde diagnose (CAD) modellen in de medische beeldvorming is het tekort aan data. Voor longkanker, een van de meest voorkomende kankersoorten wereldwijd, kunnen beperkte datasets de diagnose vertragen en de patiëntuitkomst beïnvloeden. Hoewel generatieve AI een veelbelovende oplossing biedt, is het modelleren van de complexe verdeling van volledige CT-scans (die het volledige bereik van Hounsfield Units (HU) van -1000 tot 3000 omvatten) uiterst uitdagend en computationally demanding. Bestaande methoden behandelen CT-scans vaak als één continue verdeling, wat in strijd is met de klinische praktijk waarbij radiologen specifieke "HU-vensters" gebruiken om verschillende weefsels (zoals longweefsel, vet, bot) te visualiseren. Dit creëert een discrepantie tussen synthese en klinische interpretatie.

Methodologie

Het paper introduceert HUYDRA, een nieuw raamwerk dat volledige CT-generatie decomposeert in sub-taken gericht op specifieke weefsels, gebaseerd op HU-intervallen. De aanpak bestaat uit twee hoofdfasen:

1. Decompositie en Generatie per HU-interval:
   In plaats van een model te trainen om direct een volledige CT-scan te genereren, worden de scans opgesplitst in niet-overlappende HU-intervallen (bijv. [-950, -700] voor longen, [100, 1000] voor bot). Er worden generatieve modellen getraind om afzonderlijk een representatie te genereren voor elk van deze vensters. Het paper vergelijkt drie generatieve paradigma's:

   • WGAN-GP (Generative Adversarial Networks)
   • Score-based Diffusion Models
   • VQVAE (Vector-Quantized Variational Autoencoders)

   Binnen de VQVAE-architectuur worden drie varianten onderzocht om de modellering van specifieke texturen te verbeteren:

   • Multi-channel: Een enkel model dat alle vensters tegelijk genereert.
   • Multi-decoder: Een gedeelde encoder met meerdere decoder-branches, elk gespecialiseerd in één venster.
   • Multi-head: Gescheiden encoder- en decoder-branches per venster, die samenkomen in een gedeelde latente ruimte. Dit bleek de meest effectieve architectuur.

2. Gereconstrueerde Volledige Scan:
   De gegenereerde HU-intervalbeelden worden samengevoegd tot één volledige CT-scan via een leerbaar reconstructienetwerk ($R$). Dit netwerk is een lichtgewicht deep learning model (MLP of CNN) dat is getraind om de niet-lineaire mapping van de geclipte vensters terug te brengen naar de oorspronkelijke intensiteiten. Dit proces keert het vensteringsproces om met minimale informatieverlies.

Belangrijkste Bijdragen

• Nieuwe Decompositiestrategie: Een innovatieve aanpak die generatieve modellering aligneert met de klinische praktijk van HU-venstering, waardoor weefsel-specifieke generatie mogelijk wordt.
• Architecturale Variaties: Voorstel en vergelijking van multi-channel, multi-decoder en multi-head VQVAE-ontwerpen, waarbij de multi-head VQVAE de beste prestaties levert.
• Verhoogde Interpretatie: Door het stapsgewijze proces (vensters genereren -> reconstrueren) krijgen clinici inzicht in de componenten van de synthetische scan, wat de transparantie vergroot.
• Gereconstrueerde Vensters: Een geleerde methode om HU-vensters terug te zetten naar een volledige scan, wat een nieuw paradigma is voor structure-bewuste medische beeldsynthese.
• Klinische Validatie: Uitvoering van een "Visual Turing Test" met practiserende clinici en een segmentatietaak om de anatomische realisme te verifiëren.

Resultaten

De methoden zijn geëvalueerd op het publieke LIDC-IDRI dataset (ongeveer 50.000 data-punten, 250.000 beelden).

• Kwalitatieve en Kwantitatieve Prestaties:

  • De multi-head VQVAE met een CNN-reconstructiemodel (CNN3×3×3) presteerde het best.
  • Er werd een verbetering van 6,2% in FID (Fréchet Inception Distance) behaald ten opzichte van conventionele 2D full-range baselines.
  • De methode boekte superioriteit in MMD (Maximum Mean Discrepancy), Precision en Recall over alle HU-intervallen.
  • De multi-head VQVAE was de enige methode die in alle HU-bereiken beter presteerde dan de baseline.

• Reconstructie:

  • De reconstructiemodellen (vooral CNN3×3×3) konden volledige scans zeer nauwkeurig reconstrueren uit de gesynthetiseerde vensters (MSE van 2,49 × 10⁻⁴, FID van 26,0).

• Efficiëntie:

  • De multi-head VQVAE bood de beste balans tussen prestaties en complexiteit. Hoewel het iets meer parameters heeft dan de baseline (49,3M vs 48,3M), presteerde het aanzienlijk beter dan zwaardere modellen zoals Diffusion Models (72,3M parameters) of WGAN-GP.

• Klinische Validatie:

  • Een segmentatiemodel getraind op echte data kon de synthetische scans succesvol verwerken, wat aantoont dat de gegenereerde beelden anatomisch consistent zijn en bruikbaar zijn voor downstream-taken.

Betekenis en Conclusie

HUYDRA stelt een nieuw paradigma neer voor medische beeldsynthese door generatieve modellering te koppelen aan de klinische interpretatie van radiologen. De belangrijkste voordelen zijn:

1. Efficiëntie: Het reduceren van modelcomplexiteit en rekentijd door het modelleren van kleinere, specifiekere verdelingen in plaats van één complexe verdeling.
2. Kwaliteit: Significante verbetering in visuele trouw en variatie ten opzichte van bestaande methoden.
3. Flexibiliteit: Het generatieve proces (zwaar) kan losgekoppeld worden van het reconstructieproces (licht), waardoor grote collecties van HU-vensters offline kunnen worden gegenereerd en later dynamisch worden omgezet naar volledige scans.

De studie concludeert dat het decomponeren van CT-generatie op basis van HU-intervallen een effectieve route is om de kloof tussen AI-generatie en klinische toepassing te overbruggen, met name voor longkanker-diagnostiek.