DM4CT: Benchmarking Diffusion Models for Computed Tomography Reconstruction

Deze paper introduceert DM4CT, een uitgebreid benchmarkkader dat tien recente diffusiemodellen vergelijkt met zeven gevestigde methoden voor CT-reconstructie, waarbij ook een nieuw, openbaar gemaakte dataset van een synchrotronfaciliteit wordt gebruikt om de prestaties onder realistische experimentele omstandigheden te evalueren.

De kern

De Kern: Een Nieuwe Toets voor Röntgenfoto's

Stel je voor dat je een röntgenfoto maakt van een menselijk lichaam of een stuk steen. In de echte wereld is dit nooit perfect. De machine maakt ruis (zoals statische op een oude radio), je kunt niet vanuit elke hoek kijken (misschien kun je maar vanuit één kant schijnen), en er ontstaan vreemde ringen of vlekken op de foto.

Het doel is om van deze rommelige, onvolledige metingen een heldere, scherpe 3D-foto te maken. Dit is een enorm moeilijke puzzel, omdat er oneindig veel manieren zijn om die rommelige data te interpreteren.

Vroeger gebruikten ingenieurs simpele wiskundige regels om deze puzzel op te lossen. Maar nu hebben we Diffusiemodellen (een soort superkrachtige AI die ook tekst en foto's maakt). De vraag is: Werken deze slimme AI's ook goed voor medische en industriële röntgenfoto's?

Dit paper introduceert DM4CT: een eerlijke testbaan (een benchmark) om te zien welke AI-methoden het beste werken voor dit specifieke probleem.

---

De Analogie: Het Oplossen van een Verbrande Puzzle

Om het begrijpelijk te maken, gebruiken we een analogie:

Stel je voor dat je een prachtige puzzel hebt van een landschap.

1. De Probleemstelling: Iemand heeft de puzzel in brand gestoken (de metingen zijn beschadigd door ruis), en je hebt maar een paar losse stukjes over (weinig hoeken om te kijken).
2. De Oude Methode (FBP/SIRT): Dit is alsof je de losse stukjes probeert te plakken en de lege plekken invult met grijze vlekken of een willekeurig patroon. Het resultaat is vaak wazig of heeft rare strepen.
3. De AI-Methode (Diffusiemodellen): Dit is alsof je een kunstenaar hebt die duizenden landschappen heeft gezien. Hij kijkt naar je paar brandende stukjes en zegt: "Ah, dit lijkt op een bos, dus ik ga hier een boom invullen." Hij gebruikt zijn kennis van hoe de wereld eruitziet om de gaten op te vullen.

Het probleem: Soms is die kunstenaar te creatief. Hij tekent een boom waar eigenlijk een rots zou moeten zitten, omdat hij "denkt" dat het er een boom moet zijn. In de medische wereld is dat gevaarlijk: je wilt geen valse botten of tumoren zien die er niet zijn.

Wat doet dit paper?

De auteurs van dit paper hebben een grote test opgezet om te kijken welke kunstenaars (AI-methoden) het beste zijn.

1. De Testbaan (DM4CT): Ze hebben drie soorten "puzzels" gemaakt:

   • Medisch: Menselijke organen (zoals longen).
   • Industrieel: Diverse materialen in een buis (zoals noten en kruiden).
   • Echt leven: Ze hebben daadwerkelijk stenen gescand in een gigantische röntgenmachine (synchrotron) om te zien hoe het werkt in de echte wereld, niet alleen op de computer.

2. De Deelnemers: Ze hebben 10 verschillende AI-methoden tegen elkaar laten strijden, plus 7 klassieke methoden.

   • Sommige AI's zijn heel streng: "Ik vul alleen in wat de metingen zeggen." (Risico: wazig beeld).
   • Sommige AI's zijn creatief: "Ik vul in wat ik denk dat er hoort." (Risico: hallucinaties, zoals een boom waar geen boom is).

3. De Resultaten:

   • De AI's zijn sterk: Ze kunnen veel scherper en mooier zijn dan de oude methoden, vooral als de data erg beschadigd is (veel ruis of weinig hoeken).
   • Maar ze zijn niet perfect: Soms "hallucineren" ze details. Ze maken een foto die er prachtig uitziet, maar die medisch gezien niet klopt.
   • De balans is lastig: De kunst is om de AI te dwingen om trouw te blijven aan de metingen, zonder de mooie details te verliezen. Als je de AI te streng houdt, wordt het beeld wazig. Als je hem te vrij laat, maakt hij dingen op die niet bestaan.

De Grote Uitdagingen (De "Valkuilen")

Het paper wijst op drie problemen die nog moeten worden opgelost voordat we deze AI's in elke ziekenhuisapparaat kunnen zetten:

• De "Grootte" van de puzzel: AI's hebben veel data nodig om te leren. Medische data is schaars en geheim (privacy). Het is moeilijk om een AI te trainen die goed werkt op alle soorten patiënten.
• Verschillende schalen: Soms zijn de getallen in de metingen anders dan waar de AI op getraind is (zoals het meten in kilo's in plaats van ponden). De AI raakt dan de weg kwijt.
• Rekenkracht: Deze AI's zijn zwaar. Ze hebben enorme computers nodig, wat duur en traag is.

Conclusie in Eén Zin

DM4CT is een eerlijke wedstrijd die laat zien dat AI (diffusiemodellen) een enorme sprong voorwaarts is voor het maken van scherpe röntgenfoto's, maar dat we nog moeten leren hoe we die AI's kunnen temmen zodat ze niet te creatief worden en valse details toevoegen. Het is een belangrijke stap om van "coole experimenten" naar "veilige medische hulpmiddelen" te gaan.

Technische samenvatting

Probleemstelling

Computed Tomography (CT) is een klassiek invers probleem waarbij een onbekend object wordt gereconstrueerd uit indirecte projectiemetingen. Hoewel CT theoretisch een lineair invers probleem is, brengt de praktijk aanzienlijke uitdagingen met zich mee die de directe toepassing van geavanceerde generatieve modellen, zoals Diffusiemodellen (Diffusion Models), bemoeilijken:

• Gecorreleerde ruis en artefacten: Realistische metingen bevatten niet alleen witte ruis, maar ook complexe ruispatronen, ringartefacten en niet-lineaire voorbewerkingen (zoals log-transformaties).
• Ill-posed karakter: Door beperkte hoeken (sparse-view) of ruis is het probleem onderbepaald, wat leidt tot ambiguïteit waarbij meerdere oplossingen de metingen even goed verklaren.
• Waardenbereik-mismatch: Er bestaat vaak een discrepantie tussen de waarden in trainingsdata en de fysieke waarden in nieuwe scans (bijv. door ongekalkuleerde apparatuur of verschillende materialen).
• Gebrek aan gestandaardiseerde benchmarks: Er was tot nu toe geen systematische benchmark om te evalueren hoe goed diffusiemodellen presteren in vergelijking met gevestigde methoden (zoals model-based iterative reconstruction of toezicht op leerende netwerken) onder realistische CT-omstandigheden.

Methodologie: DM4CT Benchmark

De auteurs introduceren DM4CT, het eerste systematische benchmarkframework voor het evalueren van diffusiemodellen voor CT-reconstructie. De kern van de methodologie omvat:

1. Datasets:

   • Medisch: De 2016 Low Dose CT Grand Challenge dataset.
   • Industrieel: De LoDoInd dataset (buis met diverse materialen).
   • Real-world Synchrotron: Een nieuw, openbaar gemaakt dataset van hoge resolutie, verkregen door het scannen van rotsmonsters bij een synchrotronfaciliteit. Dit dataset biedt hoge ruimtelijke resolutie en simpele parallelle bundel-geometrie, wat de rekenlast verlaagt en realistische condities simuleert.
   • Configuraties: De datasets worden geëvalueerd onder vijf verschillende simulatieconfiguraties variërend in het aantal projectiehoeken (20 tot 80), ruisniveaus (Poisson-ruis) en ringartefacten.

2. Vergelijkende Methodes:
   De benchmark vergelijkt tien recente diffusie-gebaseerde methoden met zeven sterke baselines:

   • Diffusiemethoden: Inclusief MCG, DPS, PSLD, PGDM, DDS, Resample, DMPlug, Reddiff, HybridReg en DiffStateGrad. Deze worden geclassificeerd op basis van hun strategie voor data-consistentie (zie onderstaande bijdrage).
   • Baselines: Klassieke methoden (FBP, SIRT), Model-Based Iterative Reconstruction (MBIR zoals ADMM-PDTV, FISTA-SBTV), Deep Image Prior (DIP), Implicit Neural Representations (INR), en toezicht op leerende methoden (SwinIR).

3. Unificatie en Taxonomie:
   Alle diffusiemethoden worden geïmplementeerd in het populaire diffusers framework om een eerlijke vergelijking mogelijk te maken. De auteurs stellen een unificatie taxonomie op die methoden categoriseert op basis van hoe ze data-consistentie integreren:

   • Data Consistency Gradient (DC-grad): Gebruik van gradiënten om de reconstructie te sturen (bijv. DPS).
   • Data Consistency Optimization Step (DC-step): Het invoegen van volledige optimalisatiestappen tussen denoising-stappen (bijv. Resample).
   • Plug-and-Play: Het afwisselen van data-consistentie en onvoorwaardelijke denoising.
   • Pseudo Inverse: Gebruik van een benaderde pseudoinverse om de reconstructie te initialiseren of te sturen.
   • Variational Bayesian: Benadering van de posterior verdeling zonder expliciet sampling langs de reverse-traject.

4. Implementatie:
   Voor elke dataset worden één pixel-space en één latent-space diffusiemodel getraind die dienen als gedeelde backbones voor alle methoden, om variatie in modelkwaliteit uit te sluiten.

Belangrijkste Bijdragen

1. DM4CT Benchmark: Het eerste systematische benchmark voor diffusiemodellen in CT, inclusief zowel medische als industriële datasets en een zeldzame real-world synchrotron dataset.
2. Open Data en Code: Publicatie van de high-energy synchrotron dataset en de volledige open-source codebase.
3. Taxonomie: Een gestructureerde indeling van diffusiemethoden voor invers problemen, gebaseerd op hun strategie voor data-consistentie en prior-kennis.
4. Gedetailleerde Analyse: Een uitgebreide evaluatie van prestaties, rekenkosten, en de afweging tussen prior-kennis en data-consistentie.

Resultaten en Discussie

De experimentele resultaten leveren belangrijke inzichten op:

• Prestaties vs. Baselines: Diffusiemodellen presteren over het algemeen beter dan klassieke methoden (FBP, SIRT) en MBIR-methoden in termen van PSNR en SSIM, vooral onder ruizige en beperkte hoek-condities. Ze halen echter vaak de prestaties van volledig toezicht op leerende methoden (zoals SwinIR) niet, die de hoogste scores behalen maar vaak te gladde beelden produceren.
• Realiteit vs. Simulatie: De prestaties op de real-world synchrotron dataset zijn over het algemeen slechter dan op gesimuleerde data. Dit wordt toegeschreven aan distributieverschuivingen en beperkte trainingsdata.
• Prior vs. Data Consistentie: Er is een delicate afweging. Te sterke data-consistentie (bijv. grote stapgroottes in DC-grad) kan leiden tot "model collapse" waarbij de reconstructie gedomineerd wordt door ruis. Te zwakke consistentie leidt tot hallucinaties.
• Latent vs. Pixel Diffusion: Latent diffusion modellen (zoals PSLD) lijden vaak onder discontinuïteiten in de reconstructie omdat gradiënten door de decoder moeten worden gepropageerd. Methoden die expliciete optimalisatiestappen gebruiken (zoals Resample) lossen dit op in ruisvrije omgevingen, maar kunnen overfitten op ruis in ruizige scenario's.
• Onzekerheid: Diffusiemodellen zijn van nature probabilistisch en kunnen onzekerheid kwantificeren. De analyse toont aan dat onzekerheid het hoogst is bij structurele randen en gebieden met beperkte hoeken.
• Null Space Analyse: De auteurs analyseren reconstructies in termen van range- en null-space componenten. Methoden met "soft" constraints (DC-grad) laten meer prior-geïnspireerde inhoud toe in de null-space, terwijl "hard" constraints (DC-step) de data-consistentie strikter opleggen maar minder ruimte laten voor prior-kennis.
• Efficiëntie: Pixel-diffusiemodellen zijn over het algemeen sneller en minder geheugenintensief dan latent-modellen, hoewel latent-modellen minder geheugen nodig hebben voor de inferentie zelf. SwinIR is het snelst in inferentie maar vereist veel trainingstijd en geheugen.

Betekenis en Toekomstperspectief

De paper benadrukt dat het doel niet het introduceren van een nieuw reconstructie-algoritme is, maar het bieden van een systematisch kader om de staat van de kunst te begrijpen.

• Praktische Uitdagingen: De studie identificeert drie hoofduitdagingen voor de praktijk: beperkte data beschikbaarheid, mismatch in waardenbereiken (value ranges) en de rekenkundige last van complexe geometrieën.
• Toekomstig Onderzoek: De auteurs wijzen op veelbelovende richtingen, zoals het integreren van flow-based generatieve modellen, het combineren van INR's met diffusie-priors, en het uitvoeren van meer klinisch relevante evaluaties (bijv. segmentatie en radioloog-scoren).
• Conclusie: Diffusiemodellen zijn krachtige prioren voor CT-reconstructie, maar hun praktische toepassing vereist nog zorgvuldige afstemming van hyperparameters en strategieën om hallucinaties te voorkomen en data-consistentie te waarborgen, vooral onder realistische, ruizige omstandigheden. DM4CT dient als een cruciale resource om deze kloof tussen methodologische ontwikkeling en praktische toepasbaarheid te dichten.