A Deep Learning Approach for Virtual Contrast Enhancement in Contrast Enhanced Spectral Mammography

Dit artikel presenteert een deep learning-benadering met generatieve modellen, waarbij CycleGAN als meest veelbelovende methode wordt geïdentificeerd voor het genereren van synthetische contrastbeelden uit laag-energetische beelden, waardoor de noodzaak van een contrastmiddel en de stralingsdosis bij CESM kunnen worden vermeden.

De kern

Stel je voor dat je een heel complexe foto van een bos moet maken. Normaal gesproken zie je alleen de bomen en struiken (dat is de standaard röntgenfoto van de borst). Maar soms zit er een klein, gevaarlijk diertje (een tumor) verstopt tussen de takken. Om dat diertje goed te zien, geven artsen in het echt een speciale "verf" (een contrastmiddel) in de vloeistof van het lichaam. Deze verf kleurt alleen het diertje felrood, zodat het eruit springt op de foto.

Dit werkt goed, maar het heeft twee grote nadelen:

1. Het is niet fijn om die verf in je lijf te krijgen (soms krijg je er last van).
2. Je moet twee keer foto's maken (één voor de normale foto en één voor de verf-foto), wat betekent dat je meer straling krijgt.

Het idee van dit onderzoek
De onderzoekers uit Italië en Zweden dachten: "Wat als we die speciale verf niet hoeven te gebruiken, maar de computer de 'rode verf' gewoon zelf op de foto tekent?"

Ze wilden een slimme computer (kunstmatige intelligentie) trainen die kijkt naar de gewone foto en zegt: "Ah, hier zit een tumor, ik ga die nu digitaal felrood maken." Dit noemen ze virtuele contrastverbetering.

Hoe hebben ze dit gedaan?
Ze hebben drie verschillende soorten "kunstenaars" (neuraalnetwerken) getest om te zien wie de beste digitale schilder is:

1. De Autoencoder (De beginnende schilder): Deze probeerde de foto te kopiëren, maar het resultaat was vaak wazig. Het was alsof iemand een tekening probeerde na te tekenen met een viltstift die te veel inkt had; de details waren er wel, maar het zag er vaag uit.
2. Pix2Pix (De strenge leraar): Deze kreeg een voorbeeldfoto en de gewenste eindfoto en leerde de regels. Hij werd heel goed in de structuur, maar soms vergeten hij de kleur (het contrast) van de tumor erin te zetten. Het resultaat leek op de foto, maar miste de "prikkel" die de arts nodig heeft.
3. CycleGAN (De genie): Dit was de winnaar. Deze kunstenaar leerde niet alleen van voorbeelden, maar begreep ook de logica van het bos. Hij kon een gewone foto nemen en er een perfecte, scherpe "verf-foto" van maken, zonder dat hij de originele verf-foto nodig had om te leren.

Wat hebben ze ontdekt?
Ze hebben een grote verzameling echte foto's (van 1138 beelden) gebruikt om deze kunstenaars te testen. Het resultaat was verrassend goed:

• De CycleGAN maakte foto's die zo goed waren, dat zelfs vier ervaren artsen (radiologen) moeite hadden om te zeggen welke foto echt was en welke door de computer was gemaakt.
• Zelfs bij vrouwen met een heel dichte borst (waar tumoren normaal gesproken heel moeilijk te zien zijn), lukte het de computer om de tumor duidelijk te "verf"en.
• De artsen konden net zo goed een diagnose stellen op de computer-foto als op de echte foto.

Waarom is dit belangrijk?
Stel je voor dat je een auto kunt kopen die rijdt alsof je benzine hebt, maar zonder dat je ooit een tankstation bezoekt. Dat is wat dit onderzoek belooft:

• Geen injectie: Vrouwen hoeven geen contrastmiddel in hun aderen te krijgen.
• Minder straling: Er hoeft maar één foto te worden gemaakt in plaats van twee.
• Beter zicht: Vrouwen met dichte borsten krijgen toch een heel duidelijke foto.

Kortom
De onderzoekers hebben bewezen dat een slimme computer in staat is om de "magie" van het contrastmiddel na te bootsen. Het is alsof de computer een bril heeft opgezet die de tumor direct ziet, zonder dat het lichaam iets hoeft te doen. Hoewel het nog even duurt voordat dit in elke ziekenhuispraktijk wordt gebruikt, is het een enorme stap naar veiligere en comfortabelere borstscreening.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A Deep Learning Approach for Virtual Contrast Enhancement in Contrast Enhanced Spectral Mammography", geschreven in het Nederlands.

Probleemstelling

Contrast Enhanced Spectral Mammography (CESM) is een geavanceerde beeldvormingstechniek voor borstkankerdiagnose die superieur is aan standaard mammografie (FFDM), vooral bij vrouwen met dichte borstweefsels. CESM vereist echter de intraveneuze toediening van een jodiumhoudend contrastmiddel en het opnemen van twee beelden: een lage-energie (LE) en een hoge-energie (HE) beeld. Deze beelden worden gecombineerd tot een "recombined" (DES) beeld dat contrastverhoging toont.

De huidige beperkingen van CESM zijn:

1. Bijwerkingen: Het gebruik van contrastmiddelen kan leiden tot allergische reacties en contrast-induced nephropathy (CIN).
2. Stralingsdosis: Omdat er twee beelden per projectie worden gemaakt (LE en HE), is de stralingsdosis voor de patiënt hoger dan bij standaard mammografie.

Het doel van dit onderzoek is om deze beperkingen te overwinnen door kunstmatige intelligentie (AI) te gebruiken voor Virtuele Contrastversterking (VCE). Het idee is om synthetische DES-beelden te genereren uitsluitend op basis van de LE-beelden, waardoor de toediening van contrastmiddel en het opnemen van HE-beelden overbodig worden.

Methodologie

De auteurs hebben het probleem geformuleerd als een image-to-image translation taak, waarbij de bron-domein $X$ bestaat uit LE-beelden en het doel-domein $Y$ uit de echte DES-beelden.

1. Dataset (CESM@UCBM):

• Een nieuw, openbaar beschikbaar dataset met 1138 beelden (569 LE en 569 DES) van 105 patiënten.
• De beelden zijn in DICOM-formaat (inclusief metadata) en geanonimiseerd.
• De dataset omvat verschillende borstdichtheden (BI-RADS a, b, c, d) en diverse projecties (craniocaudaal en mediolateraal schuin).
• Er zijn ook gegevens over biopsie-resultaten (maligne, benigne, borderline) en BI-RADS-scores.

2. Preprocessing:

• Beelden werden opgevuld tot vierkante formaten (zero-padding).
• Contrastversterking (contrast stretching) en normalisatie van pixelwaarden naar [0, 1].
• Resizen naar 256 × 256 pixels voor training.

3. Deep Learning Modellen:
Drie generatieve modellen werden getraind en vergeleken:

• Autoencoder: Een architectuur met encoder/decoder blokken, bypass- en residual-verbindingen. Geoptimaliseerd met L1-verlies.
• Pix2Pix: Een conditionele GAN (Generative Adversarial Network) voor gepaarde datasets. Bestaat uit een generator (U-Net) en een discriminator (PatchGAN). Gebruikt een combinatie van adversarial loss en L1-verlies.
• CycleGAN: Een GAN die werkt met ongepaarde datasets (hoewel hier gepaarde data werd gebruikt voor betere consistentie). Bestaat uit twee generators en twee discriminators met cyclusconsistentie-verlies (forward en backward) en identity mapping loss.

4. Training en Evaluatie:

• Validatie: 10-voudige kruisvalidatie (80% train, 10% validatie, 10% test).
• Data Augmentatie: Random verschuiving, zoom, spiegeling en rotatie om overfitting te voorkomen.
• Kwantitatieve Metrieken: MSE (Mean Squared Error), PSNR (Peak Signal-to-Noise Ratio), SSIM (Structural Similarity Index) en VIF (Visual Information Fidelity).
• Kwalitatieve Evaluatie: Twee "Visual Turing-tests" uitgevoerd door vier ervaren radiologen:
  1. Welk model produceert het meest realistische beeld?
  2. Kunnen radiologen echte van synthetische beelden onderscheiden en kunnen ze correcte BI-RADS-scores toekennen aan synthetische beelden?

Belangrijkste Resultaten

Kwantitatieve Analyse:

• CycleGAN presteerde over het algemeen het beste, met de laagste MSE, de hoogste PSNR en de hoogste VIF-waarden.
• De Autoencoder leverde onscherpe beelden op die te veel leken op de input (LE-beelden) en misten de nodige contrastdetails.
• Pix2Pix leverde de beste SSIM-waarde op, maar had de laagste VIF, wat suggereert dat de beelden wel structuur behielden maar te weinig informatieve content (contrastversterking) bevatten.
• De modellen bleven robuust presteren over alle BI-RADS-dichtheidscategorieën (van vetrijk tot extreem dicht weefsel), zonder significante prestatiedaling in de moeilijkste gevallen (categorie c en d).

Kwalitatieve Analyse (Radiologen):

• Radiologen kozen consequent de beelden gegenereerd door CycleGAN als het meest realistische.
• Tweede Visual Turing-test:
  • Radiologen herkenden 100% van de echte DES-beelden correct.
  • Slechts 15,4% van de synthetische CycleGAN-beelden werd als "nep" geïdentificeerd; 84,6% werd verward met echte beelden.
  • De nauwkeurigheid bij het toekennen van de BI-RADS-score was voor zowel echte als synthetische beelden gelijk (80%).

Bijdragen en Significantie

1. Technische Innovatie: Het paper toont voor het eerst aan dat VCE succesvol kan worden toegepast op CESM-beelden. CycleGAN bleek de meest veelbelovende architectuur om synthetische contrastversterking te genereren zonder het contrastmiddel.
2. Klinische Impact: De methode biedt het potentieel om:
   • De toediening van jodiumcontrastmiddel te elimineren (vermijden van bijwerkingen).
   • De stralingsdosis te halveren (alleen LE-been nodig, geen HE-been).
   • De diagnostische nauwkeurigheid van CESM te behouden, zelfs bij patiënten met dichte borsten.
3. Dataset Beschikbaarheid: Een cruciale bijdrage is het openbaar beschikbaar stellen van de CESM@UCBM dataset in DICOM-formaat. Dit is de eerste publieke CESM-dataset die niet alleen beelden bevat, maar ook geanonimiseerde metadata, biopsie-resultaten en rapporten, wat essentieel is voor verdere research.
4. Toekomstperspectief: Hoewel de huidige LE-beelden in de studie wel na contrasttoediening zijn genomen (maar in een energiebereik waar jodium nauwelijks zichtbaar is), bewijst de studie het concept. De auteurs pleiten voor verdere validatie en het ontwikkelen van modellen die werken op lage-dosis beelden om de stralingsdosis verder te reduceren.

Conclusie:
De studie demonstreert dat diepe generatieve modellen, en specifiek CycleGAN, in staat zijn om hoogwaardige synthetische contrastversterkte mammogrammen te genereren. Dit opent de weg naar een veiligere, stralingsarmere en even effectieve vorm van borstkankerscreening, waarbij de nadelen van het traditionele CESM-proces worden opgeheven.