3D Ultrasound-Derived Pseudo-CT Synthesis Using a Transformer-Augmented Residual Network for Real-Time Operator Guidance

Technische Samenvatting: Synthese van 3D-gebaseerde Pseudo-CT uit Ultrasone Beelden met een Transformer-Verrijkt Residueel Netwerk

Probleemstelling
Computertomografie (CT) is een hoeksteen van klinische diagnose en beeldgeleide interventies, maar blootstelt patiënten aan ioniserende straling, een risico dat geassocieerd wordt met potentiële door straling veroorzaakte kankers. Hoewel Ultrasone (US) beeldvorming een veilige, niet-ioniserende en kosteneffectieve alternatief biedt, kampt het met aanzienlijke beperkingen: het is sterk afhankelijk van de operator, mist kwantitatieve weefselkarakterisering (intensiteitswaarden corresponderen niet met Hounsfield-eenheden) en is vatbaar voor artefacten zoals akoestische schaduwvorming en variërende sonde-druk. Deze factoren leiden vaak tot diagnostische onzekerheid en onnodige follow-up CT-onderzoeken. Bestaande deep learning-benaderingen voor cross-modale synthese staan voor een afweging: standaard 3D Residuele U-Nets (ResUNets) vangen lokale kenmerken goed op, maar worstelen met globale anatomische relaties in grote 3D-volumes, terwijl architecturen zoals ResViT die transformers door het hele netwerk integreren vaak hoge rekenkosten met zich meebrengen en fijne lokale details kunnen verslechteren, met name in ruwe US-gegevens.

Methodologie
Het artikel stelt een raamwerk voor om 3D-volumes van op ultrasone beelden gebaseerde pseudo-CT (UD-pCT) te genereren. Het primaire doel is niet om diagnostische CT te vervangen, maar om real-time, CT-achtige anatomische referenties te bieden om US-operators te begeleiden, waardoor scanconsistentie verbetert en onnodige CT-verwijzingen worden verminderd.

1. Data Preprocessing Pipeline:

   • Registratie: De auteurs maken gebruik van de TRUSTED-dataset, die gekoppelde 3D-nier-US- en CT-volumes bevat. Een op landmarks gebaseerde multimodale registratiepipeline wordt ingezet om de modaliteiten ruimtelijk uit te lijnen. Dit omvat het schatten van een similariteitstransformatie (rotatie, schaling, translatie) met behulp van anatomische landmarks via het Umeyama-algoritme.
   • Croppen en Maskeren: Om voxel-voor-voxel correspondentie te waarborgen en het geheugengebruik te verminderen, wordt Region-of-Interest (ROI)-croppen uitgevoerd op basis van US-niersegmentatiemaskers. Bovendien wordt een Field-of-View (FOV)-maskering toegepast op de CT-volumes om de pyramidevormige (kegelvormige) geometrie van de US-acquisitie te matchen, waarbij gebieden buiten het akoestische US-sector worden gemaskeerd.

2. Voorgestelde Architectuur (BT-ResUNet3D):
   De kern van het raamwerk is een Bottleneck Transformer Residual U-Net3D (BT-ResUNet3D), ontworpen als een supervised gekoppelde cross-modale beeldtranslatiemodel.

   • Generator: De generator volgt een 3D residuele encoder-decoder structuur (U-Net-ruggengraat). Het maakt gebruik van diepe residuele blokken om lokale texturen en fijne anatomische details op te vangen. Cruciaal wordt een lichtgewicht Transformer-module uitsluitend in de bottleneck geïntroduceerd. Dit ontwerp stelt het netwerk in staat om langeafstands-volumetrische afhankelijkheden en globale anatomische coherentie te modelleren zonder de convolutie-kenmerkextractie in de vroege stadia te verstoren die nodig is voor het behoud van lokale details. De globale context van de transformer wordt via residuele optelling samengevoegd met lokale kenmerken.
   • Discriminator: Een 3D Conditional PatchGAN-discriminator wordt gebruikt om lokale structurele realisme af te dwingen. Het evalueert de realisme van lokale volumetrische patches in plaats van een enkele globale score, waardoor de synthese van plausible texturen en scherpe structurele grenzen wordt gestimuleerd.
   • Verliesfunctie: Het model wordt getraind met een samengestelde verliesfunctie die een pixel-voor-pixel L1-reconstructieverlies combineert (om nauwkeurigheid op voxel-niveau te waarborgen) en een adversariaal verlies (om perceptueel realisme te versterken).

Belangrijkste Bijdragen

• Robuste Preprocessing Pipeline: De auteurs stellen een pipeline vast die registratie op basis van landmarks, ROI-croppen en FOV-maskering omvat om anatomisch consistente, ruimtelijk uitgelijnde trainingsparen te construeren, wat cruciaal is voor betrouwbare supervised cross-modale synthese.
• Nieuwe Architectuur (BT-ResUNet3D): De introductie van een transformer-verrijkte bottleneck binnen een 3D residuele encoder-decoder. Dit ontwerp vangt expliciet langeafstands-volumetrische afhankelijkheden op terwijl het lokale anatomische fideliteit behoudt, en adresseert de beperkingen van zowel pure CNN- als volledige transformer-architecturen.
• Integratie van Conditional PatchGAN: Het gebruik van een 3D conditional PatchGAN om lokale structurele realisme en hoogfrequente anatomische details in de gesynthetiseerde volumes af te dwingen.
• Focus op Klinische Toepasbaarheid: Het werk demonstreert de haalbaarheid van het gebruik van UD-pCT-volumes specifiek voor operatorbegeleiding tijdens US-acquisitie om scanconsistentie te verbeteren en onnodig CT-gebruik te verminderen, in plaats van als directe diagnostische vervanging.

Experimentele Resultaten
De methode werd geëvalueerd op de TRUSTED-dataset (59 gekoppelde volumes, verdeeld in 47 trainings- en 12 testcases).

• Kwantitatieve Prestaties: De voorgestelde methode behaalde een PSNR van 23,26 dB en een SSIM van 0,71, en presteerde beter dan gevestigde baselines waaronder 3D ResUNet, 3D UNet, Pix2Pix en op diffusie gebaseerde modellen (MedDiffusion, 3D Conditional Diffusion). De ablatiestudie bevestigde dat de transformer-bottleneck beide metrieken aanzienlijk verbeterde in vergelijking met een standaard 3D ResUNet.
• Kwalitatieve Analyse: Visuele resultaten tonen aan dat het model, ondanks de spikkelpatroonruis en het lage contrast in de invoer-US-beelden, succesvol coherente orgaanniveau-structuren (nieren) herstelt die nauw overeenkomen met echte CT-anatomie. De gesynthetiseerde volumes behouden orgaangrenzen en ruimtelijke uitbreiding.

Betekenis en Beperkingen
Het artikel stelt dat het voorgestelde raamwerk een praktische, veiligere alternatief biedt voor het verbeteren van begeleiding en efficiëntie in medische beeldvorming. Door real-time anatomische context te bieden, kunnen UD-pCT-volumes operators helpen bij het optimaliseren van sondepositionering en -oriëntatie, wat potentieel de variabiliteit tussen operators en het volume aan onnodige CT-scans kan verminderen.

De auteurs erkennen expliciet beperkingen, waarbij zij opmerken dat de relatief kleine omvang van het gekoppelde dataset (59 volumes) de generaliseerbaarheid van het model kan beperken. Zij stellen dat toekomstig werk zich zal richten op het verwerven van grotere, diversere datasets en het onderzoeken van semi-supervised of weakly supervised strategieën om de afhankelijkheid van gekoppelde CT-gegevens te verminderen. De studie behoudt een bescheiden scope, en positioneert de technologie als een ondersteunend hulpmiddel voor operatorbegeleiding in plaats van een vervanging voor definitieve diagnostische CT-beeldvorming.