🔬 physics

Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis

本文提出了一种双域等变生成对抗网络（DDE-GAN），该网络将空间域与频率域学习与旋转等变性约束相结合，以在多模态 CT-PET 图像合成中实现卓越的解剖保真度与鲁棒性。

原作者： Gabriel Steele, Alzahra Altalib, Alessandro Perelli

发布于 2026-06-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Gabriel Steele, Alzahra Altalib, Alessandro Perelli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图仅通过观察一张城市建筑的标准黑白蓝图（CT 扫描），来重构出一张详细的、发光的城市能量使用图（PET 扫描）。

在医学领域，医生通常需要这两张图谱来诊断癌症等疾病。但获取两张图谱既昂贵又耗时，还会让患者接受额外的辐射。有时，患者只有蓝图（CT），而能量图（PET）缺失或损坏了。本研究的目标是教会计算机根据蓝图完美地“想象”出缺失的能量图。

以下是作者 Gabriel Steele 及其团队如何构建了一个名为 DDE-GAN 的新工具，其过程解释如下：

1. 问题所在：旧的方法是“盲目”的

之前的计算机程序尝试进行这种转换，但有两个主要缺陷：

它们只看图像： 它们像人类眼睛一样分析图像（空间域），却忽略了隐藏在图像内部的“音乐”或“振动”（频率域）。这就像试图通过只看乐谱上的音符来理解一首歌，却不去聆听其中的节奏或音调。
它们会被旋转搞混： 如果你把蓝图转动方向，计算机有时会变得混乱，把生成的能量图画反或者画错形状。在医学中，身体可以从不同的角度进行扫描，因此计算机需要理解旋转后的头部仍然是同一个头。

2. 解决方案：一个“双域”侦探

作者创建了一个名为 DDE-GAN 的新系统，它就像一个拥有两套不同眼睛的超级侦探：

眼睛 #1（空间域）： 它以正常方式观察图像，看到器官和肿瘤的形状。
眼睛 #2（频率域）： 它将图像视为波和模式的集合（就像把图像转化为声波）。这有助于计算机捕捉第一只眼睛可能会错过的精细细节和纹理。

通过同时使用这两只眼睛，计算机能获得更清晰、更完整的缺失 PET 扫描图景。

3. 秘诀：“旋转等变性”

这是他们发明中最独特的部分。作者意识到，CT 和 PET 扫描器工作的物理机制本质上是“旋转等变”的。

类比： 想象你有一个旋转的陀螺。如果你旋转陀螺，陀螺本身并没有改变，它只是在旋转。如果你给它拍张照，照片也会随之旋转。物体与照片之间的关系保持一致。

作者教会了他们的计算机这条规则：“如果我旋转了输入的蓝图，生成的能量图也必须以完全相同的方式旋转。”

他们在计算机的训练中构建了一个特殊的“规则手册”（数学损失函数）。如果计算机因为图像被转动了就试图把肿瘤画在错误的位置，规则手册就会惩罚它。这确保了无论患者处于什么姿势，计算机始终能正确绘制解剖结构。

4. 训练过程：三个阶段

计算机并不是一次性学会所有知识的。它经历了三个训练阶段，就像一名学生从小学升到大学：

阶段 1： 它学习在每个“眼睛”内进行转换（空间到空间，以及频率到频率）。
阶段 2： 它学习如何确保两只“眼睛”达成一致。
阶段 3（最终考试）： 它应用了旋转规则。它练习转换被侧转过的图像，确保输出图像能随着输入的旋转而完美旋转。

5. 结果：更清晰的图像

团队在一个真实的头颈部肿瘤数据集（称为 HECKTOR 2022）上测试了他们的新系统。

对比： 他们将新系统与旧方法（如 CycleGAN）进行了对比。
结果： 我们的新系统产生了更清晰、更准确的图像。
- “清晰度”得分（PSNR）提高了约 2.7 点，这是图像质量的一次巨大飞跃。
- “结构相似性”得分（SSIM）显著提高，这意味着器官的形状看起来更加逼真。
- 与旧方法相比，生成的图像更少“抖动”（更具一致性）。

总结

简而言之，作者构建了一个更聪明的计算机程序，它不仅仅是在“猜测”缺失的医学扫描图是什么样子。相反，它：

以两种不同的方式“聆听”图像（视觉和波形），以获取所有的细节。
遵循旋转的物理规律，所以即使患者侧着身子，它也不会感到困惑。

其结果是一个高度准确的工具，可以从 CT 扫描生成缺失的 PET 扫描，这可以在只有一种类型图像的情况下为医生提供帮助。

技术摘要：用于多模态 CT-PET 合成的双域等变生成对抗网络

问题陈述
多模态成像，特别是计算机断层扫描（CT）与正电子发射断层扫描（PET）的结合，在肿瘤学、神经学和心脏病学领域至关重要。然而，获取这两种模态会增加成本、扫描时间和辐射暴露。在许多场景下，一种模态可能缺失、损坏或对齐不良，因此需要进行跨模态图像合成（例如，从 CT 生成 PET）。现有的生成对抗网络（GAN）方法在处理该任务时面临两个主要局限性：

领域局限性： 大多数模型仅在空间（图像）域内运行，未能利用频率域中可获得的互补光谱信息。
几何不一致性： 标准深度网络缺乏对空间变换（旋转、平移）的固有等变性。这可能导致解剖学上不合理的幻觉，并降低泛化能力，尽管 CT 和 PET 的采集物理特性本质上是旋转等变的。

方法论：DDE-GAN
作者提出了双域等变生成对抗网络（DDE-GAN），这是一个旨在通过在空间域和频率域同时学习并强制执行几何等变性，从而通过 CT 输入合成 PET 图像的框架。

双域架构： 该框架利用了一个广义双域生成方法，涉及四个网络：两个在图像域运行（ $G^I_t, G^I_s$ ），两个在测量（频率）域运行（ $G^A_t, G^A_s$ ）。此处， $F$ 代表射线追踪离散化的线性算子（前向投影），而 $F^{-1}$ 代表反向投影。
分层训练策略： 训练分为三个阶段以强制执行一致性：
- 阶段 S1（域内）： 网络分别从源数据重建目标图像以及从目标数据重建源图像，并在各自的领域（图像域和测量域）内进行，使用 $L_1$ 范数损失函数。
- 阶段 S2（跨域）： 网络成对出现，用于比较跨域的重建结果。此阶段引入了跨域一致性约束，确保生成图像的前向投影与测量域表示相匹配，反之亦然。
- 阶段 S3,eq（等变一致性）： 此阶段将旋转等变性约束直接集成到损失函数中。通过定义旋转算子 $T_g$ ，模型强制要求：先旋转输入源图像再生成目标图像的结果，必须与先生成目标图像再进行旋转的结果相同。这通过在两个领域（图像域和频率域）比较旋转后的输入和输出的特定损失项在数学上予以强制执行。
网络架构： 实现采用了残差 U-Net 架构作为生成器和判别器网络。

核心贡献

双域学习： 本文引入了一种同时在空间域和傅里叶域处理数据的方法，使模型能够捕捉高频解剖细节和低频上下文模式。
等变设计： 作者将旋转等变性约束嵌入到生成器和判别器的损失函数中。这确保了输入的几何变换能一致地反映在输出中，从而保持了解剖学的合理性。
新颖框架： 据作者所知，这是首次将双域等变 GAN 特别应用于 CT-PET 模态合成。

结果与验证
该方法在 HECKTOR 2022 数据集上进行了评估，该数据集包含来自 10 个不同中心的 CT-PET 获取数据。数据集包括 341 次获取（约 125,852 张训练图像和 74,400 张测试图像）。图像被预处理为 256×256 像素的分辨率。

定性分析： 视觉对比表明，与基准 DD-GAN（无等变性）和 CycleGAN 相比，DDE-GAN（阶段 S3）生成的 PET 图像在细节方面有显著提升。
定量分析： DDE-GAN 在测试集上优于基准模型：
- PSNR： 达到了 28.12 ± 1.92 dB，比非等变 DD-GAN（25.42 dB）提高了约 2.7 dB，且较阶段 2 变体有显著提升。
- SSIM： 达到了 0.92 ± 0.04，而基准 DD-GAN 为 0.75。
- 结果表明其变异性更低，结构保真度更高。

意义与主张
本文声称，将双域学习与几何等变性相结合，可以显著增强多模态图像合成的准确性和鲁棒性。作者指出，DDE-GAN 算法通过强制执行采集物理特性中固有的旋转等变性，提高了从 CT 合成 PET 图像的质量。他们得出结论，这种方法对于临床应用具有“潜在的广阔前景”，特别是对于 PET 补全（从 CT 生成缺失的 PET 数据）和多模态训练流水线的 数据增强。该研究表明，通过等变损失约束强制执行几何一致性，对于提高医学图像合成中的结构保真度和泛化能力至关重要。