⚡ electrical engineering

Resolution-Agnostic Neural Operators for Multi-Rate Sparse-View CT

本文介绍了 CTO，这是首个针对稀疏视图 CT 重建的神经算子框架，它利用连续函数空间、双域处理和旋转等变卷积，实现了优于现有 CNN 和扩散模型的分辨率无关泛化能力以及显著更快的推理速度。

原作者： Aujasvit Datta, Jiayun Wang, Asad Aali, Anima Anandkumar

发布于 2026-08-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Aujasvit Datta, Jiayun Wang, Asad Aali, Anima Anandkumar

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试解决一个巨大的、三维的拼图，但有人偷偷拿走了其中的大部分碎片。在医学影像的世界里，这正是计算机断层扫描（CT）所发生的情况。CT 扫描仪从不同的角度拍摄 X 射线，以构建出一幅人体内部情况的图像。通常情况下，它需要拍摄数百张这样的“快照”才能生成一张清晰的图像。但拍摄如此多的快照意味着患者会接受更多的辐射，且在机器中停留的时间更长。为了保障安全并提高扫描速度，医生有时会使用“稀疏视图”（sparse-view）CT，即只拍摄极少量的快照。问题在于，由于碎片太少，拼图破碎了；计算机必须去猜测那些缺失部分的样子，这往往会导致图像模糊或出现重影，难以阅读。

多年来，科学家们一直试图教计算机如何修复这些破碎的拼图，使用的是人工智能。把这些 AI 模型想象成一个刻苦学习准备特定考试的学生。如果这个学生只练习只有 18 块碎片缺失的拼图，他们会对那一次特定的考试变得非常精通。但如果交给他们一个只有 9 块或 36 块缺失碎片的拼图，他们就会感到困惑并犯错。他们处于“过拟合”（overfit）状态，这意味着他们记住了某种特定设置下的规则，却无法适应新的设置。这在真实的医院中是一个巨大的问题，因为不同的身体部位和不同的机器都需要不同数量的快照。一个大问题是：我们能否构建一种 AI，它不仅仅是记住一个特定的拼图尺寸，而是学会拼图本身的“规则”，从而能够解决任何版本（无论大小）的拼图，而不需要重新学习一切？

这就是一项名为 CTO（计算断层扫描神经算子，Computed Tomography neural Operator）的新发明的故事，它由一个研究团队创造。CTO 并没有像标准相机那样教 AI 去观察固定的像素网格，而是教 AI 将世界视为一种连续流动的、平滑的信息流，就像一条河流而非一系列踏脚石。在数学语言中，这被称为“神经算子”。旧的 AI 模型就像是一个只能在特定缩放级别拍摄照片的摄影师，而 CTO 则像是一个神奇的镜头，可以瞬间放大或缩小，且不会丢失任何清晰度。

研究人员发现，通过使用这种“连续”的方法，CTO 可以处理任何数量的 X 射线快照，无论是 9 个、18 个、36 个还是 72 个视图。它不需要针对每个新设置进行重新训练。为了实现这一点，他们设计了两个特殊的工具。首先，他们创建了一个“双域”（dual-domain）系统，能够同时观察原始数据（正弦图，即 X 射线的原始声波形式）和最终图像，从而捕捉到其他方法会遗漏的线索。其次，他们发明了一种特殊的数学技巧，叫做 DISCO（离散-连续）卷积。想象一下你要在墙上画一个圆。普通的 AI 试图通过放置单个方块瓷砖来绘画，如果你放大看，看起来会很参差不齐。然而，DISCO 则是用一支连续的画笔进行绘画，线条流畅，所以无论你观察得多么近，圆看起来都是完美的。

实验结果非常令人印象深刻。在测试中，CTO 不仅有效，而且表现优于现有的最佳 AI 模型。与标准 AI 网络相比，CTO 生成的图像更清晰，质量提升了超过 3.4 dB（这是一个衡量图像清晰度的技术指标）。它甚至比最新的“扩散”（diffusion）模型——这类模型就像是慢慢从零开始绘制图像的 AI 画家——高出了 3 dB，但还有一个巨大的优势：CTO 生成最终图像的速度比它们快 500 倍。这种速度至关重要，因为医生不能等待数分钟才完成一次扫描；他们需要在几秒钟内得到答案。

论文还表明，CTO 具有极强的韧性。即使在数据带有噪声或扫描设置发生剧烈变化（例如从腹部扫描转变为肾脏扫描）时，CTO 依然能保持良好的性能，而无需重新学习。研究人员通过在不同数据集上的测试证明了这一点，并展示了 CTO 在面对“分布外”（out-of-distribution）挑战时不会产生困惑。他们还检查了他们的“连续”数学是否确实收敛，这意味着随着图像分辨率的提高，误差会越来越小，并最终消失。

简而言之，这篇论文表明，我们可以停止为每一种 CT 扫描设置都构建一个新的 AI。相反，我们可以构建一个智能、灵活的“算子”，它对 X 射线的物理原理理解得如此透彻，以至于它可以随时适应任何情况。这是一种从“记忆特定答案”向“理解拼图底层语言”的转变，有望为每个人带来更快、更安全、更清晰的医学扫描。

技术摘要：面向多速率稀疏视图 CT 的分辨率无关神经算子

1. 问题陈述

稀疏视图计算机断层扫描（Sparse-View CT, SVCT）旨在从有限数量的 X 射线投影中重建高保真图像，以减少辐射暴露和扫描时间。这构成了一个病态逆问题，因为测量数量不足以唯一确定底层的衰减图。

虽然深度学习方法（特别是卷积神经网络 CNN 和展开优化网络）相比于传统的滤波反投影（FBP）和压缩感知方法显著提高了重建质量，但它们面临一个关键限制：对分辨率和采样率的依赖性。现有的模型通常针对特定的采集设置（例如特定的投影角度或固定的图像分辨率）进行训练。因此，为一种采样率训练的模型在面对其他采样率时会失效，在输入分辨率或视图数发生变化时往往会产生严重的伪影。在临床实践中，由于不同器官和协议的采集设置各异，维护多个独立的模型是不可扩展且不切实际的。

2. 方法论：CTO 框架

作者提出了 计算断层扫描神经算子（Computed Tomography neural Operator, CTO），这是第一个将神经算子（Neural Operators, NOs）应用于稀疏视图 CT 重建的框架。与学习固定离散网格之间映射的标准神经网络不同，NOs 学习的是无限维函数空间之间的映射。这使得 CTO 能够在无需重新训练的情况下，实现对不同测量采样率和图像分辨率的泛化。

核心架构组件

CTO 遵循**展开网络（unrolled network）**设计，模仿迭代优化算法，但将学习到的正则化步骤替换为神经算子。该框架由两个主要域组成：

正弦图空间算子 ( $NO_s$ )：
- 函数空间： 在极坐标系下的正弦图 $p(\theta, r)$ （角度 $\theta$ ，探测器位置 $r$ ）上运行，这是 CT 测量的自然定义域。
- 双支路设计： 受滤波反投影（FBP）启发， $NO_s$ $N O_{s}$ 采用了两个平行的 U 型 DISCO 模块：
  - 空间支路 ( $NO_{s,spatial}$ )： 在 $(\theta, r)$ 域内捕捉局部、几何感知的相关性。
  - 频率支路 ( $NO_{s,freq}$ )： 沿探测器轴 ( $r$ ) 应用一维傅里叶变换，以建模长程角度-径向依赖关系，有效地学习类似于 FBP 中坡度滤波器（ramp filter）的数据驱动频率先验。
- 旋转等变性： 为了尊重 CT 的物理对称性（即物体旋转对应于正弦图中角度轴的平移），该架构在 $\theta$ 轴上使用了**循环填充（circular padding）**并在 $r$ 轴上进行了翻转。这确保了网络对旋转具有等变性，能够处理平行束几何结构中固有的 $\pi$ 周期性和翻转恒等性。
图像空间算子 ( $NO_i$ )：
- 函数空间： 在二维笛卡尔图像网格上运行。
- 精细化： 接收来自正弦图域的中间重建结果，并精细化空间特征，恢复高频细节并确保结构一致性。

DISCO 机制

两个算子都依赖 离散-连续（Discrete–Continuous, DISCO）卷积 作为其基本构建模块。

连续核： 与使用固定离散核的 CNN 不同，DISCO 将卷积核定义为函数空间中的连续函数。
分辨率无关性： 这些连续核仅在特定输入数据的分辨率下进行离散化。这使得相同的模型参数可以应用于不同分辨率的输入（例如不同的视图数或探测器分箱数），同时保持相对于物理域的一致感受野。
收敛性： DISCO 被证明是离散收敛的，这意味着近似误差在不同分辨率下是有界的，并且随着分辨率的增加趋于零。

3. 主要贡献

首次将神经算子应用于 SVCT： CTO 是第一个利用神经算子进行稀疏视图 CT 重建的框架，使单个模型能够在不同测量采样率和图像分辨率之间实现泛化，而无需重新训练。
联合空间-频率正弦图学习： 作者引入了一个在正弦图空间内的双域算子，该算子尊重 CT 旋转几何学和采集物理学，结合了受 FBP 启发的空间处理与频域学习。
内在的分辨率与旋转无关性： 通过使用 DISCO 算子在函数空间进行学习，CTO 实现了跨不同条件的一致性重建。通过在正弦图域采用特定的填充方案，其设计在本质上具有旋转等变性，提高了对不同采集角度的鲁棒性。
统一的函数空间公式化： CTO 不是为每个采样率学习单独的离散模型，而是学习一个单一的连续算子，从中可以采样出不同的离散化版本，从而实现多速率重建和跨离散化一致性。

4. 实验结果

作者在 AAPM 低剂量腹部 CT 和肾脏 CT 数据集上对 CTO 进行了评估，并将其与无学习方法（FBP, SART）、单次传递深度学习模型（DuDoTrans, GloReDi）、展开网络（Learned Primal-Dual, LEARN, RegFormer）以及基于扩散的方法（DPS, ALD）进行了对比。

多速率性能： CTO 使用多速率数据（9、18、36 和 72 视图）进行训练。它在所有采样率下均一致地优于所有基准模型。
- 在肾脏数据集上，CTO 比展开 CNN 基准提升了平均 4 dB PSNR，比扩散方法提升了 3 dB，比基于 Transformer 的方法提升了 5 dB。
- 在腹部数据集上，CTO 比展开 CNN 基准提升了 3 dB PSNR，比扩散和 Transformer 基准提升了 6 dB。
零样本超分辨率： CTO 展示了强大的向更高分辨率泛化的能力，且无需微调。当在 512×512 图像上进行测试（训练于 256×256）时，CTO 保持了锐利的细节，而 CNN 基准则出现了模糊和混叠现象，其 PSNR 比 CNN 基准高出 3 dB。
效率： 与最先进的扩散方法相比，CTO 提供高达 500 倍的推理速度提升，同时实现相当或更优的重建质量（平均提升 3 dB）。与扩散模型不同，CTO 不需要针对特定速率进行超参数调优。
鲁棒性： CTO 在跨数据集迁移（从肾脏到 AAPM）以及存在噪声正弦图数据的情况下，表现出强大的分布外（OOD）鲁棒性。

5. 意义与主张

本文将 CTO 定位为一种原则性且实用的范式，用于灵活的 CT 重建。其主要意义在于克服了困扰当前深度学习方法的“离散绑定”问题。通过从基于离散网格的学习转向函数空间学习，CTO 解决了临床对统一模型的关键需求，即能够适应不同的采集协议（不同的器官、扫描速度和分辨率），而无需承担训练和维护多个专门模型的开销。

作者声称，CTO 确立了神经算子作为计算成像领域替代传统 CNN 和扩散模型的可行方案，提供了一种结合了高保真度、分辨率无关性和计算效率的独特方式。这项工作表明，未来的临床应用可以受益于这种能够处理多样化且动态变化的 CT 采集设置的单一且可扩展的模型。