⚡ 电气工程

A foundation model for three-dimensional anatomical reconstruction from sparse X-ray projections

该论文介绍了 SPARC，这是一个在近 48,000 份胸部扫描影像上进行预训练的基础模型，它能够从稀疏的 X 射线投影中实现高保真 3D 解剖结构重建，在图像质量和下游任务准确性方面优于现有方法，同时显著提高了临床适配的数据效率。

原作者： Yiqun Lin, Jiayang Xu, Lie Ju, Jiarong Guo, Weiru Wang, Hualiang Wang, Huifeng Yao, Haoran Sun, Bin Pu, Kenli Li, Daniel Alexander, Hejie Cui, Yukun Zhou

发布于 2026-11-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yiqun Lin, Jiayang Xu, Lie Ju, Jiarong Guo, Weiru Wang, Hualiang Wang, Huifeng Yao, Haoran Sun, Bin Pu, Kenli Li, Daniel Alexander, Hejie Cui, Yukun Zhou

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

长期以来，医学影像学一直依赖于细节与安全性之间的一种基本权衡。计算机断层扫描（简称 CT）能够提供人体内部结构的完整三维地图，让医生能够高清晰度地观察器官、骨骼和血管。为了创建这张地图，CT 扫描仪会让 X 射线源绕着患者旋转，从各个角度捕捉数百张图像。然而，这一过程需要昂贵且固定的机器，而这些机器在世界许多地方并不可及，且大量使用的 X 射线会让患者承受显著的辐射剂量。相比之下，标准的 X 光机常见、便携且廉价，但它们通常只能产生人体扁平的二维投影。由于这些机器通常只拍摄一张或几张照片，它们无法自然地生成 CT 扫描所提供的 3D 视图。几十年来，科学家们一直试图弥补这一差距，希望仅凭几张 X 光图像就能重建出完整的 3D 体积，但其背后的数学原理极其困难。由于图像过少，存在无数种可能的 3D 形状可以匹配这些投影，导致在没有关于人体通常长什么样的先验知识的情况下，很难判断哪一个是真实的解剖结构。

现在，一个研究团队开发出一种新方法，使这种可能性更接近现实。他们创建了一个名为 SPARC 的复杂计算机模型，旨在通过学习现有 CT 扫描的大规模库来掌握人体解剖的一般规则，并应用这些知识，利用极少数的 X 光投影来重建 3D 图像。研究人员在近 4.7 万份胸部 CT 扫描上训练了这个模型，教会它理解人体内部结构在不同角度以及不同数量 X 射线束照射下的外观。与以往那些往往局限于特定身体部位或需要为每家医院进行独特设置的模型不同，该模型具有很强的灵活性。它学会了处理不同的角度以及 X 射线源与探测器之间的距离，实际上是学习了 X 射线穿过人体的物理过程，而不仅仅是记忆单一的拍摄方式。

在测试中，该模型展示了惊人的能力，仅凭四张或八张 X 光投影就能创建详细的 3D 图像，这个数字远低于标准 CT 扫描仪所使用的数量。研究人员在涵盖五个不同身体区域（包括胸部、腹部、头部、脊柱和颌骨）的八个不同数据集上对该模型进行了评估。在所有案例中，SPARC 生成的 3D 图像都比其他五种领先方法生成的图像更准确，且视觉失真更少。即使在输入数据极其稀疏的情况下，生成的图像依然足够清晰，甚至可以清晰看到骨骼的精细边缘和血管的细微分支。至关重要的是，该模型不仅创造了漂亮的图像，还保留了组织的特定密度值，这对于医生区分不同类型的物质（如液体、脂肪或骨骼）至关重要。

然而，这项技术的真正考验在于它能否支持实际的医疗任务。研究人员采用了医院中用于检测疾病和分割器官的标准软件工具——这些程序通常是专门针对高质量 CT 扫描进行训练的——并将它们直接应用于 SPARC 生成的 3D 图像。这些工具此前从未见过这些重建图像，但却能以接近在全量 CT 扫描上的准确度识别出 18 种不同类型的胸部异常。同样，当被要求勾勒肝脏、肾脏和肺部等器官时，该软件在重建图像上的表现几乎与在原始数据上的表现一样出色。这表明重建的体积不仅是视觉上的近似，而且包含了足以用于诊断的真实解剖信息。

其中一个最重要的发现是该模型的学习效率。由于经过了大量数据的预训练，它只需要极少量的额外信息即可适应新情况。当研究人员尝试仅用十个患者样本来教导模型处理一个新数据集时，它的表现优于一个在一百个患者样本上从头开始训练的同规模模型。这种效率对于临床应用至关重要，这意味着医院可以通过少量的本地数据，将系统适配到其特定的设备上，而无需收集数千份新的扫描件。该模型还证明了其对 X 光图像中自然产生的随机噪声具有鲁棒性，尽管它仍需要对 X 光机的物理几何结构进行精确校准。如果 X 射线源与探测器之间的距离稍有偏差，图像质量就会下降，这凸显了虽然软件功能强大，但它仍然依赖于精确的硬件设置。

尽管研究结果令人鼓舞，但研究人员指出，本研究是使用从现有 CT 扫描生成的模拟 X 光图像进行的，而非从患者身上拍摄的真实 X 光。现实世界的 X 光成像涉及额外的复杂因素，如患者移动和射线散射，而这些因素在训练数据中并不存在。此外，该模型并非无懈可击；像任何填充缺失信息的系统一样，它存在创造出并不存在的结构或遗漏个体患者细微细节的风险。尽管存在这些局限性，这项工作仍代表了一个重大进步。通过展示一个预训练模型如何从极少量的常规 X 光数据中恢复高质量的 3D 解剖结构，研究人员为在缺乏 CT 扫描仪的环境中实现体积成像开辟了一条潜在路径。这最终可能允许偏远诊所或移动医疗单元利用现有的标准 X 光机实现人体三维内部成像，从而潜在地改变医疗服务的交付方式。

技术摘要：SPARC —— 一种用于从稀疏 X 射线投影进行 3D 解剖重建的基础模型

问题陈述

计算机断层扫描（CT）仍是三维（3D）解剖成像的标准参考，但受到高成本、固定基础设施和显著辐射暴露的限制。相反，传统的 X 射线系统虽然应用广泛，但通常只能产生二维投影。从极少数 X 射线投影重建 3D 解剖结构是一个严重的病态反问题（ill-posed inverse problem），因为许多不同的体积都可以产生相同的稀疏投影。现有解决方案面临特定的局限性：

单次扫描优化方法（例如隐式神经表示）缺乏先验解剖知识，需要大量的投影或同一患者的先验扫描。
学习型前馈网络通常针对单一身体部位和采集设置进行训练，缺乏泛化能力。
生成式方法（例如扩散模型）存在生成患者体内不存在的解剖结构的风险（即幻觉现象）。
大型重建模型（例如 DeepSparse, X-LRM）通常假设固定的采集几何结构（全圆或半圆旋转），并且主要使用像素级相似性指标（PSNR, SSIM）进行评估，这些指标可能会忽略临床相关的结构误差或亨斯菲尔德单位（HU）的偏移。

因此，需要一种统一的模型，既能适应多样化的采集几何结构和身体部位，又能保持下游临床分析工具所需的保真度。

方法论：SPARC

作者提出了 SPARC（基于基础模型的稀疏视图解剖重建），这是一种旨在根据已知采集几何结构从稀疏 X 射线投影重建 3D 衰减体积的基础模型。

架构与训练阶段：

CT 特征编码器（阶段 1）： 使用在 CT 体积上进行预训练并冻结的 3-D 掩码自编码器（MAE）及其 ViT-L/16 编码器。该编码器将 CT 体积映射到标记空间（token space），作为特征监督的目标。
预训练（阶段 2）： SPARC 模型的核心由一个 2D 主干网络和一个点解码器组成。
- 主干网络： 多尺度 ConvNeXt 金字塔处理每个 2D 投影。至关重要的是，采集几何结构（源和探测器位姿）被编码为 **Plücker 射线嵌入（Plücker ray embeddings）**并注入到 Transformer 标记中。这使得模型能够学习与特定身体部位无关的“投影-体积”关系。
- 点解码器： 3D Transformer 将特征细化为体积表示。随后，点解码器通过采样来自 3D 体积和投影 2D 特征的特征，预测任意查询点 $q$ 的衰减值。这种设计实现了分辨率无关的输出。
- 损失函数： 模型使用两种损失进行预训练：
  - 重建损失 ( $L_{rec}$ ): 预测体积与地面真值 CT 之间的均方误差。
  - CT 特征监督 ( $L_{feat}$ ): 一个头部预测来自冻结 CT 编码器的标记，迫使模型学习与 CT 一致的高层解剖特征。
适配（阶段 3）： 在特定数据集和投影数量（例如 4 或 8 个投影）上对预训练的主干网络和点解码器进行微调，而不重新训练 CT 编码器。

数据与评估：

预训练： 在来自 CT-RATE 数据集的 47,149 个胸部 CT 体积上进行，使用变化的投影数量（2–16）、角度模式和几何结构进行模拟投影。
评估： 在涵盖五个身体部位（胸部、腹部、头部、颌面部、脊柱）的八个数据集上进行了测试。
指标： 除了标准的 PSNR 和 SSIM 外，研究还评估了：
- 亨斯菲尔德单位（HU）准确度： 各强度带（空气、肺部、软组织、骨骼）内的平均绝对误差。
- 临床效用： 应用于重建图像的、基于全量 CT 训练的下游 CT 工具的性能（无需重新训练）。这包括针对 18 种异常情况的分类器和针对 10 种器官/叶的分割模型。
- 鲁棒性： 对光子噪声和几何校准误差（源到探测器距离、角度抖动）的敏感性。

关键结果

1. 重建保真度：
在所有八个数据集和指标上，SPARC 的保真度均高于五种竞争方法（DIF-Net, DIF-Gaussian, C2RV, SVCT, DeepSparse）。

PSNR 优势： 在 8 个投影下，SPARC 比最强的竞争对手高出 0.8–2.6 dB；在 4 个投影下，高出 1.4–2.7 dB。
泛化能力： 尽管仅在胸部 CT 上进行预训练，SPARC 在非胸部区域（腹部、头部、脊柱、颌面部）的表现仍优于竞争对手，证明了通过学习投影几何和通用解剖先验，可以实现对新区域的快速适配。

2. 亨斯菲尔德单位与空间准确度：

SPARC 在所有强度带（空气、肺部、软组织、骨骼）中表现出最低的平均绝对误差。
误差在空间上分布不均，误差最高出现在身体中心区域（射线穿过最多组织且结构发生重叠的区域），但 SPARC 在所有区域内均保持了比竞争对手更低的误差。
所有方法都低估了致密骨骼的衰减，这一局限性归因于平方误差损失在处理不确定薄结构时的平均效应。

3. 临床效用（下游任务）：

异常分类： 在应用于 SPARC 的 8 投影重建时，在全量 CT 上训练的分类器保留了 98% 的宏观 AUROC 性能（0.756 vs. 0.772 在全量 CT 上）。
器官分割： 分割模型在腹部器官上保留了 86% 的 Dice 系数，在肺叶上保留了 93%。
对比： 与使用竞争方法（例如，Dice 系数相对提升 +8.8%）相比，SPARC 的重建允许下游工具表现得更好。

4. 效率与鲁棒性：

数据效率： 预训练显著减少了适配所需的数据量。SPARC 仅用 10 名患者 进行适配的效果就超过了从零开始训练需 100 名患者 的架构。
计算成本： 在单个 NVIDIA GH200 GPU 上，重建一个 $256^3$ 的体积仅需 3.89 秒。
鲁棒性： SPARC 对光子噪声具有鲁棒性，但对几何校准误差（如源到探测器距离误差）较为敏感。然而，即使在几何扰动下，它仍然是最准确的方法，尽管性能差距有所缩小。

意义与主张

论文声称 SPARC 代表了向将 3D 成像扩展到 CT 无法使用的场景迈出的重要一步。其主要意义在于：

统一的基础模型： 证明了一个在多样化采集设置下进行预训练的单一模型，可以适配多种身体部位和投影配置，从而消除了为每个临床场景开发单独模型的需要。
保留临床信息： 表明稀疏视图重建可以保留足够的保真度，使现有的基于 CT 的分析工具（分类和分割）能够在无需重新训练的情况下有效运行，从而验证了重建图像在临床应用中的价值，而不仅仅是图像相似性。
数据效率： 证明了在大规模胸部 CT 数据上进行预训练可以大幅减少适配新任务或新区域所需的配对投影-CT 数据量。
开放科学： 作者发布了模型、代码和数据拆分，以促进进一步的研究和临床转化。

作者保持了审慎的态度，承认目前的结果依赖于模拟投影，实际部署需要在包含散射、射线硬化和患者运动的真实 X 射线系统上进行评估。他们强调，虽然模型恢复了大部分 CT 提供的信息，但它并不是一个完美的替代品，并且需要精确的几何校准。

技术摘要：SPARC —— 一种用于从稀疏 X 射线投影进行 3D 解剖重建的基础模型

问题陈述

方法论：SPARC

关键结果

意义与主张

类似论文