💻 computer science

Representation Paradigms in AI-based 3D Radiological Image Reconstruction: A Systematic Review

本系统综述将最先进的基于人工智能的三维医学影像重建算法归纳为四类表示体系，阐明其相互关系，并总结该领域的评估指标、数据集、挑战及未来方向。

原作者： Yuezhe Yang, Lei Bi, Boyu Yang, Yaqian Wang, Yang He, Yige Peng, Zhe Jin, Xingbo Dong, Jinman Kim

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuezhe Yang, Lei Bi, Boyu Yang, Yaqian Wang, Yang He, Yige Peng, Zhe Jin, Xingbo Dong, Jinman Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试重建一个破碎的人体三维拼图，但你只有几块散落的碎片（X 射线或 MRI 扫描图像）和一些模糊的指令。这就是“三维医学影像重建”面临的日常挑战。医生需要清晰、完整的三维图像来发现肿瘤或损伤，但获取这些图像通常意味着让患者接受大量辐射，或在扫描仪中耗费数小时。

本文是一幅“路线图”，展示了人工智能（AI）如何学习更快、更安全地解决这一拼图难题。作者并非简单罗列每一项新的 AI 工具，而是根据这些工具如何“思考”它们正在构建的三维图像，将其组织为四个截然不同的家族。

以下是这四个家族的简明分解，辅以日常类比：

1. 离散网格家族（“像素化马赛克”）

工作原理： 想象一个由无数微小、坚硬的乐高积木组成的巨大三维网格。AI 的任务是为每一块积木涂上颜色，从而构建图像。
论文观点： 这是最常见且最直接的方法。它就像给照片加上三维效果。它易于构建，且与现有的医院设备兼容良好。
局限性： 由于它依赖固定的积木，如果你从奇怪的角度观察图像，可能会看到“阶梯状”伪影，即积木无法完美对齐。它适用于标准视角，但在处理平滑、弯曲的表面时可能会遇到困难。

2. 显式基展开家族（“平滑颜料混合”）

工作原理： 与其使用坚硬的积木，不如想象 AI 使用一组平滑的数学“颜料样本”（如柔软的云朵或团块），并将它们混合在一起。它不需要为每个点上色，只需决定使用多少每种“样本”。
论文观点： 这在正电子发射断层扫描（PET，用于追踪放射性示踪剂）中很受欢迎。它比乐高积木更灵活，因为“颜料”可以平滑混合，减少锯齿感。
局限性： 你仍然必须计算每个“样本”的配方，如果图像巨大，这可能会变得复杂且缓慢。

3. 显式图元家族（“漂浮的云朵”）

工作原理： 这是最新、最时尚的方法。想象三维物体不是由积木或颜料构成，而是由成千上万个微小的、发光的、漂浮的气球（高斯基元）组成。AI 将这些气球放置在身体部位所在的位置，并调整它们的大小、形状和颜色。
论文观点： 这对速度而言是一个游戏规则改变者。由于 AI 只在需要的地方放置气球，它可以极快地渲染图像，几乎就像电子游戏一样。它非常适合稀疏数据（当你只有很少的 X 射线时）。
局限性： 设置起来更困难。你必须教会 AI 如何正确放置和塑造这些“气球”，这需要专门的训练。

4. 隐式神经家族（“魔法公式”）

工作原理： AI 不是将图像存储为积木、颜料或气球，而是学习一个单一的、神奇的数学公式。如果你问这个公式：“在这个特定坐标下，身体看起来是什么样？”它会瞬间计算出答案。这就像拥有一个可以烘焙任意大小蛋糕的食谱，而无需预先制作的模具。
论文观点： 这是最灵活的家族。它能生成完美平滑、连续的图像，即使从很少的扫描中也能看起来非常自然。这里一个著名的子类型是神经辐射场（NeRF），它擅长从二维 X 射线创建三维视图。
局限性： 计算负担重。“魔法公式”需要很长时间来学习，并且需要大量的计算机算力来运行。此外，它是一个“黑盒”——我们知道它有效，但很难解释它为什么选择了特定的形状。

全局视角：论文发现了什么

作者像才艺比赛的评委一样比较了这四个家族，考察了五个标准：

有效性： 图像有多好？（隐式神经家族在此胜出）。
效率： 速度有多快？（显式图元家族在此胜出）。
适应性： 它能适用于不同的身体部位或机器吗？（离散网格家族在此胜出）。
简易性： 构建起来容易吗？（离散网格家族在此胜出）。
可解释性： 我们能理解它是如何工作的吗？（传统数学在此胜出；AI 仍然有点神秘）。

结论：
没有单一的“最佳”AI。

如果你需要速度和实时结果，图元（气球）家族是明星。
如果你需要从极少扫描中获得平滑度和高细节，隐式（公式）家族是冠军。
如果你需要某种可靠且能融入当前医院系统的方案，网格（乐高）家族是主力军。

论文认为，未来不在于选择一个赢家，而在于混合这些方法——利用气球的速度和公式的平滑度——来创造对患者而言快速、廉价且安全的医学图像。

以下是论文《基于 AI 的 3D 放射学图像重建中的表示范式：系统综述》的详细技术总结。

1. 问题陈述

放射学成像（CT、MRI、PET、SPECT、超声）对临床诊断至关重要，但传统重建方法面临重大挑战：

数据稀缺与噪声：临床限制常导致低剂量、稀疏视角或欠采样采集，从而产生噪声或数据不完整。
基于物理方法的局限性：传统解析法（如滤波反投影）和迭代法（如 OSEM）对噪声、建模失配和缺失数据敏感。
AI 的局限性：虽然深度学习（CNN、Transformer、GAN、扩散模型）改善了重建效果，但现有综述往往侧重于特定网络架构或成像模态。目前缺乏一个基于3D 目标如何参数化（即表示范式）来对方法进行统一分类的框架。
临床障碍：当前的 AI 方法在计算效率、可解释性以及确保复杂 3D 体积中的解剖保真度方面仍面临困难。

2. 方法论

作者遵循 PRISMA 指南进行了系统文献综述：

数据来源：Web of Science、Google Scholar 和 Scopus。
筛选标准：过去五年发表的论文，包含与"AI"、“深度学习”、"3D"、“医学成像”和“重建”相关的关键词。
过滤：根据研究重点、引用次数以及在顶级会议/期刊（如 IEEE T-MI、MICCAI、CVPR）的发表情况进行筛选。
最终语料库：分析了 64 项代表性研究。
分类构建：作者未按模态或网络类型分组，而是根据重建目标的数学表述，将方法分为四大表示家族：
1. 离散网格表示
2. 显式基展开表示
3. 显式原语表示
4. 隐式神经表示

3. 主要贡献

本文做出了四项主要贡献：

面向表示的分类法：提出了一种新颖的分类系统，将基于 AI 的 3D 重建方法组织为四个不同的家族，阐明了看似不同的技术之间的关系（例如，阐明辐射场是隐式神经表示的一个子类型）。
全面综述：涵盖了广泛的模态（CT、MRI、PET、SPECT、US）和任务（任务 I：原始数据到图像；任务 II：低剂量到高剂量；任务 III：稀疏视角到全视角）。
资源汇编：总结了公开可用的基准数据集（如 AAPM 低剂量 CT、fastMRI）以及放射学重建特有的标准评估指标（PSNR、SSIM、LPIPS 等）。
批判性分析与未来方向：提供了对各种范式优缺点的比较分析，并概述了未来的研究方向，重点关注物理整合、临床评估、效率、隐私和可解释性。

4. 表示范式的技术分解

A. 离散网格表示

概念：图像存储在固定的采样空间网格（体素或切片）上。模型预测每个网格点的强度值。
子类型：
- 切片式：独立处理 2D 切片（如 U-Net）。速度快，但存在切片间不一致的问题。
- 多平面/堆叠：联合处理相邻切片以提高连续性。
- 体素式：联合重建整个 3D 体积（如 3D U-Net、3D GAN、3D 扩散模型）。
优点：直观、与现有流程兼容、高适应性。
缺点：分辨率固定、可能出现“阶梯”伪影、高分辨率 3D 体积内存占用高。

B. 显式基展开表示

概念：图像表示为预定义基函数（如 B 样条、Kaiser-Bessel“斑点”或核矩阵）的线性组合。
机制： $\lambda(r) = \sum \alpha_m \phi_m(r)$ ，其中 $\alpha_m$ 是可学习系数， $\phi_m$ 是基函数。
优点：比网格更平滑的空间过渡；表示紧凑；保留了系数的显式可解释性。
缺点：性能高度依赖于基函数的选择；由于基函数重叠，投影/反投影计算量大。

C. 显式原语表示

概念：图像由一组有限的自适应、可学习的局部元素（原语）近似表示，而非均匀网格。
主要类型：
- 高斯原语：受 3D 高斯泼溅（3DGS）启发。使用可学习的高斯分布（位置、协方差、密度）来表示解剖结构。
- 单纯形网格：使用自适应三角形/四面体网格。
优点：渲染效率极高；自适应空间支持（在需要的地方高分辨率，其他地方低分辨率）；非常适合稀疏视角和新视角合成。
缺点：需要专门的初始化和优化；比网格的可解释性差；实现复杂。

D. 隐式神经表示 (INR)

概念：图像被建模为连续函数 $f_\theta(r)$ ，将空间坐标映射到强度，无需显式存储体素。
子类型：
- 基于坐标的强度场：将 $(x,y,z)$ 映射到强度（如 NeRP）。
- 辐射场 (NeRF)：建模密度和视角相关颜色（如 MedNeRF、Ultra-NeRF）。
优点：连续分辨率（无限缩放）；非常适合处理稀疏数据和缺失视角；具有强大的连续性先验。
缺点：计算成本高（训练/推理慢）；“黑盒”性质（可解释性低）；大型 3D 体积内存占用大。

5. 结果与比较分析

作者根据有效性、效率、适应性、简单性和可解释性五个标准评估了这四个家族。

家族	有效性	效率	适应性	简单性	可解释性
离散网格	高 (4)	高 (4)	极高 (5)	极高 (5)	低 (3)
基展开	中等 (3)	中等 (3)	高 (4)	中等 (3)	中等 (4)
显式原语	高 (4)	极高 (5)	中等 (3)	低 (2)	低 (3)
隐式神经	极高 (5)	低 (2)	中等 (3)	低 (2)	极低 (2)

关键发现：没有单一的范式是普遍最优的。
- 网格最适合通用、易于部署的临床工作流。
- **原语（高斯）**在速度和稀疏视角渲染方面提供了最佳权衡。
- **隐式（NeRF）**为连续结构提供了最高的理论保真度，但在效率和可解释性方面存在缺陷。
- 传统迭代方法仍然是可解释性最强的基线。

6. 意义与未来方向

本综述将讨论从“哪种网络架构最好？”转变为"3D 数据应如何表示？”这一区别对于推进医学 AI 至关重要。

已识别的挑战与未来方向：

物理整合：未来的表示必须与成像物理（前向模型、衰减定律）紧密结合，而不是将重建视为纯粹的黑盒图像到图像任务。
临床评估：超越 PSNR/SSIM，纳入读者研究、解剖保真度以及下游诊断效用（如病灶检测准确性）。
效率与部署：开发轻量级架构、知识蒸馏和边缘计算策略，使高保真 3D 重建在实时临床环境中可行。
隐私：利用联邦学习、差分隐私和无监督方法在不损害患者数据隐私的情况下训练模型。
可解释性：设计具有可追溯机制（如展开优化步骤）的模型，以建立临床医生的信任并确保安全。

结论：
该领域正朝着混合表示演变，结合显式方法的效率与隐式方法的连续性，所有这些都基于物理成像模型。本系统综述提供了必要的分类法和路线图，以指导这一演变，实现临床实用、高质量的 3D 放射学重建。