⚡ electrical engineering

Model-based Dynamic 3D MRI Reconstructions using Neural Fields and Tensor Product Expansions

本文提出了一种内存高效且无需离散化的动态三维磁共振成像重建框架，该框架利用张量积神经场将磁化强度和线圈灵敏度表示为连续可微函数，在高度欠采样场景下实现了优于最先进方法的性能。

原作者： Ray Sheombarsing, Max van Riel, David Heesterbeek, Nico van den Berg, Alessandro Sbrizzi

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Ray Sheombarsing, Max van Riel, David Heesterbeek, Nico van den Berg, Alessandro Sbrizzi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对该论文的解读。

问题：“像素化”的拼图难题

想象一下，你正在尝试拼一幅巨大的拼图，但有人拿走了其中 90% 的碎片。在磁共振成像（MRI）领域，当医生试图极快地拍摄跳动的心脏时，就会发生这种情况。为了在心脏再次移动前捕捉到运动，他们必须跳过大部分数据（即欠采样）。

传统的 MRI 重建方法试图通过将图像视为由微小、独立像素组成的网格来解决这个问题。

缺陷： 当你只有这么少的碎片时，试图基于刚性网格来猜测缺失的像素，就像试图仅用方形乐高积木画出一个平滑的圆。最终你会得到锯齿状的边缘、模糊的运动以及“重影”伪影。为了解决这个问题，计算机必须使用繁重的“规则”（正则化）来强制图像看起来平滑，但这些规则往往会模糊掉精细的细节或心脏的实际运动。
内存崩溃： 试图为心脏的 3D 电影计算所有这些缺失的像素，需要计算机一次性在内存中容纳海量数据。这就像试图单手携带整个图书馆的书籍；最终，计算机因空间不足而崩溃。

解决方案：“无限画笔”

本文作者提出了一种看待图像的新方式。他们不再将图像视为像素网格，而是将其视为平滑、连续的画作，无论放大多少倍，都可以在任何点绘制。

他们使用了一种称为神经场（Neural Fields）的工具，这本质上是学习图像形状的“智能画笔”（神经网络）。

类比： 想象你想描述一座山脉。
- 旧方法（像素）： 你拍一张照片，数清每一平方英寸的草地和岩石。如果你漏掉了一个方格，你的地图上就会出现一个空洞。
- 新方法（神经场）： 你用数学公式来描述这座山。你可以问：“在这个特定坐标处的高度是多少？”公式会立即给出答案，即使你从未去过那个确切的地点。图像是平滑且连续的，而不是块状的。

秘诀：“乐高塔”技巧

这里有一个陷阱。如果你试图用一个巨大的“智能画笔”来描述一部 3D 电影（包含高度、宽度、深度和时间），数学会变得如此复杂，以至于即使是最强大的超级计算机也无法处理。这就像试图用一块巨大的混凝土块建造摩天大楼；它太重了，无法举起。

作者的突破在于使用张量积展开（Tensor Product Expansions）。

隐喻： 他们不是使用一块巨大沉重的混凝土块，而是用四个独立的、轻量级的乐高塔（一个代表时间，一个代表宽度，一个代表深度，一个代表高度）来构建图像。
工作原理： 他们将这四个简单的塔组合起来，创造出复杂的 3D 电影。
- 优势： 这极其高效。计算机不需要一次性计算数十亿个点，而只需为四个塔中的每一个计算几千个点，然后将它们拼接在一起。
- 结果： 论文声称，这将计算机的内存使用量减少了31 倍。以前需要巨大且昂贵的 48GB 显卡（且经常失败）才能完成的任务，现在可以在标准的 12GB 显卡上运行。

他们做了什么以及发现了什么

研究人员在三种类型的 MRI 数据上测试了这种新方法：

动态 2D 心脏扫描： 他们模拟了以不同速度拍摄心脏图像。
- 结果： 当他们跳过比平时多 16 倍的数据（激进欠采样）时，旧方法（压缩感知）产生了模糊、闪烁的图像。而新方法产生了清晰锐利的图像，心脏的运动完美平滑。
动态 3D 大腿扫描： 他们在施加压力的同时扫描大腿。
- 结果： 新方法可以直接从原始的、未组织的数据中重建视频，而无需先将数据分组为“帧”。这是传统方法在不耗尽内存的情况下无法做到的。
动态 3D 心脏扫描： 他们在真实的 3D 心脏电影上进行了测试。
- 结果： 同样，新方法比标准方法更好地保留了精细细节和运动，而标准方法则遭受了“条纹”和模糊的困扰。

核心结论

这篇论文介绍了一种重建 MRI 扫描的方法，它将图像视为平滑、连续的物体，而不是像素网格。通过将问题分解为更小、更易管理的“塔”（张量积）并使用智能算法，他们使得在标准计算机硬件上创建高质量、快速移动的 3D 心脏电影成为可能。

论文的关键要点：

不再有“像素化”限制： 该方法适用于任何分辨率，因为它不依赖于固定的网格。
内存节省： 与以前的神经网络方法相比，它使用的内存减少了 31 倍，使得在标准设备上实现 3D 动态 MRI 成为可能。
更好的运动处理： 即使数据非常不完整，它处理快速移动器官（如心脏）的能力也远优于当前顶尖的方法。
无需训练数据： 与许多 AI 方法不同，它不需要成千上万预先扫描的患者库来学习；它直接从正在处理的具体扫描中推断出图像。

技术摘要：基于神经场与张量积展开的模型驱动动态 3D MRI 重建

问题陈述
传统 MRI 重建方法将图像和线圈灵敏度视为离散数组。虽然这种方法适用于数字数据，但其内存需求高且缺乏结构感知能力，因此需要强正则化（例如全变分，Total Variation）来强制一致性。这些局限性在高度欠采样场景中变得尤为关键，例如动态 2D 和 3D 心脏磁共振（CMR），在这些场景中需要高加速因子以解析心脏运动。现有的深度学习方法提供了替代方案，但通常依赖大规模监督训练集，降低了在不同扫描仪和协议间的适应性，且仍受限于固定分辨率。此外，虽然隐式神经场（INFs）提供了连续表示，但将完全多元神经网络应用于高维（动态 3D）问题在计算上是不可行的，因为密集网格所需的评估点数量呈指数级增长。

方法论
作者提出了一种无离散化、基于模型的框架，利用基于单变量神经场张量积的神经场展开（NFEs），将磁化强度和线圈灵敏度表示为连续、可微的函数。

张量积架构：该方法不使用单一的多元网络，而是将表示分解为每个坐标方向（空间和时间）的单变量多层感知机（MLP）的张量积。如果一个网格的维度为 $P_1 \times \dots \times P_d$ ，多元网络需要评估 $\prod P_j$ 个点，而张量积方法仅需在 $d$ 个单变量网络上评估 $\sum P_j$ 个点。这将计算复杂度相对于维度的关系从指数级降低为线性级。
连续表示：磁化强度 $m(t, x)$ 和线圈灵敏度 $S(x)$ 均被建模为 NFEs。磁化强度定义于时空域，而线圈灵敏度定义于空间域。作者利用 SIREN 网络（正弦激活函数）来准确捕捉高频信号及其导数。
联合优化：该框架从欠采样 k 空间数据中联合重建磁化强度和线圈灵敏度，无需外部训练数据集或单独的线圈校准扫描。
目标函数：重建过程最小化包含以下内容的损失函数：
- 数据一致性：加权 $L_2$ 范数，用于惩罚 k 空间偏差，旨在处理模型失配和重尾残差。
- 正则化：磁化强度的空间和时域全变分（TV），时间导数的 $L_1$ 惩罚项，以及线圈灵敏度导数的平方 $L_2$ 惩罚项，以促进平滑性。
随机优化：为了管理内存并实现动态 3D 重建，目标函数使用随机梯度下降（SGD）进行优化。正则化项在混合集上进行评估，该混合集包含随机采样的连续点以及对应于测量位置的离散笛卡尔网格点。这种随机公式允许高效的内存使用，并实现对优化过程的细粒度控制。

主要贡献

张量积公式：主要贡献是引入了单变量神经场的张量积架构。这种结构取代了单一的多元网络，实现了内存和浮点运算高效的评估与微分，这对动态 3D MRI 至关重要。
联合重建：该方法将磁化强度和线圈灵敏度表示为神经场并进行联合重建，通过原则性的正则化解决了联合估计的病态问题。
基于模型的随机优化：将随机采样与连续域建模相结合，使得在标准 GPU 硬件上以高加速因子（例如因子 16）进行重建成为可能，而由于内存限制，这一任务此前对于动态 3D 数据是不可行的。

结果
该方法在三个数据集上进行了评估：回顾性欠采样动态 2D CMR、前瞻性欠采样动态 3D 大腿 MRI 以及前瞻性欠采样动态 3D CMR。

内存效率：张量积设计使动态 2D 示例的 GPU 内存减少了31 倍（使用量从约 23GB 降至约 750MB）。对于动态 3D 情况，它将内存需求从 >48GB（在 48GB GPU 上不可行）降低到了 9–12GB。
动态 2D 性能：在加速因子（AF）为 8、12 和 16 时，基于 NFE 的重建保持了高视觉质量和时间一致性。相比之下，压缩感知（CS）基线表现出明显的闪烁、条纹伪影和模糊，特别是在 AF 12 和 16 时。定量指标（SSIM 和 PSNR）在所有切片和时间帧上均一致地倾向于 NFE。
动态 3D 性能：该方法成功直接从原始、未分箱的 k 空间读出中重建了时间分辨图像（时间分辨率 $\delta t = 5.4$ ms），而这是标准 CS 流程在计算上不可行的任务。虽然观察到一些噪声和局部边界强度差异（可能是由于强空间 TV 正则化所致），但重建结果在解剖结构上保持一致，并在不同受试者间具有时间连贯性。
动态 3D CMR：在定性比较中，NFE 重建保留了解剖细节，并且没有 CS 重建在 AF 16 时出现的闪烁伪影。

意义与主张
该论文声称，所提出的框架通过利用张量积展开的结构效率，在标准硬件上实现了计算可行且高质量的动态 3D MRI 重建。该方法展示了在不同加速因子和扫描仪类型（1.5T 和 3T）下的鲁棒性，且无需监督训练数据。

作者谦逊地指出，虽然 NFE 在强欠采样条件下保持结构和运动方面优于最先进的 CS 方法，但该框架仍面临挑战：

超参数敏感性：该方法涉及大量超参数（模式、网络架构、正则化权重）。虽然开发了启发式指南以使调整变得可行，但这与完全自动化的方法相比仍然是一个局限性。
可解释性：与广义傅里叶级数的类比是形式上的；学习到的模式不是正交的或线性独立的，这意味着系数的大小不能直接解释为模式的重要性。
数据局限性：动态 3D CMR 的评估仅限于单次中等质量的扫描，这是由于缺乏用于未分箱动态 3D 采集的公开可用真实数据集。

这项工作确立了，当连续域建模与张量积分解和随机优化相结合时，为高加速、特定扫描的 MRI 重建提供了一条可行的前进道路。

问题：“像素化”的拼图难题

解决方案：“无限画笔”

秘诀：“乐高塔”技巧

他们做了什么以及发现了什么

核心结论

类似论文