💻 computer science

Equivariant Splitting: Self-supervised learning from incomplete data

该论文提出了一种针对单观测不完整数据场景的自监督学习新策略，通过定义重建网络中的等变性并结合分裂损失，实现了无监督监督损失的无偏估计，并在图像修复、加速磁共振成像等多个任务中取得了优于现有方法的性能。

原作者： Victor Sechaud, Jérémy Scanvic, Quentin Barthélemy, Patrice Abry, Julián Tachella

发布于 2026-03-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Victor Sechaud, Jérémy Scanvic, Quentin Barthélemy, Patrice Abry, Julián Tachella

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为**“等变分裂”（Equivariant Splitting, ES）**的新方法，旨在解决一个非常棘手的问题：如何在没有“标准答案”（真实图像）的情况下，教 AI 从残缺或模糊的测量数据中还原出清晰的图像？

想象一下，你正在玩一个拼图游戏，但有人把拼图打碎后，只给了你其中一部分碎片，而且这些碎片还经过了某种特殊的“扭曲”。通常，要教 AI 拼好这个图，我们需要给它看成千上万张“完整拼图”和“残缺拼图”的对照表（这就是所谓的“监督学习”）。但在很多领域（比如天文观测、医疗 CT 扫描），我们根本拿不到完整的“标准答案”，因为获取它们太贵、太慢，甚至是不可能的。

这篇论文就是为了解决这个“无师自通”的难题。

1. 核心难题：只有“半张脸”，怎么猜出“整张脸”？

在科学成像中，我们通常只能看到物体的一部分信息（比如 CT 扫描只扫了很少的角度，或者 MRI 只采集了部分信号）。这就像你只看到了一个人的半张脸，却想画出他完整的肖像。

传统方法（监督学习）： 需要大量“完整脸”和“半张脸”的配对数据来训练。
旧有的无监督方法：
- 方法 A（分裂法）： 把一张残缺的图强行切成两半，让 AI 用左半部分去猜右半部分。但这有个大问题：如果残缺太严重（比如只剩 10% 的信息），AI 就猜不出来了，因为它在“盲区”里找不到线索。
- 方法 B（等变成像法）： 假设图像具有某种“对称性”或“不变性”。比如，把图片旋转 90 度，它看起来应该还是合理的。AI 利用这个规则来学习。但这方法计算量巨大，而且如果图像本身不太符合规则，效果就不好。

2. 新方案：等变分裂（ES）——“魔法分身”与“拼图游戏”的结合

作者提出了一种聪明的新策略，把上述两种方法的优点结合了起来。我们可以用两个生动的比喻来理解：

比喻一：魔法分身术（等变性）

想象你有一个**“魔法分身”。当你把一张照片旋转、翻转或移动位置时，照片里的内容虽然变了位置，但本质规律**没变（比如猫还是猫，只是头朝左了）。

旧方法是每次都要真的把照片旋转一遍，让 AI 分别学习，非常累（计算慢）。
新方法（ES） 是设计一种**“天生就会分身”的 AI 架构**。这种 AI 不需要真的去旋转图片，它的内部结构本身就懂得：“如果输入旋转了，我的输出也会自动跟着旋转”。这就像它天生就拥有“空间感”，不需要额外做动作就能理解变换。

比喻二：聪明的拼图游戏（分裂法）

现在，我们手里有一张残缺的图（比如只看到了 30% 的像素）。

旧分裂法是：把这张残缺图再切一刀，让 AI 用剩下的 15% 去猜另外 15%。如果残缺太严重，这 15% 里可能全是空白，AI 就学废了。
新方法（ES） 是：利用上面的“魔法分身”能力。
1. 我们假装这张残缺图是经过旋转或翻转后的样子。
2. 因为 AI 是“等变”的，它知道如果原图旋转了，残缺的部分也会跟着旋转。
3. 于是，我们可以在虚拟空间里把这张图“分裂”成不同的部分。原本在“盲区”的信息，经过旋转后，可能就跑到了“可见区”！
4. AI 通过这种“虚拟分裂”，实际上是在用不同的视角去观察同一张残缺图，从而填补了原本看不见的信息空白。

3. 为什么这个方法很厉害？

不需要标准答案： 就像教小孩认字，不需要给他看字典，只需要给他看很多字，并告诉他“这个字转过来还是那个字”，他就能学会。
速度快： 以前的“等变成像”方法需要把图片转来转去算好几次，非常慢。新方法利用“天生会分身”的 AI 架构，一次计算就能搞定所有旋转和翻转的情况，效率极高。
效果惊人： 作者在多个领域做了测试：
- 图像修复（Inpainting）： 把被涂抹掉的部分补全。
- 加速核磁共振（MRI）： 让病人少躺一会儿，扫描速度加快 8 倍，图像依然清晰。
- 稀疏 CT 扫描： 减少辐射剂量（只扫很少的角度），依然能看清病灶。
- 压缩感知： 用极少的数据重建图像。

4. 总结

这篇论文的核心思想就是：给 AI 装上“空间直觉”（等变性），然后利用这种直觉，把残缺的数据在虚拟世界里“变”出更多视角（分裂），让 AI 在不需要老师（真实图像）的情况下，自己把残缺的拼图拼完整。

这就好比，你不需要见过完整的蒙娜丽莎，只要有人告诉你“这幅画旋转后还是那幅画”，并且给你看几个残缺的碎片，你就能通过逻辑推理，在脑海里还原出整幅画的全貌。

一句话总结： 这是一种让 AI 在“盲人摸象”时，通过理解“大象旋转后还是大象”的规律，从而只用残缺数据就能完美重建图像的高效新方法。

这是一份关于论文《EQUIVARIANT SPLITTING: SELF-SUPERVISED LEARNING FROM INCOMPLETE DATA》（等变分裂：从不完全数据中进行自监督学习）的详细技术总结。

1. 研究背景与问题 (Problem)

核心问题： 逆问题（Inverse Problems）中的自监督学习，特别是在单不完全前向算子（Single Incomplete Forward Operator）设置下的重建任务。

逆问题定义： $y = Ax + \epsilon$ ，其中 $x$ 是真实图像， $y$ 是观测数据， $A$ 是已知的退化矩阵（如 MRI 的采样掩码、CT 的投影算子）， $\epsilon$ 是噪声。
挑战： 在许多实际场景（如医学成像、遥感、天文成像）中，获取成对的“真实图像 - 观测数据”（Ground Truth）进行监督训练极其昂贵或不可能。
现有方法的局限性：
- 测量分裂法 (Measurement Splitting)： 通常假设存在多个不同的前向算子（如变化的掩码），通过分裂观测数据来训练。但在单算子（如固定掩码的加速 MRI 或稀疏视角 CT）设置下，由于算子的零空间（Nullspace）无法被覆盖，传统分裂法失效。
- 等变成像 (Equivariant Imaging, EI)： 假设图像分布对某些变换（如旋转、平移）具有不变性。虽然能在单算子下工作，但计算成本极高（每次迭代需 2-3 次网络前向传播），且在算子高度不完全时性能可能不佳，且其损失函数不一定是监督损失无偏估计。

2. 方法论 (Methodology)

作者提出了一种名为等变分裂 (Equivariant Splitting, ES) 的新策略，结合了测量分裂法的简单高效和等变成像法的理论优势。

2.1 核心假设

假设真实图像分布 $p(x)$ 对变换群 $\{T_g\}_{g \in G}$ 是不变的（即 $p(T_g x) = p(x)$ ）。这意味着观测数据 $y$ 不仅可以看作 $Ax $的退化，也可以看作虚拟图像$ x_g = T_g^{-1}x $经过虚拟算子$ A_g = A T_g$ 的退化。

2.2 新的等变定义 (New Definition of Equivariance)

作者重新定义了重建函数 $f(y, A)$ 的等变性：
$f(y, A T_g) = T_g^{-1} f(y, A)$
这与传统的图像到图像函数的等变性不同，它要求重建网络在处理变换后的算子时，输出也相应地逆变换。

2.3 提出的损失函数 (Proposed Loss)

ES 损失函数结合了分裂思想和等变性：
$L_{ES}(y, A, f) = \mathbb{E}_g \{ L_{SPLIT}(y, A T_g, f) \}$
其中 $L_{SPLIT}$ 是传统的测量分裂损失。

无噪情况： 直接最小化预测值与观测值的差异。
有噪情况： 结合 R2R (Recorrupted-to-Recorrupted) 去噪损失，确保在噪声存在时也能无偏估计。

2.4 理论保证

定理 1： 在图像分布不变且矩阵 $Q_{A_1}$ 满秩的条件下，最小化 ES 损失的期望值等价于获得最小均方误差 (MMSE) 估计器。这是传统 EI 方法无法保证的。
定理 3 (计算协同)： 如果重建网络本身是等变的（满足上述新定义），则 ES 损失在计算上等价于标准的分裂损失 $L_{SPLIT}$ $L_{S P L I T}$ 。
- 关键优势： 这意味着不需要像 EI 那样对每个变换显式地运行网络多次。只需训练一个等变网络，在推理时通过平均多个分裂样本即可，极大地降低了计算成本。

2.5 网络架构

为了利用上述理论，作者设计了满足等变性的架构：

去噪模块： 使用平移等变的 UNet 或经过 Reynolds 平均（对旋转/翻转进行平均）的 UNet。
展开网络 (Unrolled Networks)： 如 MoDL 架构，确保每一步迭代都保持等变性。
Reynolds 平均： 对非等变网络进行群平均以强制等变性。

3. 主要贡献 (Key Contributions)

新定义： 提出了逆问题中重建函数的等变性新定义，并证明了多种常见架构（如去噪网络、展开网络、MAP/MMSE 估计器）满足该性质。
新损失函数： 提出了 ES 损失函数，证明了在图像分布不变假设下，其全局最小值对应于监督学习下的黄金标准（MMSE 估计器）。
计算效率突破： 揭示了等变网络与分裂损失之间的计算协同效应，使得在单算子设置下无需像 EI 那样进行多次网络评估，显著提升了训练和推理效率。
广泛的实验验证： 在压缩感知、图像修复、加速 MRI 和稀疏视角 CT 等多个任务上验证了方法的有效性。

4. 实验结果 (Results)

作者在四个主要任务上进行了实验，对比了监督学习（Supervised）、等变成像（EI）、测量一致性（MC/SURE）及无学习基线。

压缩感知 (Compressive Sensing)：
- ES 的性能几乎与监督学习持平。
- EI 仅在压缩率较高时接近监督学习，低压缩率下差距较大。
图像修复 (Image Inpainting)：
- ES 在 PSNR 和 SSIM 上显著优于 EI，且接近监督学习。
- 视觉质量上，ES 生成的图像比 EI 更清晰，减少了模糊。
加速 MRI (Accelerated MRI)：
- 在 8 倍加速和 40dB SNR 下，ES 的 PSNR (28.54) 非常接近监督基线 (28.74)，优于 EI (27.88)。
- 在真实 MRI 数据上也表现出竞争力。
- 消除了 EI 常见的点状伪影。
稀疏视角 CT (Sparse-view CT)：
- ES (32.62 PSNR) 显著优于 EI (28.61)，接近监督基线 (33.99)。
消融研究：
- 证明了使用等变架构配合分裂损失能带来性能提升。
- 即使使用非等变架构，ES 也能通过“学习到的等变性”获得较好效果，但显式等变架构效果更佳。
- ES 的每个 Epoch 训练时间远短于 EI（因为 EI 需要多次前向传播），计算效率更高。

5. 意义与结论 (Significance & Conclusion)

填补空白： 这是首个利用等变网络仅从单不完全观测中学习逆问题的方法，突破了以往分裂法需要多算子、EI 法计算昂贵的限制。
理论深度： 从理论上证明了该方法能收敛到 MMSE 估计器，为自监督逆问题提供了坚实的理论基础。
实用价值： 为医学成像（MRI, CT）等难以获取真实标签的领域提供了一种高效、高性能的自监督解决方案。
未来方向： 证明了基于等变性的架构约束是解决病态成像逆问题的有力工具，未来的架构改进将直接受益于该方法。

总结： 该论文通过巧妙结合“测量分裂”和“等变性”两个概念，提出了一种计算高效且理论完备的自监督学习框架，在多种高难度成像任务中达到了接近监督学习的性能，是逆问题自监督学习领域的重要进展。