💻 computer science

FlowADMM: Plug-and-play ADMM with Flow-based Renoise-Denoise Priors

本文介绍了 FlowADMM，这是一种即插即用的 ADMM 算法，它利用源自基于流的生成模型的规范化确定性重噪声 - 去噪算子，在具有严格收敛保证和提升效率的同时，在各种逆问题上实现了最先进的性能。

原作者： Hendrik Sommerhoff, Michael Moeller

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Hendrik Sommerhoff, Michael Moeller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文"FlowADMM"的解释。

宏观视角：修复破损照片

想象你有一张照片，它要么模糊不清，要么充满噪点，要么被挖去了一个巨大的黑色方块（就像审查条一样）。你的目标是修复它。用数学术语来说，这被称为逆问题：你拥有破损的结果（ $y$ ）以及它是如何破损的规则（ $A$ ），你需要推算出原始图像（ $x$ ）。

长期以来，计算机尝试通过两种方式修复这些照片：

“硬规则”方式：使用简单的数学公式（例如“边缘应该清晰”）。这种方法很安全，但往往会让照片看起来像塑料卡通画。
"AI 猜测”方式：使用经过训练来猜测答案的庞大神经网络。这种方法效果极佳，但它是一个“黑盒”。你不知道它为什么会做出某个决定，而且如果你让它修复不同类型的模糊，你就必须重新训练整个模型。

**即插即用（PnP）**方法试图兼得两者之长。它们在一个数学框架内，利用一个强大的 AI“去噪器”（一种经过训练用于去除图像噪点的工具）作为智能猜测器。

问题所在：“醉酒”的 AI

这篇论文中使用的特定 AI 工具被称为流模型（Flow Models）。你可以把流模型想象成一台机器，它知道如何将一团静态噪点转化为清晰的图像。它是通过一步步地“去噪”来逐步完成这一过程的。

然而，这里有一个陷阱。这些模型被训练为在特定级别的“混乱度”（噪点）下处理图像。

如果图像太干净，AI 会感到困惑。
如果图像太混乱，AI 也会感到困惑。

在之前的方法中，当计算机尝试修复照片时，图像会偏离 AI 所训练的“混乱度水平”。为了解决这个问题，研究人员添加了一个**“重噪”步骤**。他们会故意向图像中重新加入少量噪点，将其推回正确的水平，让 AI 进行清理，然后重复此过程。

类比：想象你试图将收音机调谐到特定的电台。信号一直在漂移。之前的方法会说：“好吧，让我们摇晃一下收音机（添加噪点），使其回到正确的频率，聆听音乐（去噪），然后希望我们能保持在轨道上。”

这种“摇晃并聆听”方法的问题在于它是随机的（随机的）。每次你摇晃收音机，它都会落在一个略有不同的位置。这使得数学家很难证明该方法每次都能收敛到完美的答案。这就像试图通过观察一个醉汉踉跄行走来证明他最终会走直线一样。

解决方案：FlowADMM

这篇论文的作者意识到了一件重要的事情：如果你摇晃收音机足够多次并取平均值，你就会得到一条可预测的直线。

他们识别出隐藏在这一切随机性背后的一个确定性算子（可预测的规则）。与其每次都实际添加随机噪点并平均结果，他们从数学上定义了“平均”结果会是什么样子。

他们将其称为**“平均重噪 - 去噪算子”**。

旧方法：添加随机噪点 $\rightarrow$ 清理 $\rightarrow$ 重复 5 次 $\rightarrow$ 平均结果。（缓慢且随机）。
新方法（FlowADMM）：直接计算“完美平均”结果。（可预测且更快）。

他们将这个新的、可预测的规则嵌入到一个经典的数学框架中，称为ADMM（交替方向乘子法）。

类比：

ADMM 就像两个人试图就一个解决方案达成一致。
- 人物 A（数据保真度）：“我们必须坚持我们收到的那张模糊照片。我们不能发明那些不存在的东西。”
- 人物 B（先验/FlowADMM）：“但我们知道真正的猫长什么样！让我们让它看起来像一只真正的猫。”
在旧方法中，人物 B 喝醉了，跌跌撞撞，使得他们很难达成一致。
在FlowADMM中，人物 B 现在清醒了，遵循一条严格且可预测的路径。他们可以握手，更高效地就最终图像达成一致。

为什么这更好？

已证明有效：因为新方法具有可预测性（确定性）而非随机性，作者可以写出数学证明，表明在特定条件下它确实会收敛到一个解。它不再是一个“黑盒”猜测，而是一条有保障的路径。
速度更快：旧方法必须在每一步运行多次 AI 模型才能获得良好的平均值。FlowADMM 在数学上一次性完成“平均”计算。论文声称，它在实现相同或更高质量的同时，所需的“数据一致性”检查（即计算机检查图像是否与原始模糊照片匹配的部分）更少。
具有适应性：该方法使用一种“调度”策略。
- 早期阶段：使用“粗略”方法（关注大局，修复主要模糊）。
- 后期阶段：切换到“精细”方法（修复胡须或纹理等微小细节）。
- 他们还使用了一种智能采样策略：早期，他们使用较少的计算，因为“大局”不需要完美的精度。后期，他们使用更多的计算来敲定细微细节。

结果

作者在几项任务上测试了 FlowADMM：

去噪：去除照片中的静电噪点。
去模糊：修复因手抖而拍摄的照片。
超分辨率：将小且模糊的图像变大并变清晰。
图像修复：填充图像中缺失的部分（例如被挖去的方块）。

在几乎每一项测试中，FlowADMM 生成的图像都比之前的最佳方法更清晰、更准确（通过 PSNR 和 SSIM 分数衡量）。同时，它在“数据检查”步骤上使用的计算能力也更少。

总结

这篇论文将一种用于修复破损图像的混乱、随机过程，转化为一种干净、可预测且经过数学证明的方法。通过认识到所有随机猜测的“平均值”实际上是一个坚实可靠的规则，他们构建了一种新算法（FlowADMM），能够比以前更快、更好地修复图像，并保证该方法会生效。

技术摘要：FlowADMM：基于流的 Renoise-Denoise 先验的即插即用 ADMM

问题陈述

成像中的逆问题，如去噪、去模糊、超分辨率和图像修复，通常是病态的，被表述为从退化测量值 $y = Ax + \nu$ 中恢复图像 $x$ 。虽然深度学习提供了强大的直接映射，但它们往往缺乏可解释性和理论保证。经典的变分方法将此表述为最小化数据保真项加上正则化项，通常通过近端算法（如前向 - 后向分裂，FBS）求解。

即插即用（PnP）方法通过将手工设计的正则化器的近端算子替换为学习到的去噪器来改进这一点。最近，生成流模型和扩散模型提供了适应特定噪声水平的时变去噪器族 $\{D_t\}$ 。然而，出现了一个关键挑战：在迭代重建过程中，中间迭代值往往偏离去噪器所训练的噪声分布 $p_t$ 。现有的基于流的 PnP 方法（如 PnP-Flow, Flower）通过引入显式的**重噪声 - 去噪（renoise-denoise）**步骤来解决这一问题，即在去噪之前将当前迭代值扰动至适当的噪声水平。这些方法通常通过对多个噪声样本取平均来稳定过程。

尽管取得了经验上的成功，现有的重噪声 - 去噪 PnP 方法被表述为随机算法，使得其收敛行为难以进行理论分析。具体而言，通过对潜在噪声分布上的去噪器输出取平均所隐含确定的确定性算子尚未被刻画，导致这些方法的收敛性质知之甚少。

方法论

平均重噪声 - 去噪算子

作者识别并形式化了随机基于流 PnP 方法背后的确定性算子。给定预训练的流速度网络 $v_\theta$ ，定义时变 MMSE 去噪器 $D_t = I + (1-t)v_\theta^t$ ，标准的随机步骤涉及用噪声 $\epsilon \sim \mathcal{N}(0, I)$ 对迭代值 $x$ 进行重噪声处理得到 $tx + (1-t)\epsilon$ ，随后进行去噪。

本文将平均重噪声 - 去噪算子 $\bar{S}_t(x)$ 定义为该过程在噪声分布上的期望：
$\bar{S}_t(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, I)} [D_t(tx + (1-t)\epsilon)]$
该算子代表了 PnP-Flow 等方法所使用的随机更新的确定性极限。作者分析了其残差形式 $R_t(x) = \bar{S}_t(x) - x$ ，将其解释为提供朝向数据流形局部修正的向量场。在理想的 MMSE 假设下，数据流形上的点是该算子的不动点。

FlowADMM 算法

基于这一洞察，作者提出了FlowADMM，将平均重噪声 - 去噪算子集成到交替方向乘子法（ADMM）框架中。与 FBS 不同，ADMM 允许多个先验算子，并能处理非可微的数据项，且无需依赖于算子的步长限制。

该算法通过最小化增广拉格朗日函数来求解约束问题 $\min_{x,z} F_y(x) + R(z)$ ，约束条件为 $x=z$ 。更新步骤如下：

数据一致性： $x^{k+1} = \text{prox}_{\tau F_y}(z^k - u^k)$
先验更新： $z^{k+1} = \bar{S}_{t_k}(x^{k+1} + u^k)$
对偶更新： $u^{k+1} = u^k + x^{k+1} - z^{k+1}$

由于 $\bar{S}_t$ 中的期望难以计算，它通过蒙特卡洛采样进行近似。作者提出了一种时间步长依赖的采样策略：在早期迭代中使用较少的样本（此时进行粗略修正且算子对噪声不太敏感），并在后期迭代中增加样本数量（此时细化细节且精度至关重要）。

收敛性分析

本文在底层流网络的弱 Lipschitz 条件下建立了 FlowADMM 的收敛保证：

固定时间调度：对于恒定的时间步长 $t$ ，如果流网络的 Lipschitz 常数 $L_v$ 满足 $L_v < \frac{1}{1-t}$ ，则保证收敛。该条件显著弱于许多其他 PnP 方法所需的严格压缩条件（ $L < 1$ ），特别是在 $t \to 1$ 时。
非平稳时间调度：分析被扩展到收敛于极限 $t_{max} < 1$ 的时间调度 $(t_k)_k$ 。作者证明了，只要算子序列足够快地趋近于极限，且流网络关于时间 $t$ 是 Lipschitz 连续的，则收敛到极限算子 $T_{t_{max}}$ 的不动点。

主要贡献

理论刻画：作者识别并分析了随机基于流 PnP 方法背后的确定性平均重噪声 - 去噪算子，刻画了其残差结构和 Lipschitz 行为。
算法提出：他们提出了 FlowADMM，一种将该平均算子直接集成到 ADMM 框架中的 PnP 算法。
收敛保证：他们在弱 Lipschitz 假设下推导了 FlowADMM 的收敛准则，涵盖了恒定和非恒定（时变）时间步长调度。
采样策略：他们提出了一种由粗到细的蒙特卡洛采样策略，在后期迭代中增加样本数量，其动机源于平均算子的行为。
实证性能：他们展示了在多个逆问题上的最先进性能，同时比之前的随机平均方法需要更少的一致性数据评估。

实验结果

作者在 CelebA 和 AFHQ-Cat 数据集上评估了 FlowADMM，涵盖了五个任务：去噪、去模糊、超分辨率、随机图像修复和框状图像修复。

性能：与最近的基于流和扩散的 PnP 方法（包括 PnP-Flow, Flower, OT-ODE, D-Flow 和 DiffPIR）相比，FlowADMM 在 10 个任务中的 7 个任务上实现了失真指标（PSNR 和 SSIM）的最先进结果。在超分辨率和图像修复任务中观察到了显著的改进。
效率：虽然与领先的竞争对手 Flower5-OT 的流评估总数（网络前向传播）相匹配，但 FlowADMM 需要显著更少的数据项近端算子评估。这是因为 Flower5-OT 对完整重建轨迹取平均，而 FlowADMM 仅对每次迭代中的先验步骤取平均。
消融研究：实验证实，“后期重”采样调度（在后期迭代中增加样本）比恒定采样显著提高了性能。此外，将此调度应用于 PnP-Flow 改善了其结果，但 FlowADMM 仍优于它，表明 ADMM 公式本身提供了优势。
局限性：收敛分析依赖于预训练网络的 Lipschitz 常数，而这些常数在训练过程中并未被显式惩罚。此外，理论保证适用于确定性平均算子，而实际实现使用的是随机蒙特卡洛近似。

意义与主张

本文声称，通过显式形式化随机重噪声 - 去噪方法背后的确定性算子，它弥合了基于流 PnP 中经验成功与理论理解之间的差距。该工作提供了：

可证明的收敛性：与之前的随机 PnP 方法不同，FlowADMM 在流网络 realistic Lipschitz 条件下具有收敛保证。
算法效率：与轨迹平均方法相比，集成到 ADMM 中允许更有效地利用计算资源（更少的一致性数据步骤）。
算子理论洞察：分析表明，平均算子的“由粗到细”行为可以通过自适应采样调度加以利用，这一原则使基于 ADMM 和 FBS 的方法均受益。

作者总结道，FlowADMM 提供了一个稳健的、具有理论基础的框架，用于解决带有基于流先验的逆问题，尽管他们承认未来的工作可以集中在训练过程中强制执行 Lipschitz 约束以加强稳定性保证。