🤖 machine learning

Conditional Diffusion Under Linear Constraints: Langevin Mixing and Information-Theoretic Guarantees

本文通过分析信息论界下的得分函数误差，并提出一种结合引导式反向去噪的投影朗之万初始化方法，以解决线性逆问题中零样本条件采样的偏差问题，该方法在性能上优于现有的基于投影的基线。

原作者： Ahmad Aghapour, Erhan Bayraktar, Asaf Cohen

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Ahmad Aghapour, Erhan Bayraktar, Asaf Cohen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位极具天赋的艺术家（即扩散模型），他花费数年时间学习从零开始绘制美丽、逼真的风景画。你想请这位艺术家修复一张特定的受损照片。但有一个限制：你只希望艺术家修复模糊或缺失的部分，同时保持你已能看到的区域完全原封不动。

这就是线性逆问题（例如修复照片中的空洞或将小图像放大）所面临的挑战。这篇论文提出了一种新方法，用于引导这位艺术家，使其不仅不会“随机猜测”，而是能够以既逼真又数学上完美的方式填补缺失部分。

以下是他们解决方案的通俗类比解析：

1. 问题所在：“刚性”部分与“可 wiggle"部分

当你查看一张受损照片时，可以将图像信息分为两类：

刚性部分（正常分量）： 这些是你清晰可见的像素。如果你有一张 32x32 的模糊图像并希望将其放大至 256x256，那么模糊的像素就是“刚性”的。它们由物理定律（模糊的数学原理）固定。艺术家必须精确匹配这些部分，否则结果将毫无意义。
可 wiggle 部分（切向分量）： 这些是缺失的细节。在模糊图像中，艺术家必须猜测高分辨率细节的样子。填补这些空白有数百万种可能的方式。艺术家需要选择正确的猜测——一种符合照片风格的猜测（例如，如果是人脸，缺失的鼻子应该看起来像鼻子，而不是树）。

旧方法（基于投影的采样器）：
以前的方法就像一位严格的编辑，他说：“好的，确保模糊部分与原始图像完全匹配。”他们会强制艺术家将“刚性部分”完美对齐。然而，他们让“可 wiggle 部分”完全依赖艺术家的想象力，缺乏指导。

缺陷： 艺术家为了发挥创意，可能会无意中用不符合特定照片风格的纹理填补空白。例如，如果你试图修复一张人脸，艺术家可能会用类似云朵的纹理来填补缺失的眼睛，因为那是其训练数据中“平均”云朵的样子。结果虽然在数学上成立（模糊部分匹配），但看起来有偏差或怪异。

2. 洞察：分离“已知”与“未知”

作者意识到，“刚性部分”（你所看到的）和“可 wiggle 部分”（你所猜测的）在数学上是截然不同的。

他们证明，“刚性”部分可以通过简单的数学精确计算出来。你不需要艺术家的头脑来做这件事；你只需要一个计算器。
唯一困难的部分是“可 wiggle"部分。旧方法试图让艺术家的头脑处理所有事情，这导致了偏差。

3. 解决方案：两阶段“混合”过程

作者提出了一种名为LCDM-BAOAB的新方法。将其想象为两步舞：

第一步：“安全”的起点（朗之万混合）
他们不是从一个完全空白、充满噪声的画布开始（这太混乱了），而是从过程的中间开始。

类比： 想象你试图走出迷雾森林。与其从森林边缘（那里一片漆黑）开始，不如从一个能看见几棵树的林间空地开始。
行动： 他们使用一种称为投影朗之万动力学（具体为 BAOAB）的技术。想象一位徒步者（算法）在图像的“可 wiggle"部分穿行。这位徒步者被一根绳子拴住，使其保持在“刚性”路径（固定部分）上，但允许他们在“可 wiggle"方向自由漫步，以寻找最佳路径。
目标： 这一步“混合”了各种可能性。它确保在最终清理之前，艺术家已经探索了缺失部分可能呈现的不同样子，从而避免陷入错误的猜测。

第二步：引导式清理（反向去噪）
一旦徒步者在森林中间找到了一个好位置，他们就开始走向出口（最终的清晰图像）。

行动： 他们利用艺术家的头脑（预训练模型）去除噪声，但在每一步都严格强制执行“刚性”数学约束。
结果： 由于他们从一个经过充分探索的“安全”位置（第一步）开始，最终图像不仅在数学上与模糊输入一致，而且看起来更加自然，偏差更小。

4. 为何有效：“信息”保障

这篇论文不仅声称“效果更好”，他们还利用信息论证明了为什么有效。

他们表明，最终图像中的误差取决于“刚性”部分和“可 wiggle"部分相互依赖的程度。
如果模糊图像提供了关于缺失细节的大量线索（高信息量），该方法就能完美运作。
如果模糊图像几乎没有任何线索（高歧义性，例如非常小的 32x32 图像），该方法仍然比以前的方法更好，因为“混合”步骤（第一步）防止了艺术家陷入单一的错误猜测。

结果总结

作者在真实任务中测试了该方法，包括图像修复（填补人脸中的空洞）和超分辨率（将小图像放大）。

结果： 与之前的最佳方法相比，他们的方法生成的图像更逼真，伪影（怪异纹理）更少。
关键要点： 通过将“固定数学”与“创意猜测”分离，并在最终清理之前让创意部分有机会“混合”和探索，你就能获得更好的结果。

简而言之：不要仅仅强迫艺术家匹配模糊部分；先给他们一次安全、有引导的缺失部分之旅，让他们确切知道该往哪里去。

技术摘要：线性约束下的条件扩散

问题陈述

本文解决了利用预训练扩散模型进行线性逆问题（例如图像修复、超分辨率）的零样本条件采样问题。在这些场景中，观测值 $y$ 通过线性算子 $A$ 与干净信号 $Z$ 相关联，满足 $y = AZ $。目标是采样自条件分布$ \text{Law}(Z \mid AZ = y)$。

现有的基于投影的方法（例如 DDRM、DDNM）通过在反向扩散过程中解析地校正信号的“法向”分量（即由 $A$ 确定的部分）来强制测量一致性。然而，作者认为仅靠测量一致性是不够的。虽然法向分量由观测值固定，但“切向”分量（即位于 $A$ 零空间中的部分）仍然未定。标准的基于投影的方法使切向动力学完全由预训练的无条件得分主导。这导致了切向空间偏差，即概率质量在可行的仿射集上分布错误，通常会在与特定观测值无关的无条件先验的主导模式上累积误差。

方法论

作者提出了一种基于高斯加噪下条件得分函数的法向–切向分解的两阶段采样框架。

1. 法向–切向分解

对于方差爆炸（VE）扩散过程 $X_t = Z + W_t$ ，条件得分 $s^*_t(x)$ 可以相对于 $A$ 的行空间分解为法向（ $P_\perp$ ）和切向（ $P_\parallel$ ）分量：

法向分量：法向得分 $P_\perp s^*_t(x)$ 可通过 Tweedie 公式和观测值 $b = P_\perp Z$ 以闭式形式获得。其表达式为 $\frac{1}{t}P_\perp(b - x)$ 。
切向分量：切向得分 $P_\parallel s^*_t(x)$ 是未知的。基于投影的方法将其近似为无条件切向得分 $P_\parallel s_t(x)$ 。

作者指出，标准零样本采样中的误差源于用无条件切向得分替代未知的条件切向得分。这种近似在高噪声水平下最为成问题，因为无条件得分聚合了所有数据模式的信息，可能会将样本拉向无关的簇。

2. 提出的采样器：投影朗之万初始化 + 引导去噪

为了减轻这种偏差，作者提出了一个三步算法（算法 1）：

中间噪声初始化（ $t^*$ ）：采样器不从最高噪声水平（ $T$ ）开始反向过程，而是从一个中间的“安全”噪声水平 $t^*$ 开始。在该水平下，法向分量从条件分布 $\text{Law}(P_\perp X_{t^*} \mid P_\perp Z = b)$ 中精确采样。
投影欠阻尼朗之万混合：在开始反向去噪之前，采样器在由噪声法向分量定义的仿射集上运行一段短时间的投影欠阻尼朗之万动力学（使用 BAOAB 积分器）。这一步利用投影后的无条件得分 $P_\parallel s_{t^*}$ 来混合切向分量。其目标是生成一个在可行流形上已经充分混合且与约束一致的初始化状态，从而减少切向得分不匹配误差的累积。
引导反向去噪：从 $t^*$ 处的初始化状态开始，采样器执行引导反向去噪直至 $t=0$ 。动力学过程使用精确的法向漂移（以强制约束）和预训练的无条件切向得分（以引导切向方向）。

主要贡献

本文做出了四项主要贡献：

理论分解：推导了仿射条件扩散的严格法向–切向分解，表明法向得分完全由测量值确定，从而将切向得分隔离为零样本设置中近似误差的唯一来源。
算法提出：引入了一种结合精确法向校正与投影朗之万初始化阶段的采样器。该阶段在引导去噪之前，在中间噪声水平下显式混合切向方向，解决了朴素投影方法中偏差累积的问题。
信息论误差界：作者证明了路径误差界（定理 4），表明理想条件路径与代理路径之间的 Kullback–Leibler (KL) 散度由条件互信息 $I(Z_\parallel; Z_\perp \mid X_{t^*})$ 上界限定。这提供了一个信息论准则：当所选噪声水平下切向分量与法向分量之间的剩余统计依赖性较小时，该方法是准确的。
终端保证：在潜在高斯混合模型假设下，本文提供了终端 KL 界（定理 9），将误差分离为初始化项和路径项。此外，在潜在码本满足分离条件（定理 11）的情况下，作者表明两项误差均随分离度与噪声之比指数级衰减，确立了该方法高度准确的运行区间。

实验结果

所提出的方法称为LCDM-BAOAB，在 CelebA-HQ、LSUN Church 和 ImageNet 数据集上针对标准线性成像逆问题（修复和 8 倍超分辨率）进行了评估。

基线：该方法与强大的零样本基于投影的基线DDNM进行了比较。
指标：在匹配的计算预算（100 次网络函数评估）下，使用 Fréchet 初始距离（FID）和学习感知图像块相似度（LPIPS）衡量性能。
发现：
- LCDM-BAOAB 在所有数据集和任务中始终优于 DDNM。
- 在ImageNet和8 倍超分辨率设置下的改进最为显著，这些场景的特点是切向空间歧义性高（许多高分辨率图像与相同的低分辨率观测值一致）。
- 视觉结果表明，与 DDNM 相比，LCDM-BAOAB 产生了更清晰、更连贯的重建结果，纹理伪影更少，特别是在高歧义场景中。

意义与主张

本文主张，在法向方向上强制测量一致性对于利用扩散先验解决高度病态的线性逆问题是不足够的。核心障碍是切向空间歧义性，即无条件得分无法在可行集上正确分布概率质量。

这项工作的意义在于：

识别偏差来源：将切向得分近似隔离为导致现有零样本方法偏差的具体机制。
无维度保证：理论界是无维度的，取决于条件互信息以及切向条件对法向码的敏感性，而非维度本身。
无需微调的实际有效性：该方法通过利用推理时的条件化和朗之万混合，实现了最先进的零样本性能，无需针对特定任务进行微调或学习额外模型。
切向混合的理论依据：为在中间噪声水平下混合切向方向以提高采样质量提供了理论依据，将这种改进与观测分量与未观测分量之间剩余统计依赖性的减少联系起来。