🤖 machine learning

Constrained Diffusion Models with Primal-Dual Inference

本文介绍了原对偶推理（Primal-Dual Inference, PDI），这是一个用于受限扩散模型的框架，它通过迭代地去噪样本和更新乘子，共同学习最优分布及其对偶变量，从而在无需预先估计拉格朗日乘子的情况下，实现对具有平均约束的熵正则化优化问题的有效采样。

原作者： Samar Hadou, Yigit Berkay Uslu, Alejandro Ribeiro

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Samar Hadou, Yigit Berkay Uslu, Alejandro Ribeiro

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试烘焙一个完美的蛋糕。但这不仅仅是一个普通的蛋糕；这是一个“分布式的”蛋糕。你不是在只烤一个蛋糕，而是在同时烘焙一整批蛋糕，你的目标是确保整批蛋糕的平均口感符合特定标准（例如：“不太甜”、“不太干”、“巧克力味足够”）。

这就是这篇论文所解决的核心挑战：如何生成一组随机解（比如蛋糕配方、无线信号或投资组合），使它们在平均意义上遵守严格的规则，而不必让每一个个体都完全打破规则？

以下是作者如何通过一种他们称为**原对偶推理（Primal-Dual Inference, PDI）**的方法来解决这一问题的，我们通过简单的类比来进行解释。

问题所在：“冻结型”厨师 vs. “自适应型”厨师

在传统方法（论文中称为“对偶训练”）中，过程如下：

猜测： 在你开始烘焙之前，你试图预估一个完美的糖量（一个“对偶变量”），这个糖量能让平均每个蛋糕的味道都恰到好处。
冻结： 一旦你猜出了那个量，你就把它固定下来。你用这个精确的糖量去烤 1,000 个蛋糕。
缺陷： 如果你的猜测稍有偏差，或者食材发生了微小的变化，你就陷入了困境。你无法在蛋糕在烤箱里的时候进行修正。如果平均甜度过高，你无法为下一个蛋糕调整糖量，因为“配方”已经设定好了。

论文指出，这种“先猜后冻结”的方法既脆弱又昂贵。

解决方案：原对 Dual 推理 (PDI)

作者提出了另一种方法：自适应型厨师。

与其在开始前预估糖量并将其固定，不如让厨师在蛋糕烘焙的过程中不断调整糖量。

过程（逆向扩散）： 想象蛋糕最初是一团混乱、充满噪声的杂乱物（就像一碗混入了随机噪声的面粉和鸡蛋）。目标是慢慢地将它们“去噪”，变成完美的蛋糕。
两个步骤（原问题与对偶问题）： 在烘焙过程中的每一步，厨师都会同时做两件事：
- 步骤 A（原问题 - 蛋糕）： 厨师观察当前的混乱面糊，并使用一个“得分”（引导信号）使它看起来更像一个蛋糕。这个引导信号取决于当前的糖量水平。
- 步骤 B（对偶问题 - 尝味）： 厨师在此时此刻快速尝一下面糊。如果面糊太甜了，厨师会立即加入一点柠檬（调低糖量）。如果太干了，就滴入一滴水（调高糖量）。
循环： 这个过程不断重复。蛋糕变得越来越纯净，而糖量也会根据那一刻蛋糕的状态进行调整。

当蛋糕完全烤好时，糖量已经演化到了完美的状态，确保最终的一批蛋糕在平均要求上达标。

“得分网络”：通用的指南

为了实现这一点，厨师需要一个知道如何烘焙任何糖量蛋糕的指南。

旧方法： 你需要为每一种可能的糖量配备一位不同的厨师。
PDI 方法： 作者训练了一个单一的“通用厨师”（一个神经网络）。这位厨师被教会了无论糖量高、低还是中等，都能烘焙出蛋糕。在烘焙过程中，厨师只需询问：“现在的糖量是多少？”并据此调整其技艺。

为什么这很重要（现实世界的例子）

作者在三个截然不同的问题上测试了这个“自适应型厨师”：

无线网络（无线电塔）：
- 目标： 200 个用户想要通话。他们共享相同的无线电波。如果每个人同时大声说话，就会造成混乱（干扰）。
- 约束： 每个用户都需要达到一个最小的平均速度。
- PDI 的魔力： 与其强迫每个手机都以安全音量说话（这会导致速度变慢），PDI 创建了一个动态调度方案。有时用户 A 大声说话，而用户 B 保持安静；下一秒，他们会交换。即使个体时刻的变化很大，每个人的平均速度也是完美的。这种“糖量调整”在实时平衡干扰。
投资组合管理（投资组合配置）：
- 目标： 在 500 只不同的股票中进行投资，以获得最高回报。
- 约束： 平均而言，单只股票的风险不能过高。
- PDI 的魔力： 系统生成了一系列投资组合。有些可能风险较高，有些则较安全。这个“自适应型厨师”确保当你观察整个投资组合集合时，风险得到了完美的平衡，从而在遵守安全规则的同时实现高回报。
高斯混合模型（形状变换者）：
- 目标： 创建数据点，使其聚集在特定的形状（如点云）周围，但保持在特定的边界内。
- PDI 的魔力： 它确保这些点不会仅仅堆积在一个安全的角落（这很枯燥且效率低下），而是能够高效地填满空间，同时在平均意义上遵守边界规则。

核心结论

论文声称，通过将解的生成过程与规则的调整过程耦合在一起，你得到的结果会比先猜测规则再固守规则要好得多。

旧方法： “我认为需要 50% 的糖。我要用 50% 的糖烤 1,000 个蛋糕。”（结果：也许平均甜度是 52%。太晚了，无法修正。）
PDI 方法： “我会从 50% 的糖开始。在烘焙过程中，我会品尝并调整。如果这一批变得太甜了，我会降低下一步的糖量。”（结果：最终这一批蛋糕的平均甜度正好是 50%，且单个蛋糕具有多样性和高质量。）

作者从数学上证明了这种“尝味并调整”的过程会收敛于最优解，并且即使规则发生轻微变化（例如有新用户加入无线网络或新股票进入投资组合），该方法依然具有鲁棒性。

技术摘要：基于原-对偶推理的约束扩散模型

问题陈述

标准扩散模型在无约束设定下（如图像和音频合成）擅长从复杂的高维分布中进行采样。然而，它们缺乏在采样过程中强制执行统计（平均）约束的鲁棒机制。许多现实世界的优化问题（如无线资源分配和投资组合管理）要求解是概率性的而非确定性的，其最优策略是一个满足期望约束（例如每用户速率保证或风险预算）的分布。

现有的约束采样方法通常依赖于：

逐点约束（Pointwise constraints）： 对每一个单独的样本强制执行约束（例如通过投影或边界反射），这可能过于保守并降低最优性。
对偶训练（Dual Training, DT）： 在采样前估计最优拉格朗日乘子（对偶变量）并将其冻结。这种方法非常脆弱，因为最优乘子是在正在学习的分布下的难解期望中定义的，这需要针对每个新的问题实例或约束变化进行昂贵的重新训练。此外，冻结的采样器无法适应生成过程中观察到的约束违规。

方法论：原-对偶推理 (Primal-Dual Inference, PDI)

本文提出了原-对偶推理 (PDI) 框架，该框架不将对偶变量视为预计算的参数，而是将其视为随逆扩散过程共同演化的采样器动态状态。

1. 理论公式化

该问题被转化为拉格朗日对偶域中的熵正则化优化问题。最优分布 $\mu^*$ 被证明是一个由最优对偶变量 $\lambda^*$ 指标的吉布斯分布 (Gibbs distribution)：
$\mu^*(x) \propto \exp\left(-\frac{1}{\beta}(f_0(x) + \lambda^{*\top}f(x))\right)$
其中 $f_0$ 是目标函数， $f$ 代表约束， $\beta$ 是温度。

2. PDI 算法

PDI 在每一个推理步骤 $t$ 将原向去噪（逆扩散步骤）与对偶上升（更新乘子）交织在一起：

原向步骤 (PDI-P)： 采样器使用基于当前对偶变量 $\lambda_t$ 的评分场（score field）来更新噪声样本 $x_t$ 。
对偶步骤 (PDI-D)： 对偶变量通过基于去噪后样本的估计出的约束违规量进行梯度上升更新。至关重要的是，约束违规量是使用 Tweedie 公式（后验均值估计）而非干净样本来估计的，这使得更新可以在无需访问真实样本的情况下进行。
$\lambda_{t+1} = \left[ \lambda_t + \eta_t \mathbb{E}_{x_{t+1}} \left[ f(\hat{y}_0) \right] \right]_+$
其中 $\hat{y}_0$ 是干净样本的 Tweedie 估计值。

3. 评分网络训练

为了实现这种动态耦合，作者训练了一个单一的对偶条件评分网络 $s_\theta(x_t, t, \lambda_t)$ 。与训练于单一目标分布的标准模型不同，该网络学习的是由推理轨迹中遇到的对偶变量范围所索引的一族吉布斯评分场。训练过程结合了：

利用 (Exploitation)： 运行当前模型以收集 $(x_t, \lambda_t)$ 对的轨迹。
探索 (Exploration)： 从先验分布中采样对偶变量，以覆盖潜在乘子的空间。
蒙特卡洛估计 (Monte Carlo Estimation)： 使用 MC 估计器来近似吉布斯分布的真实评分，作为回归目标。

核心贡献

论文概述了五项主要贡献：

鞍点公式化： 将带有平均约束的约束采样转化为拉格朗日对偶域中的鞍点问题，并将最优分布识别为由对偶变量索引的吉布斯分布。
PDI 算法： 引入了一种逆扩散采样器，其中原向去噪和对偶上升共同演化。乘子在每一步根据去噪样本的约束违规情况进行更新。
广义评分网络： 训练一个以对偶变量为条件的单一网络，使模型能够泛化到由对偶变量索引的一族吉布斯分布，而非仅仅是单一的固定目标。
收敛性分析： 证明了时间平均对偶迭代以 $O(1/\sqrt{T})$ 的速率收敛到最优乘子的邻域。作者还限制了残余对偶失配对终端分布的影响，表明早期的高噪声步骤会抑制误差，而后期步骤则会精细化解。
实证验证： 在三个不同的随机优化问题上展示了该方法的有效性：高斯混合采样、无线功率控制和投资组合管理。

实验结果

作者将 PDI 与包括投影扩散模型 (PDM)、原-对偶朗之万 (PDL)、扩散后验采样 (DPS) 和对偶训练 (DT) 在内的基线模型进行了对比。

高斯混合模型： PDI 在保持完全约束可行性的同时，实现了更好的目标值（更接近无约束最优解）。与 PDM 和 PDL 不同（它们对每个样本都强制执行约束，导致解过于保守），PDI 在期望意义上满足约束，从而允许产生更具多样性和最优性的样本。
无线资源分配： PDI 在平均总速率（最优性）和可行性（满足用户最小速率约束）之间取得了最佳平衡。它在可行性指标（如第5百分位数速率）方面显著优于 PDM 和 PDL，同时保持了较高的平均速率。此外，与 DT 相比，它在处理分布外 (OOD) 约束偏移（例如不同的 $r_{min}$ 值）时表现出更强的鲁棒性。
投资组合管理： PDI 在预期收益、风险可行性和投资组合多样性（熵）之间提供了最佳权衡。它优于无约束模型（这些模型违反了风险预算）以及过于保守的基线（这些基线牺牲了收益）。

消融研究：

固定乘子： 在推理过程中冻结对偶变量（无论是最终迭代值还是时间平均值）会导致性能较差，这证实了乘子的路径依赖型演化至关重要。
噪声计划 (Noise Schedule)： 噪声计划的选择至关重要。长时间保持低信噪比 (SNR) 的计划（例如标准的余弦计划）允许对偶变量在逆过程对误差变得敏感之前趋于稳定。过早重建干净样本的计划会放大对偶失配，导致约束违规。
对偶训练 vs. PDI： 虽然 DT 可以获得有信息量的对偶变量，但它无法达到 PDI 的性能，因为其评分模型是训练轨迹上的“平均”场，无法在推理期间针对特定的约束残差进行调整。

重要性与主张

论文声称 PDI 弥合了基于扩散的生成建模与约束随机优化之间的鸿沟。其重要性在于：

动态自适应： 与需要预计算并冻结对偶乘子的先前方法不同，PDI 将乘子视为推理时的状态，使采样器能够对约束违规做出瞬时反应。
高效与鲁棒： 通过在由一族分布构成的网络上进行训练，PDI 避免了为新问题实例或约束变化进行昂贵重新训练的需求（如 DT 所需）。
理论保证： 该工作为时间平均对偶变量提供了收敛保证，并为逆过程提供了稳定性界限，为约束扩散采样提供了理论基础。

作者指出了一些局限性，特别是收敛保证适用于时间平均对偶迭代，而非直接针对最终的原向分布，且该方法需要针对特定问题的超参数微调（例如熵正则化强度 $\beta$ 和对偶先验）。尽管如此，PDI 被呈现为一个稳健的框架，用于在需要概率性解的约束优化问题中进行最优分布采样。