🧬 biology

Calibrating Generative Models to Distributional Constraints

本文通过将校准问题构建为约束优化问题，并引入两种可处理的微调目标——松弛损失与奖励损失，来解决生成模型的校准失准问题，从而在多样化的应用和大规模模型中有效使采样分布与期望的统计约束相一致。

原作者： Henry D. Smith, Nathaniel L. Diamant, Brian L. Trippe

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Henry D. Smith, Nathaniel L. Diamant, Brian L. Trippe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象你有一位才华横溢的主厨（即生成模型），他擅长烹饪。这位主厨通过品尝来自某本特定食谱（即训练数据）中的数百万份菜谱，学会了制作数千道菜肴。

然而，存在一个问题。尽管这位主厨技艺精湛，但他养成了一些坏习惯或“校准偏差”：

他可能只煮意大利面，尽管食谱中有 plenty 的披萨和寿司。
他可能让每份披萨看起来完全一样，忽略了原始食谱的多样性。
在故事书的情境中，他可能总是将“医生”角色设定为男性，将“护士”设定为女性，尽管现实生活更加平衡。

本文介绍了一种名为CGM（生成模型校准）的新方法，旨在纠正这些习惯，而无需解雇主厨或让他们从头开始。

核心问题：“食谱”与“结果”

作者解释说，虽然主厨知道如何很好地烹饪单道菜，但他们制作的整体菜单并不符合所需的统计数据。也许你希望 50% 是意大利面，50% 是披萨，但主厨却持续制作 90% 的意大利面。

用技术术语来说，本文称此为校准偏差。主厨输出的统计数据（采样分布）与期望值（约束条件）不匹配。

解决方案：温和的推动，而非重写

作者提出了一种“微调”主厨的方法。他们不想替换主厨的整个大脑（这将既昂贵又充满风险）。相反，他们希望找到最接近主厨的某个版本，该版本确实遵循新规则。

他们将此表述为一个数学问题：“寻找一位新主厨，他尽可能与旧主厨相似（以保持其独特风格），但严格遵循新的菜单比例。”

为了解决这个问题，他们发明了两项具体的“训练技术”（算法）：

1. “松弛损失”方法（惩罚区）

将其想象为一位严格的饮食教练。

工作原理：教练告诉主厨：“你可以继续按你的方式烹饪，但每次你端出的菜肴不符合 50/50 规则时，你就会获得一个罚分。”
目标：主厨试图在尽量保持原有烹饪风格的同时，最小化罚分。
优点：它非常灵活。它可以同时处理数百条规则（例如："50% 意大利面，30% 披萨，20% 寿司，并且确保没有菜肴过咸”）。论文表明，即使对于庞大的主厨（拥有数十亿参数的模型），这种方法也有效。

2. “奖励损失”方法（奖励系统）

将其想象为一场游戏化的训练课程。

工作原理：教练不再仅仅惩罚错误，而是根据主厨的表现计算“奖励分数”。如果主厨端出均衡的菜肴，他们获得积分；如果端出失衡的菜肴，他们获得的积分较少。
目标：主厨试图最大化其总分。
局限：这种方法非常适合简单的规则，但如果同时给出太多规则（例如试图同时平衡 100 种不同的食材），它可能会感到困惑。论文发现，当约束条件数量过高时，该方法会显得力不从心。

现实世界测试：他们在哪里尝试了这种方法？

作者在三种截然不同的“主厨”类型上测试了他们的方法：

蛋白质设计（分子主厨）：
- 问题：这些模型设计的蛋白质（生命的构建模块）彼此过于相似，缺乏自然界中存在的自然多样性。
- 解决方案：他们使用“松弛”方法，强制模型生成更多样化的蛋白质形状组合（如α-螺旋和β-折叠），以匹配真实的生物数据。
- 结果：蛋白质变得更加多样化和逼真，而不会变得“破碎”或无法使用。
图像生成（视觉艺术家）：
- 问题：一个被训练来绘制动物的图像模型痴迷于绘制狮子和豹子，很少绘制狐狸或狼，尽管训练数据中包含所有这些动物。
- 解决方案：他们校准了模型，使其以相等的数量绘制所有六种野生动物。
- 结果：模型开始更频繁地绘制狐狸和狼。图像仍然逼真，尽管论文指出，作为调整的一个副作用，有些图像看起来有点“混合”（例如狮子与狼的混合）。
语言模型（说书人）：
- 问题：一个大型语言模型在撰写儿童故事时，“律师”几乎总是男性，“护士”几乎总是女性，从而强化了现实世界中的偏见。
- 解决方案：他们校准了模型，以确保对于每种职业，角色的性别都是平衡的（50/50）。
- 结果：模型开始以与传统配对同样多的频率，撰写拥有女性律师和男性护士的故事，而故事没有变得荒谬或失去质量。

结论

论文声称，CGM是一种强大且通用的工具。它允许我们利用预训练的 AI 模型，温和地引导其整体输出以符合特定的统计目标（如公平性、多样性或生物准确性），而无需从头开始重新训练整个模型。

CGM-Relax是主力：它能同时处理数百条复杂规则，并适用于最大的模型。
CGM-Reward是专家：它非常适合更简单的任务，并避免了调整参数的一些复杂性，但在面对过多规则时会遇到困难。

作者强调，虽然这解决了许多校准问题，但它并非万能药。它仍然需要仔细调整，并且在某些极端情况下（例如试图生成极其罕见的事件），可能需要大量的计算资源才能获得完美结果。但对于大多数实际应用而言，它成功地将 AI 的输出重新调整为我们真正期望的方向。

技术摘要：将生成模型校准至分布约束

问题陈述

生成模型经常遭受校准不良的困扰，即采样分布的统计特性（例如类别频率、二级结构比例或性别代表性）系统地偏离期望值。这一问题在各个领域均有体现：图像模型表现出模式崩溃；语言模型强化了社会偏见；蛋白质/DNA 模型生成的结构具有非典型的子结构频率。这些错误通常源于数据集不平衡、次优的训练动态，或后处理调整（如低温采样）。

作者将校准构建为一个约束优化问题。给定基础生成模型 $p_{\theta_{base}}(x)$ 、统计量 $h(x)$ 和目标期望值 $h^*$ ，目标是找到一个新的分布 $p_\theta$ ，使其满足 $E_{p_\theta}[h(x)] = h^*$ ，同时最小化与基础模型的 Kullback-Leibler (KL) 散度：
$p_{\theta^*} = \arg \min_{p_\theta} D_{KL}(p_\theta \parallel p_{\theta_{base}}) \quad \text{s.t.} \quad E_{p_\theta}[h(x)] = h^*$
该公式旨在寻找满足校准约束且最接近基础分布的模型。然而，精确求解此问题是不可行的，因为对于高维生成模型，目标函数和约束中涉及的期望值都难以计算。

方法论

为了解决不可行性，本文介绍了两种用于微调的代理目标函数，分别称为 CGM-relax 和 CGM-reward。这两种方法都依赖于使用源自样本的无偏梯度估计进行随机优化。

1. CGM-relax（松弛损失）

该方法用惩罚项替换硬约束。目标函数为：
$L_{relax}(\theta) = \| E_{p_\theta}[h(x)] - h^* \|^2 + \lambda D_{KL}(p_\theta \parallel p_{\theta_{base}})$

约束违反 ( $L_{viol}$ )：经验统计量与目标值之间差值的平方 $\ell_2$ 范数。作者利用偏差校正的样本方差公式推导出了该项的无偏估计量。
KL 散度 ( $L_{KL}$ )：通过蒙特卡洛采样进行测量。
优化：该方法使用重要性采样来计算无偏梯度。具体而言，它从当前模型 $p_\theta$ （带有停止梯度）中采样，并重加权样本以估计 KL 项和约束违反项的梯度。超参数 $\lambda$ 用于权衡满足约束与保持接近基础模型之间的关系。

2. CGM-reward（奖励损失）

该方法将校准问题与最大熵原理联系起来。最大熵问题（在满足矩约束的条件下最小化与基础模型的 KL 散度）的解是基础模型的指数倾斜： $p_{\alpha^*}(x) \propto p_{\theta_{base}}(x) \exp(\alpha^{*\top} h(x))$ 。

估计 $\alpha^*$ ：由于真实的最大熵分布是不可行的，该方法首先通过求解对偶优化问题来估计最优奖励参数 $\alpha^*$ ，该过程使用来自基础模型的 $N$ 个样本。
损失函数：微调目标是当前模型 $p_\theta$ 与估计的最大熵分布 $p_{\hat{\alpha}_N}$ 之间的 KL 散度：
$L_{reward}(\theta) = D_{KL}(p_\theta \parallel p_{\hat{\alpha}_N}) = D_{KL}(p_\theta \parallel p_{\theta_{base}}) + E_{p_\theta}[-r_{\hat{\alpha}_N}(x)] + C$
这等同于一个奖励微调问题，其中“奖励”源自约束。
优化：与 CGM-relax 类似，它使用带有留一法基线的得分函数梯度估计器来降低方差。

梯度估计

两种方法均采用得分函数梯度估计器（REINFORCE 风格）并结合重要性采样。为了处理期望值对 $\theta$ 的依赖性，作者使用了一种“停止梯度”技巧，即从当前模型的固定版本中抽取样本，并通过密度比（得分函数）计算梯度。方差降低是通过使用留一法基线实现的。

主要贡献

公式化：将生成模型校准构建为约束 KL 最小化问题。
算法：提出了两种实用的微调算法（CGM-relax 和 CGM-reward），利用随机优化近似求解约束问题。
可扩展性：证明了这些方法能够处理数百个同时存在的约束，以及参数量高达 90 亿的模型。
理论联系：建立了校准、最大熵和奖励微调之间的联系，表明 CGM-reward 针对最大熵解，而 CGM-relax 针对正则化版本。

结果

作者在三个不同的应用中评估了这些方法：

蛋白质设计 (Genie2 和 ESM3)：
- 目标：校准二级结构含量（ $\alpha$ -螺旋和 $\beta$ -折叠），使其与自然蛋白质统计特性（CATH 数据集）相匹配。
- 约束：多达 99 个同时存在的约束（双变量累积分布函数）。
- 结果：CGM-relax 将 Genie2 与自然蛋白质分布的距离减少了 4 倍以上，将 ESM3 减少了 2 倍以上。CGM-reward 实现了较为温和的改进，部分原因是难以在高维约束下估计 $\alpha^*$ 。两种方法都保持了生物物理合理性，尽管“设计失败”略有增加。
图像生成 (TarFlow)：
- 目标：平衡 AFHQ 数据集中“野生动物”类别内的类别比例（例如，使狮子、老虎、狐狸、狼的数量相等）。
- 约束：5 个同时存在的约束。
- 结果：CGM-relax 将类别比例的总变差距离从 0.306 降低到了 0.101。虽然样本真实度（FID）略有下降，但校准后的模型生成了更多样化且更平衡的图像。CGM-reward 未能显著减少约束违反。
语言建模 (Gemma-2-9B-IT)：
- 目标：减少生成的儿童故事中针对各种职业的性别偏见（例如，确保男性/女性律师的概率相等）。
- 约束：8 个职业条件约束。
- 结果：两种方法都减少了性别不平衡。CGM-relax 将不平衡程度相对于基线减少了三倍以上，而 CGM-reward 显示出统计学上显著但较小的改进。微调后的模型保持了故事质量（对数概率没有下降）。

合成实验：

罕见事件：CGM 成功地对高斯混合模型中的罕见模式进行了加权，即使基础概率低至 $10^{-3}$ 。
高维：CGM-relax 有效处理了多达 $10^3$ 个约束。相比之下，由于难以求解经验最大熵问题（公式 7），CGM-reward 对于超过 30 个的约束变得不可行。

意义与主张

本文声称，CGM 提供了一个实用的框架，用于将高维生成模型校准以满足分布约束，而无需更改模型架构或从头开始重新训练。

鲁棒性：CGM-relax 被证明比 CGM-reward 更鲁棒，特别是在高维约束设置下，估计最大熵参数变得不可行。
权衡：这些方法提供了校准精度与对基础模型的保真度之间的可导航权衡（由 $\lambda$ 控制）。
局限性：作者承认仍存在残余误差，特别是对于非常罕见的事件。此外，该框架目前依赖于具有可处理似然函数的模型（扩散模型、归一化流、自回归模型），限制了其直接应用于隐式模型（如 GAN）。

这项工作将校准定位为一个独特且富有成果的研究方向，与标准的奖励微调区分开来，通过使用约束本身作为分布对齐的驱动信号。