🤖 AI

Stitched Value Model for Diffusion Alignment

本文介绍了StitchVM，这是一个轻量级的模型拼接框架，它通过附加一个冻结的扩散骨干网络，高效地将预训练的像素空间奖励模型迁移至含噪的潜在空间，从而在避免Tweedie估计偏差或蒙特卡洛 rollout 高昂成本的同时，实现扩散模型的精准且计算高效的对齐。

原作者： Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hyojun Go, Hyungjin Chung, Prune Truong, Goutam Bhat, Li Mi, Zhaochong An, Zixiang Zhao, Dominik Narnhofer, Serge Belongie, Federico Tombari, Konrad Schindler

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和生动的类比对论文《用于扩散对齐的缝合价值模型》（Stitched Value Model for Diffusion Alignment）的解释。

宏观图景：“模糊草图”难题

想象你是一位艺术家，正试图根据客户的描述（即“提示词”）创作一幅杰作。你有一位才华横溢的助手（扩散模型），他非常擅长将空白画布转化为清晰、美丽的图像。

然而，客户有特定的品味：他们想要红色的汽车、蓝色的天空，以及梵高风格的画风。为了确保助手遵循这些规则，你需要一个奖励模型（一位“评论家”），它能审视完成的画作，并说：“是的，完美！”或者“不，汽车画错了。”

问题所在：
艺术家并非从一幅完成的画作开始。他们是从空白画布开始的，这幅画布会随着时间推移逐渐变得清晰。在最初阶段，图像只是一团模糊、充满噪点的混乱（就像老式电视上的雪花屏）。

评论家（奖励模型）是受训来评判已完成画作的。如果你给它看一团模糊的混乱，它会感到困惑并给出糟糕的建议。
为了在模糊混乱阶段获得好的建议，以往的方法尝试了两种方案：
1. “猜测 - 检查”法：尝试瞬间“去模糊”图像，展示给评论家看，然后再重新模糊化。这种方法很快，但往往不准确（存在偏差）。
2. “马拉松”法：从那个模糊点出发，运行 100 次不同的绘画过程，看看哪一次结果最好。这种方法准确，但耗时极长，且需要耗费巨大的计算资源。

解决方案："StitchVM"（混合向导）

作者提出了一种名为StitchVM的新方法。这就像进行了一次精确的外科移植手术，创造出一种新型评论家，它能够在图像仍然模糊时就理解那团混乱。

类比：“头部”与“尾部”
想象两位不同的专家：

扩散专家（头部）：这位专家擅长观察模糊、充满噪点的草图，并理解最终画面可能变成什么样。他们懂得噪点是如何运作的。
艺术评论家（尾部）：这位专家是世界闻名的评委，确切知道什么样的“好”画作是完美的，但他们无法处理模糊的草图。

StitchVM 将扩散专家的头部（理解噪点的部分）直接缝合到艺术评论家的尾部（知道什么是“好”的部分）。

工作原理：他们找到了扩散专家的大脑与评论家大脑使用同一种语言的精确连接点。他们用一个微小的、轻量级的适配器（“缝合层”）将它们连接起来。
结果：你现在拥有了一位混合向导。它可以审视模糊、充满噪点的草图，并立即说道：“如果我们从这里继续下去，这很可能是一幅杰作”，而无需先完成整幅画作。

为什么这很重要？

论文声称，这种方法之所以具有变革性，主要有三个原因：

1. 速度极快（“捷径”）

旧方法：要检查模糊草图，你要么必须猜测最终图像（慢且易出错），要么必须运行 100 次完整的绘画过程来看看结果（非常慢）。
StitchVM 方法：混合向导只需一眼审视模糊草图，就能瞬间给出答案。
声称：作者表示，这使他们的对齐方法快了 2 到 3 倍，并将计算机内存使用量减少了一半。

2. 高度准确（“专家之眼”）

旧方法：以往尝试训练评论家去观察模糊图像，需要从零开始使用海量数据进行训练，这既昂贵，又往往导致产生一个“愚蠢”的评论家。
StitchVM 方法：因为他们是“缝合”进了一位已经在数百万张完美图像上受过训练的评论家，所以新的混合向导继承了这些庞大的知识。它无需重新学习什么是“好艺术”，只需学习如何透过噪点去观察它。
声称：新的向导表现几乎与原始专家评论家一样出色，即使面对非常嘈杂、模糊的输入也是如此。

3. 构建成本低廉（“DIY 套件”）

旧方法：以前为噪点图像构建新的评论家需要超级计算机运行数周。
StitchVM 方法：因为繁重的工作已由原始专家完成，你只需要将它们“缝合”在一起，并进行极少量的微调。
声称：作者表示，他们可以在单块强大的计算机芯片上，用大约10 小时构建出这个新的混合向导，而以往的方法则需要巨大的成本。

现实世界的影响（根据论文）

作者在两类任务上测试了这位“混合向导”：

生成期间（推理阶段）：当 AI 正在创建图像时，混合向导帮助它在每一步做出更好的选择。这就像有一位教练在运动员奔跑过程中就大声发出指令，而不是等到比赛结束后才告诉他们跑错了方向。这使得 AI 能够更快地生成更好的图像。
训练期间：当教导 AI 变得更好时，混合向导允许训练在早期（即“模糊”阶段）就停止，同时仍能提供有用的反馈。这意味着 AI 学习得更快，并消耗更少的电力。

总结

StitchVM 是一个巧妙的技巧，它将“噪点专家”与“质量评判者”结合，创造出一种能够评判“进行中之作”的新工具。它节省了时间，节省了资金，并产生了更好的结果，因为它不再试图猜测未来，而是开始理解当下（即使当下只是一团模糊的混乱）。

技术摘要：用于扩散对齐的缝合价值模型（StitchVM）

1. 问题陈述

扩散和基于流的生成模型擅长捕捉数据分布，但通常需要对齐特定任务的奖励（例如提示词保真度、美学偏好、人类偏好）才能在实践中发挥作用。这种对齐的核心挑战在于，奖励通常是为干净输出图像（ $x_0$ ）定义的，而对齐过程（包括推理时和训练时）需要估计由噪声中间潜在变量（ $z_t$ ）诱导的干净样本的期望奖励。这种估计被称为价值函数。

现有近似该价值函数的方法存在显著的权衡：

Tweedie 近似：估计干净样本的后验均值，并在此代理上计算奖励。虽然高效，但在高噪声区域会引入显著偏差，并且需要昂贵的额外去噪器和 VAE 解码器评估。
蒙特卡洛（MC）近似：从 $z_t$ 展开多条去噪轨迹并平均奖励。虽然更准确，但由于需要多次完整展开，导致计算成本过高。
学习价值模型：直接为噪声潜在变量训练价值函数是一个未解决的问题。现有尝试通常依赖小规模训练或狭窄的偏好数据集，导致其准确性和泛化能力不如基础规模的像素空间奖励模型。此外，为每个新的扩散骨干网络或奖励模型训练一个新的价值模型在计算上是不可持续的。

2. 方法论：StitchVM

作者提出了StitchVM（缝合价值模型），这是一个将预训练的高质量像素空间奖励模型的能力转移到噪声潜在区域且计算成本极低的框架。该方法利用模型缝合技术，即重新组合来自不同神经网络的层。

核心架构

StitchVM 通过一个轻量级的缝合层，将一个截断的、冻结的扩散骨干（“头部”）连接到一个截取的、预训练的奖励模型（“尾部”），从而构建了一个混合模型。

头部：一个在层 $i$ 处截断的扩散骨干（例如 SD 3.5, FLUX）。该组件原生处理噪声潜在变量并提取噪声感知特征。
尾部：一个从层 $j$ 开始的预训练奖励模型（例如 CLIP, HPSv2, 美学预测器）。该组件保留了在大规模预训练期间学到的鲁棒的、特定任务的奖励能力。
缝合层（ $s_\psi$ ）：一个轻量级模块，用于对齐扩散头部的特征空间与奖励尾部的特征空间。

训练过程

StitchVM 的训练分为两个阶段：

接口选择（闭式解）：作者搜索最优的缝合索引 $(i, j)$ ，使得扩散特征（来自噪声潜在变量）和奖励特征（来自干净图像）最兼容。这是通过在少量干净图像及其对应噪声潜在变量的探针集上提取配对特征，并拟合它们之间的线性映射 $W$ 来实现的。选择特征匹配损失最小的那一对。
轻量级微调：一旦接口固定，缝合层和截断的奖励尾部即使用无标签的干净图像进行微调。目标是将价值函数 $V(z_t)$ 回归到干净图像的原始奖励分数 $r(z_0)$ 。这种离线策略目标允许模型学习以噪声潜在变量为条件的干净样本的期望奖励，而无需进行完整展开。

在对齐中的应用

StitchVM 充当直接的价值函数估计器，替代了推理时和训练时对齐中的近似方法：

推理时：
- DPS（扩散后验采样）：用 StitchVM 的直接梯度（ $\nabla_{z_t} V(z_t)$ ）替换基于 Tweedie 的梯度，消除了对去噪器和 VAE 进行反向传播的需求。
- FK 转向：实现了“提议缩放”，其中每个粒子生成多个局部提议。这些提议由 StitchVM 进行低成本评分以选择最佳候选者，而使用 Tweedie 近似进行此过程的成本过高。
训练时：
- 直接奖励微调（例如 AlignProp, DRaFT）：允许训练在中间噪声潜在变量 $z_\tau$ 处停止，并使用 StitchVM 预测作为监督目标，从而避免完整轨迹展开和长反向传播链。
- DiffusionNFT：用中间价值估计替换终端干净奖励，使得在前向过程中进行高效的在线强化学习成为可能。

3. 主要贡献

价值建模的新范式：StitchVM 证明了强大的像素空间奖励模型可以通过简单地将其缝合到扩散骨干上，有效地转移到噪声潜在区域，而无需大规模重新训练。
效率与准确性：该方法在价值估计方面实现了最先进的性能，同时极其轻量级。例如，将 CLIP ViT-L 缝合到 SD 3.5 Medium 价值模型中仅需约 10 个 GPU 小时。
对齐中的性能提升：
- 推理：DPS 的速度提高了 3.2 倍，峰值 GPU 内存减少了 50%。使用 StitchVM 的 FK 转向显著优于标准 FK 转向和 Best-of- $N$ 采样，特别是通过实现高效的局部提议选择。
- 训练：DiffusionNFT 的速度提高了 2.3 倍，直接奖励微调（DRaFT）的速度提高了 1.3 倍，同时由于在高噪声步骤实现了有效的监督，生成了更高质量的图像（例如 GenEval 提升 +30%）。
泛化能力：该方法适用于多种扩散骨干网络（SD 3.5 Medium/Large, FLUX）和奖励模型（CLIP, DFN-CLIP, HPSv2, 美学预测器）。

4. 实验结果

论文在多个基准测试中评估了 StitchVM：

价值函数质量：在具有不同噪声水平（ $\sigma \in [0.1, 0.9]$ ）的噪声潜在变量上，StitchVM 在零样本检索（MSCOCO, Flickr30K）、偏好预测（HPDv2, ImageReward）和美学评分（AVA）方面，与原始干净奖励模型的性能高度匹配。它显著优于基线方法，如 VAE 缝合（在高噪声下崩溃）以及在噪声数据上从头训练的模型（例如 NoisyCLIP, DiNa-LRM）。
推理对齐：在 DrawBench 的 DPS 和 FK 转向实验中，StitchVM 增强的方法在大幅降低计算成本的同时，一致地提高了 ImageReward、HPSv2 和 GenEval 等指标。值得注意的是，在使用 StitchVM 进行 FK 转向时，增加局部提议数量（ $M$ ）比增加粒子数量（ $N$ ）更有效。
训练对齐：训练曲线显示，与标准 DRaFT 和 DiffusionNFT 相比，StitchVM 变体以更少的 GPU 小时达到更高的最终分数。定性结果表明，StitchVM 增强的模型收敛更快，并在训练早期生成更清晰、更高质量的图像。

5. 意义与主张

论文声称，StitchVM 提供了一个通用模板，用于将潜在扩散骨干与像素空间前馈模型相结合，而不会牺牲任一方的大量预训练成果。通过将强大的奖励模型提升到潜在空间，它实现了一种新的扩散对齐风格，其中针对噪声潜在变量的正确价值函数只需构建一次，并在许多样本和迭代中分摊成本。

作者将 StitchVM 定位为并非基础模型预训练的替代品，而是一种实用、低成本的机制，用于将这些模型适配到特定任务。他们强调，这种方法使基于价值模型的对齐变得可及且高效，可能会加速更安全、更可靠的生成建模研究。这项工作表明，缝合预训练组件是替代从头训练价值函数或依赖有偏近似所带来的高昂成本的一种可行方案。