🤖 machine learning

NoiseTilt: Noise-Tilted Reverse Kernels for Diffusion Reward Alignment

本文引入了噪声倾斜反向核（Noise-Tilted Reverse Kernels, NTRK），这是一种新型的奖励引导扩散采样器，它通过白化算子将奖励梯度直接注入噪声项，从而在不损害样本质量或使中间状态偏离训练分布的前提下，实现了卓越的对齐效果并减少了 20 倍的计算量。

原作者： Jisung Hwang, Yunhong Min, Jaihoon Kim, I-Chao Shen, Minhyuk Sung

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jisung Hwang, Yunhong Min, Jaihoon Kim, I-Chao Shen, Minhyuk Sung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位大师级厨师（即扩散模型），他非常擅长根据标准食谱烹饪出美味佳肴（生成图像或视频）。这位厨师已经接受了多年的特定厨房环境训练。

现在，你想给这位厨师一个新的指令：“让这道菜看起来更具美感”，或者“确保画面中恰好有17个鸡蛋”。这被称为奖励对齐（Reward Alignment）。你想引导厨师走向更好的结果，而不是解雇他，或者让他从头开始重新学习烹饪。

该论文介绍了一种名为 NoiseTilt（或 NTRK）的新方法来完成这项工作。以下是其运作方式的拆解，采用了简单的概念：

问题所在：两种糟糕的引导厨师的方法

在 NoiseTilt 出现之前，有两种主要的方法可以尝试引导厨师，但两者都有重大缺陷：

“推搡”法（均值偏移法/Mean-Shifted）：
想象一下，你试图通过在厨师每走一步时都把他向“完美佳肴”的方向推一把来引导他。
- 缺陷： 如果你推得太用力，他就会跌出舒适的厨房，进入一个混乱且陌生的房间。他可能仍在朝着目标移动，但他开始在家具上绊倒、掉落食材并搞得一团糟。最终的菜肴看起来很奇怪或破损，因为厨师被强行带到了一个他并未受训操作的区域。
“抽奖”法（基于搜索的方法/Search-Based）：
想象一下，你要求厨师同时烹饪 50 个不同版本的菜肴，品尝所有版本，最后只端出看起来最好的那一个。
- 缺陷： 这种方法效果很好，能让厨师留在舒适的厨房里，但它极其缓慢且昂贵。你必须为了得到一个好的结果而烹饪 50 顿饭。这就像为了赢得一个小奖而购买 50 张彩票一样。

解决方案：NoiseTilt（“耳语”）

NoiseTilt 通过一种聪明的方式解决了这个问题：它不是推搡厨师，而是向他的耳朵里低语了一个秘密。

NoiseTilt 并不改变厨师的路径，而是改变了厨师脑海中的噪声（Noise）。

比喻： 想象厨师正走在雾气弥漫的厨房里。“噪声”就是这些雾。通常情况下，雾是随机且浓厚的。
诀窍： NoiseTilt 将“奖励”（即让食物变美的指令）转化成一种特定类型的“雾”。它不改变厨司站立的位置（路径保持安全且熟悉），但它“倾斜”了雾气，使厨师自然而然地向着美丽的佳肴漂移，同时仍行走在熟悉的地面上。

核心秘方：“白化算子”（Whitening Operator）

这里有一个难点。你不能直接对着雾气大喊“让它变美！”。如果将一个结构化、逻辑性的句子喊进随机的雾气中，厨师会感到困惑，结果依然会一团糟（这被称为“非典型噪声”）。

NoiseTilt 使用了一个特殊的工具——白化算子。

类比： 可以把这看作是一个翻译官。指令“让它变美”是一个结构化、逻辑性的句子。而厨师只理解“随机静电噪声”。
白化算子将那个逻辑性的指令进行适度的“打乱”，使其在厨师看来看起来像是随机的静电噪声，但仍然携带着“变美”的隐藏方向。
这就像是把一张地图变成静电噪声，当厨师聆听它时，会引导他向左转而不是向右转，而他甚至不会意识到自己正在遵循一张地图。

为什么这很重要

论文声称 NoiseTilt 实现了两全其美：

它是安全的： 因为它没有把厨师推离舒适区，所以最终生成的图像和视频看起来高质量且自然（没有“混乱厨房”产生的伪影）。
它是快速的： 它不需要烹饪 50 顿饭。它能以仅需一次尝试就获得与“抽奖”法相同（甚至更好）的结果。

结果：
在测试中，NoiseTilt 仅通过 25 步 计算就能生成精美的、高奖励的图像。要达到同样的质量，旧有的“抽奖”类方法需要 500 步。这意味着在保持图像完美的同时，实现了 20 倍 的计算速度提升。

总结

NoiseTilt 是一种引导 AI 艺术生成器的新方法。它不是强迫 AI 改变路径（这会破坏图像的完整性），也不是让它进行数百万次的盲目猜测（这很慢），而是微妙地“倾斜”了过程中的随机性。它利用一个特殊的翻译器（白化处理）将指令转化为 AI 能自然理解的形式，从而以比以往更快的方式生成美丽、高质量的图像。

技术摘要：NoiseTilt：用于扩散模型奖励对齐的噪声倾斜反向核

问题陈述

推理时缩放（Inference-time scaling）已成为一种强大的机制，能够在无需高昂重训练成本的情况下，使预训练扩散模型与用户偏好对齐。当偏好通过奖励函数表达时，扩散模型的迭代去噪过程提供了一种与模型无关的方式，将采样引导至高奖励区域。然而，现有方法面临着**梯度引导（gradient guidance）与噪声兼容性（noise compatibility）**之间的根本权衡：

均值偏移方法（梯度引导）： 如 DPS [10] 等方法将奖励梯度直接注入反向高斯核的均值中。虽然在引导生成方面有效，但它会将采样状态移出“噪声兼容区间”——即预训练模型所训练的潜空间中的狭窄区域。这种位移会导致中间状态变成分布外（out-of-distribution）数据，从而降低生成质量，并使系统容易受到奖励破解（reward hacking）的影响。
基于搜索的方法： 如 SVDD [38] 等方法通过从随机核中抽取 $K$ 个候选样本并选择最优者，来保留基础的反向均值。虽然这保持了噪声兼容性和样本质量，但它放弃了直接的梯度引导，转而依赖随机采样来寻找提升奖励的方向。这在计算上效率极低，需要极大量的样本才能实现强对齐。

此前尚无方法能同时实现梯度引导与噪声兼容性。

方法论：噪声倾斜反向核 (NTRK)

作者提出了噪声倾斜反向核 (Noise-Tilted Reverse Kernels, NTRK)，这是一种通过将反向均值固定，并将奖励信息仅通过噪声项进行路由来解决上述权衡问题的采样器。

核心机制

标准反向步骤定义为 $\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \bm{\epsilon}_t$ ，其中 $\bm{\epsilon}_t \sim \mathcal{N}(\bm{0}, \bm{I})$ 。
NTRK 将噪声项修改为：
$\bm{x}_{t-1} = \bm{\mu}_\theta(\bm{x}_t, t) + \sigma_t \tilde{\bm{\epsilon}}_t$
其中，引导噪声 $\tilde{\bm{\epsilon}}_t$ 是白化后的奖励方向与无偏随机性的混合：
$\tilde{\bm{\epsilon}}_t = \sqrt{\rho_t} \, \mathcal{W}(\nabla_{\bm{x}_t} r(\hat{\bm{x}}_{0|t})) + \sqrt{1-\rho_t} \, \bm{\epsilon}_t$
这里， $\rho_t \in [0, 1]$ 控制引导强度， $\hat{\bm{x}}_{0|t}$ 是干净图像的 Tweedie 估计值。

白化算子 ( $\mathcal{W}$ )

核心挑战在于，原始的奖励梯度是具有结构性和确定性的，这违反了预训练模型所需的典型高斯噪声的统计特性。直接注入此类梯度会产生“非典型噪声”，导致伪影。

为了解决这个问题，作者引入了一个白化算子 $\mathcal{W}$ ，将奖励梯度转化为在注入前符合“典型”特征的噪声向量。该算子确保扰动保持在噪声兼容区间内，同时保留梯度的方向信号。该算子通过一系列投影到基于标准高斯统计学的高置信度集上来构建：

两级序统计量 (2OS) 投影： 将输入向量重塑为分块（tiles）。在每个块内以及跨块之间对数值进行排序。生成的双重排序统计量被裁剪至基于 Beta 分布的 99.99% 置信区间。这在抑制局部结构化伪影的同时，维持了全局直方图。
分块统计量： 该算子进一步约束每个块的均值和中心能量，使其与标准高斯噪声的预期分布相匹配。
正交变换域： 在变换域（如紧凑傅里叶和 Hadamard 式混合）中应用相同的置信区间投影，以抑制在空间域中不可见的残余全局结构。

至关重要的是，对于已经是典型高斯噪声的输入， $\mathcal{W}$ 几乎不对其进行改变；而对于结构化输入，则会进行实质性的白化处理。

核心贡献

解决了权衡问题： NTRK 是首个同时实现基于梯度的引导与噪声兼容性的方法。它保留了预训练的反向均值（不同于均值偏移方法），同时每步仅需单次采样（不同于基于搜索的方法）。
白化算子： 本文指出，奖励对齐的质量直接取决于白化算子的质量。提出的基于 2OS 的投影被证明优于简单的范数投影或硬等式约束（如 WGNC [24]），因为它在抑制结构与保留自然噪声变异性之间取得了平衡。
高效性： 通过将梯度路由至噪声项，NTRK 以显著更少的函数评估次数 (NFE) 实现了最先进的性能。

实验结果

作者使用用于图像的 FLUX [35] 和用于视频的 Wan2.1 [70] 在三个主要任务上评估了 NTRK：

审美图像生成： NTRK 取得了最高的靶向奖励（审美得分），超越了所有基准方法。值得注意的是，仅使用 25 NFE 的 NTRK 就超过了使用 500 NFE 的最佳基准方法 (SVDD)，实现了 20 倍的计算量缩减。它同时也维持或提升了诸如 ImageReward 和 HPSv2 等留存指标（held-out metrics）。
文本对齐图像生成： 在复杂的组合提示词（T2I-CompBench++）上，NTRK 在 PickScore（目标奖励）以及 VQA Score 和 HPSv2 等留存指标上均优于基准方法。
偏好对齐视频生成： 使用 VideoReward 作为目标，NTRK 生成的视频在文本对齐、运动质量和视觉质量方面均优于 DPS 和 FreeDoM。
其他应用： 该方法成功应用于数量感知生成（物体计数）和基于 VLM 的奖励对齐（地平线与深度定位），展示了广泛的适用性。
与微调的集成： 研究表明 NTRK 与微调（如 MixGRPO [37]）是正交的，在应用于微调模型之上时能提供额外的增益。

意义与主张

本文声称，NTRK 提供了一种简单且广泛适用的推理时奖励对齐机制，能够保持预训练采样的动力学特性。通过将奖励梯度视为一种待白化的扰动而非均值的偏移，NTRK 避免了困扰基于梯度的引导方法的分布外问题。

作者强调，该方法的有效性高度依赖于白化算子。消融研究表明，较弱的算子无法消除有害结构，而过于僵化的算子则会扭曲真实的噪声。所提出的基于 2OS 的方法成功地在两者间找到了平衡，实现了高奖励生成，且并未牺牲预训练模型固有的质量。

这项工作表明，未来的推理时缩放可以超越暴力搜索或破坏性的均值偏移，转而利用噪声的统计特性来高效地引导生成。