NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

技术摘要：NormGuard：流匹配强化学习中保持奖励的范数约束

问题陈述
强化学习（RL）后训练已成为将流式生成模型与人类偏好对齐的标准方法。然而，这一过程经常导致“奖励过度优化”（reward over-optimization），即模型利用奖励代理模型的缺陷，导致感知质量下降（例如：过度锐化、色彩偏移、光照不自然），而奖励模型无法对这些现象进行惩罚。现有的缓解策略（如早停法和 KL 正则化）将后训练阶段的漂移视为一个单一的聚合量。它们约束模型速度相对于参考模型的总偏差，但无法区分哪些漂移成分携带奖励信号，哪些成分驱动了视觉伪影。

关键观察与诊断
作者识别出了这种漂移的一个特定结构特征：在不同方法（NFT, AWM, DPO）和不同模型（SD3.5, FLUX）上，RL 微调一致会导致每步速度范数（$\|v_\theta\|$）相对于预训练参考模型（$v_{ref}$）膨胀 5% 到 15%。

在提出新方案之前，本文研究了两种潜在的解决方案：

1. 推理时重归一化： 受分类器自由引导（CFG）启发（其中在推理时对速度进行缩放可以减轻伪影），作者测试了在推理时将 RL 微调后的速度缩放回参考范数的方法。他们发现这对于 RL 训练的模型是失效的。与 CFG 中通过推理时的速度头显式组合导致的膨胀不同，RL 诱导的膨胀是协同适应（co-adapted）进入模型权重的。在推理时进行缩放虽然保留了奖励，但无法修复视觉伪影（过度锐化、光照不自然）。
2. 伴随敏感性分析（Adjoint Sensitivity Analysis）： 作者分析了在训练期间抑制速度幅值是否会移除连贯的奖励信号。通过对 6,400 个样本进行伴随敏感性分析，他们发现，在乘性速度缩放下的首次阶奖励变化表现出极高的信噪比（3倍至100倍）以及跨提示词（prompt）的符号异质性。批次层面的均值保持接近于零，这表明抑制范数膨胀不太可能系统性地移除奖励收益。

方法论：NormGuard
基于“推理时修复无效”且“范数抑制不携带一致奖励成本”的发现，作者提出了 NormGuard，一种训练时正则项。

• 机制： NormGuard 是一种单侧铰链惩罚（one-sided hinge penalty），仅在当前速度范数超过参考模型范数时激活。它被加性地添加到任何速度局部基础损失（如用于 NFT、AWM 和 DPO 的损失）中。
• 公式化： 对于采样的状态 $(x_t, t, c)$，正则项定义为：
  $$R_{norm}(\theta) = \lambda \cdot \max\left(0, \frac{\|v_\theta(x_t, t, c)\|^2 - \|v_{ref}(x_t, t, c)\|^2}{\|v_{ref}(x_t, t, c)\|^2}\right)$$
  其中 $\lambda > 0$ 控制强度。只要 $\|v_\theta\| \leq \|v_{ref}\|$，惩罚项就不会对更新施加约束，仅针对“过剩”的范数进行惩罚。
• 兼容性： 由于该惩罚项在与基础损失相同的速度输出空间内运行，因此它可以自然地与现有的后训练目标组合，而无需单独的参数空间约束。

实验结果
作者在两个基础模型（SD3.5-Medium, FLUX.2-4B）、三种后训练方法（NFT, AWM, DPO）和两种奖励模型（PickScore, HPSv2）上评估了 NormGuard。

• 感知质量： 使用 MLLM 评判器（Qwen3.5 和 GPT-4.1）在纹理保真度和伪影检测等维度评估图像质量，NormGuard 在所有七种配置下均一致优于未正则化的基线。其胜率显著更高（例如，SD3.5-M + NFT 为 64% vs 35%）。
• 取证真实感： NormGuard 在六种（共七种）设置中提高了取证真实感得分（RealScore），减少了如光照不自然和过度锐化等伪影。
• 奖励保留： 该方法在很大程度上保留了基线的奖励收益。PickScore 和 HPSv2 的差异极小（范围在 -0.004 到 +0.011 之间），表明控制径向膨胀不会阻碍负责奖励对齐的方向性变化。
• 少步推理： NormGuard 的益处随着推理步数的减少而放大。MLLM 胜率差距从 28 步时的 9% 扩大到 4 步时的 20%，这表明正则项通过稳定 ODE 积分过程，减轻了由膨胀速度引起的离散化误差。
• 消融实验： 改进并非由早停法解释（正则化模型优于基线模型的早期检查点），且与 KL 正则化具有互补性，解决了不同的失效模式。

意义与主张
论文声称，标准 KL 正则化所惩罚的聚合漂移可以被有效地分解：范数膨胀驱动感知伪影但几乎不携带奖励信号，而方向性重对齐则承担了大部分奖励收益。

NormGuard 为流匹配模型中的奖励过度优化提供了一个针对性的诊断与修复方案。通过在训练期间抑制过剩的速度范数增长，它在不牺牲奖励对齐的前提下，提升了照片级真实感并减少了伪影。作者将其定位为一种简单有效的干预手段，旨在解决奖励漂移中的特定结构特征，这与 KL 正则化的全局约束或 CFG 无效的推理时修复有着本质区别。

局限性
作者指出，径向膨胀的动态起源仍是一个开放性问题。他们关于“奖励中性”的主张是基于批次层面的首次阶信号；单个样本的径向扰动确实会影响奖励，但这些效应在不同提示词之间相互抵消。此外，目前的分析适用于速度局部目标（NFT, AWM, DPO），将此视角扩展到轨迹级目标（如 Flow-GRPO）是未来的研究方向。