🤖 machine learning

DynaCF: Mitigating Shortcut Learning in Reward Models via Dynamic Counterfactual Sensitivity

该论文提出了 DynaCF，这是一个动态重加权框架，通过利用反事实扰动在线测量捷径敏感性，并在训练过程中降低敏感样本的权重，从而缓解奖励模型中的捷径学习问题，以鼓励模型依赖真实的偏好信号。

原作者： Fengyuan Liu, Yongliang Miao, Zirui He, Yanguang Liu, Fei Sun, Mengnan Du

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Fengyuan Liu, Yongliang Miao, Zirui He, Yanguang Liu, Fei Sun, Mengnan Du

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一名老师来批改学生的论文。你的目标是让这位老师根据思想的好坏来评判论文。然而，这里有一个问题：这位老师很懒，并且开始寻找捷径。他们不再阅读深刻的思想，而是只看一些表面的东西，比如：

“这篇论文是不是真的很长？”（越长 = 越好）
“它有没有花哨的列表符号？”（格式精美 = 越好）
“它听起来是不是超级自信？”（语气礼貌 = 越好）

如果这位老师依赖这些捷径，他们可能会给一篇空洞但华丽的论文打 A，而给一篇深刻但简短的论文打 C。这正是**奖励模型（Reward Models）**在 AI 中发生的情况。这些奖励模型就是教导 AI 聊天机器人什么是人类所喜好的“老师”。但通常情况下，这些 AI 老师会通过关注风格而非实质来“作弊”。

本文介绍了一种名为 DynaCF 的新方法来阻止这种作弊行为。以下是它的工作原理，使用一个简单的类比：

问题所在：“重风格轻实质”的老师

过去，研究人员试图通过列出一份“坏习惯”清单（例如“不喜欢长篇大论”）并告诉老师忽略这些习惯来解决问题。但本文认为，这就像是用一本静态的规则手册来试图阻止作弊者。作弊者会适应！如果你禁止长篇大论，他们可能会开始使用花哨的字体。如果你禁止了字体，他们可能会使用更多的列表符号。虽然“捷径”改变了，但作弊行为依然存在。

解决方案：DynaCF（“现实检查”教练）

DynaCF 就像一位实时观察老师评分过程的教练，并对每一篇论文进行 “如果……会怎样？”测试。

“如果……会怎样”测试（反事实测试）：
假设老师刚刚批改了一篇论文，并因为它很长且带有列表符号而给了高分。
- DynaCF 介入并说：“等等。让我们拿这篇完全相同的论文，但是去掉列表符号并缩短篇幅，同时保持其完全相同的思想。”
- 这就是“反事实（Counterfactual）”部分：一个在含义上完全相同但在风格上有所不同的版本。
现实检查（敏感度）：
DynaCF 要求老师对这个新的、更短的版本进行评分。
- 场景 A（优秀的老师）： 老师说：“嗯，思想仍然很棒。分数也差不多。”这意味着老师是在关注内容。
- 场景 B（作弊的老师）： 老师惊慌失措地说：“噢不！它变短了而且没有列表符号了！分数减半了！”这意味着老师在通过依赖长度和格式来作弊，而不是看思想。
动态惩罚（重新加权）：
这就是 DynaCF 的魔力所在。它并不只是开除老师或删除论文，而是调整老师从那篇特定论文中学到的程度。
- 如果老师在“如果……会怎样”测试中失败了（场景 B），DynaCF 会说：“好吧，我们知道你在这一篇上作弊了。我们会调低这一篇论文的权重（音量），这样你就不会从错误的教训中学到错误的东西。”
- 如果老师通过了测试（场景 A），DynaCF 会说：“做得好！我们会调高这一篇论文的权重（音量），以便你从这个优秀的例子中学习。”

为什么“动态”很重要

本文强调这不仅仅是一次性的修复。老师可能在周一作弊，但到周五就能学会诚实。

静态方法 就像是在学年开始时写好的一本规则手册。它会过时。
DynaCF 就像是一位在每次练习期间每天都会检查老师工作的教练。它会询问：“你现在在作弊吗？”并立即进行调整。

结果

作者在各种基准测试（如 RM-Bench 和 RewardBench）上对 AI 模型（特别是 Qwen3 模型）进行了测试。

结果： 使用 DynaCF 训练的模型变得更擅长忽略“虚假”的风格技巧，转而关注答案的实际质量。
证明： 当测试“难题”（在这种题目下风格技巧不起作用）和“安全性”问题（在这种问题下你不能仅仅通过表现得有礼貌来掩盖错误）时，DynaCF 模型的得分显著高于标准模型。

简而言之

DynaCF 通过不断询问：“如果我们改变了表面风格但保留了含义，你的观点会改变吗？”来阻止 AI “玩弄系统”。如果答案是“是的”，那么 AI 会被告知暂时忽略这个特定的例子。这迫使 AI 去学习什么才是真正让回答变好的因素，而不仅仅是学习什么看起来很好。

技术摘要：DynaCF —— 通过动态反事实敏感性缓解奖励模型的捷径学习

1. 问题陈述

奖励模型（RM）对于将大语言模型（LLM）与人类偏好对齐至关重要，通常使用基于 Bradley–Terry 目标的成对偏好数据进行训练。然而，这些模型经常利用捷径学习（shortcut learning），依赖于表层特征（例如：响应长度、格式、冗余度或模板化表达），而非真正的任务相关质量。

一个关键的挑战在于，捷径风险并非数据集的一个静态属性。一个偏好对在初始阶段可能看起来是无害的，但如果模型的决策边界过度依赖表层特征来维持其奖励间隔（reward margin），该样本可能会变得对捷径敏感。相反，一个看似依赖捷径的样本，如果其偏好在表层属性被中和后仍能保持稳定，则可能具有鲁棒性。现有的缓解策略通常依赖于静态启发式方法或预定义的表层特征，未能考虑到特定模型在不同训练阶段学习捷径的动态特性。

2. 方法论：DynaCF

作者提出了 DynaCF（Dynamic Counterfactual Sensitivity，动态反事实敏感性），这是一个通过动态诊断并根据当前奖励模型对表层扰动的敏感程度来重新加权训练样本的框架。

核心机制

DynaCF 通过构建“被选中”响应（ $y^+$ ）的语义保持反事实变体来运行，同时保持提示词（ $x$ ）和“被拒绝”响应（ $y^-$ ）固定不变。这些变体在不改变核心任务相关内容的前提下，中和了表层属性（格式、语气、长度）。

该过程包含三个主要步骤：

反事实构建：
- 系统使用领域感知规则（例如：移除 Markdown 标题、中和语气、缩短冗余度）为每个样本生成有效的反事实变体（ $y^{cf}_{i,k}$ ）。
- 严格的有效性检查确保反事实保留了主要的语义内容（通过 Token 重叠阈值），并且对于数学/代码领域，保留所有数字和逻辑结构。
敏感性诊断：
- 当前的奖励模型 $R_\theta$ 同时评估原始对和反事实对。
- 系统计算原始对与反事实对的奖励间隔（ $m$ ）。
- 敏感性得分（ $s_{cf,i}$ ）： 基于间隔变化的幅度（ $\Delta$ ）以及偏好翻转（即反事实中的“被选中”响应获得的奖励低于“被拒绝”响应）的频率进行计算。
- 高敏感性得分表明模型的偏好是不稳定的，且很可能是由表层线索驱动的。
动态重加权：
- DynaCF 并不删除样本或将反事实视为新标签，而是将敏感性得分转换为原始 Bradley–Terry 损失的步长局部样本权重（ $w_i$ ）。
- 权重定义为 $w_i(t) = \max(w_{min}, 1 - \gamma \cdot s_{cf,i}(t))$ ，其中 $\gamma$ 控制降权强度， $w_{min}$ 防止完全移除。
- 具有高捷径敏感性的样本会被降权，从而减少其对梯度更新的影响；而低敏感性样本则保留全权重。
- 此过程在优化过程中在线执行，允许权重随着模型行为的演进而进行调整。

3. 核心贡献

动态诊断： 本文引入了一种在训练期间动态诊断捷径依赖的方法，承认捷径敏感性是模型相关且阶段相关的，而非静态的数据集属性。
反事实探测： 利用语义保持的反事实作为诊断探针，以测量奖励间隔在仅改变表层属性时的稳定性。
重加权框架： DynaCF 提出了一种新型重加权策略，旨在抑制来自捷径敏感样本的更新，而不丢弃数据或改变偏好分布。
实证验证： 该框架在多个基准测试（RM-Bench, RewardBench, RewardBench2）和模型规模（Qwen3-4B 和 Qwen3-8B）上得到了验证。

4. 实验结果

实验表明，与标准的 Bradley–Terry 训练相比，DynaCF 持续提升了奖励模型的鲁棒性：

硬推理与安全性： 在“Hard”（困难）拆分集和安全性关键评估中观察到最显著的增益，因为在这些场景下，表层线索是质量的糟糕指标。
- 在 RM-Bench Hard 上，DynaCF 使 Qwen3-4B 提升了 8.7 点（41.3% $\to$ 50.0%），使 Qwen3-8B 提升了 4.6 点（49.8% $\to$ 54.4%）。
- 在 Safety 指标上，Qwen3-4B 在 RM-Bench 上获得了 +8.2 的提升，在 RewardBench 上获得了 +4.0 的提升。
模型规模： 较小的模型（Qwen3-4B）在各个基准测试中受益更为一致，这表明它们更容易受到捷径学习的影响，因此从动态重加权中获益更多。
消融实验：
- 动态 vs. 静态： 在训练前计算的静态敏感性得分表现不如基准模型，证实了敏感性估计必须在线更新才能有效。
- 反事实用途： 仅将反事实作为诊断探针（而不添加辅助损失）的效果优于将其作为额外偏好标签的变体。
- 超参数： 中度的重加权强度（ $\gamma$ ）和较短的预热期产生了最佳的权衡，防止了噪声较大的早期估计扭曲目标函数。

5. 重要性与主张

本文声称 DynaCF 为由捷径学习引起的奖励黑客攻击（reward hacking）和过度优化问题提供了稳健的解决方案。通过从静态过滤转向动态、模型感知的重加权，该方法鼓励奖励模型依赖于任务相关的偏好信号，而非表层模式。

作者强调，这种方法：

提高了在困难任务和安全性敏感任务上的泛化能力。
不需要丢弃数据或进行复杂的架构更改。
提供了一个诊断工具，用于理解特定模型在训练不同阶段是如何学习捷径的。

6. 局限性

作者承认存在以下几点局限性：

反事实质量： 有效性取决于基于规则的反事实构建质量，这可能会偶尔改变有用的信息或未能完全移除目标线索。
范围限制： 实验仅限于基于文本的奖励模型和基准测试；其在多模态或过程奖励模型（PRM）中的适用性尚未经过测试。
探测范围： 目前反事实探测仅应用于“被选中”的响应；被拒绝的响应也可能包含捷径线索。
训练动态： 捷径重加权、模型容量与训练动态之间的关系仍需进一步探索。