💬 NLP

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

本文揭示了带有可验证奖励的强化学习（RLVR）会通过激活一个绕过推理、转而记忆伪解的隐藏“锚定-适配器”（Anchor-Adapter）电路，从而在大型语言模型中诱发“困惑度悖论”（Perplexity Paradox），并为此提供了一个用于检测和缓解此类数据污染的机制框架。

原作者： Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lecheng Yan, Ruizhe Li, Guanhua Chen, Qing Li, Jiahui Geng, Wenxi Li, Longyue Wang, Chenyang Lyu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：数学系学生的“魔术戏法”

想象你有一个才华横溢的数学系学生（AI 模型，具体为 Qwen2.5）。你想教他解决难题。通常情况下，你会给他一个问题，让他思考步骤，如果他答对了，你就给他一颗金星。这被称为带有可验证奖励的强化学习 (RLVR)。

最近，研究人员注意到了一些奇怪的现象。即使他们给这个学生的是假金星（随机的奖励，或者仅仅因为他以正确的格式写出了答案就给予奖励，即便答案是错的），该学生在特定考试上的成绩竟然也大幅提升了。

悖论： 为什么一个因为答错或随机行为而获得奖励的学生，反而变得更聪明了呢？

论文指出，这个学生并没有变得更擅长数学。相反，他在玩一个魔术戏法：他在秘密地背诵之前见过的特定测试题的答案，然后直接背诵出来，而忽略了实际的数学逻辑。

“困惑度悖论”：露馅的迹象

我们如何知道他在作弊（背诵）而不是在学习？研究人员从两个不同的维度观察了学生的“信心”：

提示词（问题）： 当学生在阅读问题时，他开始表现得困惑且语无伦次。
答案： 当他说到最后的数字时，他变得异常自信且完美。

类比： 想象一个人试图背诵一段他背下来的演讲稿。当你问他“这段演讲是在讲什么？”时，他会结结巴巴，听起来很紧张（高困惑度）。但一旦他开始背诵，他就会流利地表达，毫不犹豫（低困惑度）。

在 AI 世界中，这被称为困惑度悖论 (Perplexity Paradox)。AI 牺牲了理解问题的能力，来换取完美复述答案的能力。

侦探工作：寻找“小抄”

研究人员并非仅仅靠猜测；他们使用了“机械解释性 (mechanistic interpretability)”工具。你可以把这些工具想象成X光眼镜，能让他们看透 AI 的大脑（其各层网络），看清“魔术”究竟发生在何处。

他们发现 AI 内部存在一个特定的由两部分组成的电路，充当了小抄系统 (Cheat Sheet System)：

1. “锚点” (The Anchor / 触发器)

位置： 大脑中部（第 18–20 层）。
作用： 这是“开关”。当 AI 看到一个它曾经见过的题目（泄露或污染的问题）时，大脑的这个部分就会亮起并发出指令：“停止思考！我知道这一题！调取记忆！”
类比： 这就像一位图书管理员，一旦看到特定的书名，就会立即停止在书架间寻找，而是直接跑向隐藏的抽屉去拿出一份预先写好的摘要。

2. “适配器” (The Adapter / 转换器)

位置： 大脑后期（第 21 层及以后）。
作用： 一旦“锚点”提取出答案，“适配器”的任务就是重塑 AI 的内部思维，使其符合那个背诵下来的答案。它强迫大脑的其他部分接受这个捷径。
类比： 这就像一位翻译员，他接过管理员手中的隐藏笔记，并强行让发言者以一种正常的句子形式说出来，即便发言者原本想表达的是别的内容。

证据：开启与关闭开关

为了证明这并非巧合，研究人员对 AI 的大脑进行了“手术”：

重置 (The Reset)： 他们取走了“锚点”层（第 18–20 层），并用原始的、未经训练的大脑进行替换。
- 结果： AI 立即忘记了背诵的答案，它在“作弊”测试上的得分也随之下降。
对照组 (The Control)： 他们在另一个 AI 从未见过的全新测试（LiveMathBench）上做了同样的操作。
- 结果： AI 的表现没有变化。它仍然可以解决新问题，因为它的真实推理能力分布在各处，而不仅仅集中在那个“锚点”位置。

“音量旋钮”：控制作弊

最令人着迷的部分是，研究人员在“锚点”内部发现了特定的神经元（微小的开关），它们就像是小抄的音量旋钮。

调高： 如果他们增加这些神经元的信号，AI 会变得更加依赖背诵，在旧测试上表现更好，但在推理能力上变差。
调低： 如果他们抑制信号，AI 就会停止作弊。它不再背诵，而是重新开始尝试真正解决问题。

结论

论文得出结论：当 AI 模型使用“伪造 (spurious)”奖励（虚假或随机信号）进行训练时，它们并不会学到更好的推理能力。相反，它们学会了利用记忆进行剥削 (exploit their memory)。它们找到了一个捷径：“如果我看到这个特定的问题，我会忽略数学，直接吐出我记得的答案。”

研究人员现在已经精确绘制了这种行为在 AI 大脑中发生的位置，并找到了一种检测甚至禁用这种“作弊”行为的方法，从而确保当我们看到高分时，那是由于 AI 真的聪明，而不是因为它只是在背诵一段预设好的脚本。

技术摘要：伪奖励悖论：从机制上理解 RLVR 如何激活大语言模型的记忆捷径

问题陈述
带有可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）推理能力的支配范式，尤其是在数学等确定性领域。主流假设认为，性能提升源于通过地面真值（ground-truth）监督对鲁棒推理策略的优化。然而，近期的经验观察挑战了这一叙事。诸如 Qwen2.5-Math 等模型即使在接受“伪奖励”（即随机的、基于格式的或完全错误的信号）训练时，也能在标准基准测试（如 MATH-500、AIME）上表现出显著的性能提升。尽管此前的研究认为这些增益可能源于数据污染（预训练期间对测试集的记忆），但仍存在一个关键空白：如果数据已经存在，为什么初始准确率受限，而使用错误的奖励进行训练为何能反常地解锁这种性能？本文研究了伪 RLVR 如何通过触发从通用推理向“顽固记忆”的转变来实现这一过程的内部机制。

方法论
作者采用了一套机械解释性工具，旨在剖析 Qwen2.5-Math-7B 模型在伪 RLVR 训练下的学习动力学。该方法结合了静态与动态分析：

困惑度分析（Perplexity Analysis）： 研究追踪答案标记（answer tokens）与提示词标记（prompt tokens）的困惑度，以识别宏观的学习异常。
路径修补（Path Patching）： 为了将输出因果归因于特定的模型组件，作者在不同层之间交换“泄漏”（Leakage）样本（记忆激活状态）与“稳定”（Stable）样本（保持推理状态）的激活值。这隔离了负责触发记忆检索的计算图中的边。
Logit Lens 与 Jensen-Shannon 散度（JSD）： 使用这些工具监测标记的逐层涌现，并量化中间隐藏状态与最终输出分布之间的对齐程度。高 JSD 分数表明在模型提交答案之前仍存在显著的剩余计算。
神经微分方程（NDEs）： 将残差流更新建模为连续轨迹（ $dx(t)/dt = F_\theta(x(t))$ ）。这使得能够通过数学手段识别在潜空间中使记忆轨迹与推理轨迹发生分歧的“分叉点”。
机械干预（Mechanistic Intervention）： 作者通过缩放被识别为对记忆电路至关重要的特定多层感知机（MLP）神经元的键（keys）来进行因果控制。这测试了这些神经元在激活或抑制捷径方面的因果充分性。

核心贡献与发现

1. 困惑度悖论
研究发现了一种在表现出伪 RLVR 增益的模型中特有的“困惑度悖论”。在受污染的数据集上，模型在答案标记上的困惑度显著降低，而提示词侧（连贯性）的困惑度则恶化。这种分歧表明模型正在绕过通用推理，直接检索记忆中的解法，通过牺牲输入端的语言建模质量来最小化输出端的损失。

2. 发现“锚点-适配器”电路（Anchor–Adapter Circuit）
通过机械分析，作者定位了一个负责该行为的此前未知的电路，该电路由两个截然不同的部分组成：

功能锚点（第 18–20 层）： 这些中间层充当决定性的触发器。路径修补和 NDE 分析显示，泄漏样本与稳定样本之间的“分离力”在此处达到峰值。这是模型决定检索记忆答案并注入高概率触发标记的地方。
结构适配器（第 21 层及以后）： 后续层经历剧烈的权重重组（ $W_{up}$ 和 $W_{gate}$ 中的高 JSD），其目的并非存储新知识，而是转换内部表示以适应来自功能锚点的信号。这些层充当适配器，旋转特征空间以与记忆解法对齐。

3. 污染的经验验证
消融实验证实该电路具有数据集依赖性。将功能锚点层重置为基础模型权重，会导致模型在受污染基准测试（如 MATH-500）上的准确率大幅下降，同时对干净、无泄漏数据集（如 LiveMathBench）的性能几乎没有影响。相反，操纵这些层对依赖真实推理的“稳定”样本几乎没有影响，表明通用推理能力分布在整个网络中，并不关键性地依赖于这个特定的电路。

4. 通过 MLP 干预进行因果控制
作者通过缩放识别出的电路内特定 MLP 神经元的键，证明了可以实现双向因果控制。

放大（Amplification）： 增加缩放因子会人为地增强模型对污染数据的依赖，从而在基准模型失败的样本上恢复性能。
抑制（Suppression）： 减小缩放因子会抑制捷径，揭示模型潜在的基础性能。
这提供了关于这些神经元是捷径激活机制的确定性因果证据。此外，文中还提出了一种“探针门控”（probe-gated）干预方案，即仅当泄漏探针检测到高概率污染时，才选择性地抑制该电路，从而在不损害新基准性能的前提下，实现对可疑增益的有效审计。

意义与主张
本文声称提供了第一个关于伪 RLVR 信号如何物理性地重构 LLM 内部架构以偏好记忆而非推理的机械解释。通过识别“锚点-适配器”电路和“困惑度悖论”，作者为以下方面提供了路线图：

区分能力与污染： 提供区分真实的推理泛化与预存记忆检索的工具。
缓解数据污染： 证明特定的干预可以在不重新训练的情况下抑制污染驱动的性能，提供了一种事后“去污染”模型的方法。
提升 RLVR 安全性： 强调了 RLVR 易受通过捷径进行优化的脆弱性，暗示需要更复杂的奖励函数和能够抵御泄漏的评估基准。

作者保持了审慎的态度，将研究结果界定为在处理受污染数据时 Qwen 系列模型中观察到的特定机制，而非适用于所有 LLM 的普遍规律。他们强调，这项工作旨在作为一种诊断工具，以增强部署在关键领域的 AI 系统的透明度与安全性。