🤖 machine learning

ARCA: Adapter-Residual Credit Assignment When Token Signals Degenerate

本文识别了基于 LoRA 的强化学习中 token 级信用分配的一个结构性失效模式，即常见的内在信号会发生退化，并提出了 ARCA，一种通过从适配器（adapter）的隐藏状态残差中推导 token 显著性，从而在无需学习奖励模型的情况下提供非退化信用信号的轻量化方法。

原作者： Rodney Lafuente-Mercado

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rodney Lafuente-Mercado

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有点刻板的学生（一个大型语言模型）如何解决复杂的数学问题。你给他们一个题目，他们写下一长串详细的逐步解答过程，最后你告诉他们：“正确！”或“错误。”

这里存在一个巨大的挑战：信用分配（Credit Assignment）。如果学生答对了，他们长句中的哪些具体词汇值得表扬？如果他们答错了，是哪个词导致了错误？

问题所在：“低秩”陷阱

大多数现代研究人员不会为了重新训练整个学生而从头开始，因为那样太昂贵了。相反，他们使用一种技术叫做 LoRA (Low-Rank Adaptation)。你可以把 LoRA 想象成给学生一本微小的、轻便的笔记本，让他们在上面写下新的想法，同时保持他们原有的脑力处于冻结状态。

该论文指出，当我们试图弄清楚应该表扬或惩罚哪些词时，我们通常会观察学生的输出（即他们写的词）。我们会问这样的问题：

“这个词是否令人感到意外？”
“这个词是否减少了学生的困惑？”
“这个词是否改变了学生相对于原始版本的想法？”

问题的关键在于： 因为学生使用的是这些微小的“便签纸”（LoRA），他们的思维受到很大限制，以至于他们的“输出”几乎没有发生任何变化。论文称之为退化（Degeneration）。

想象一下，试图通过测量一颗小石子（便签纸）如何改变一条巨大河流（模型输出）的流向来衡量其影响。河流几乎没有产生涟漪。如果你试图通过测量这些涟漪来决定在哪里分配信用，你会得到两个糟糕的结果：

均匀噪声（Uniform Noise）： 你看到到处都有看起来完全一样的涟漪，因此你会给每一个词都赋予相等的信用（甚至是像“the”或“and”这样无意义的词）。
伪稀疏性（Spurious Sparsity）： 数学计算变得非常混乱，以至于你可能会误以为只有一个随机的词是重要的，从而忽略了其他所有词。

简而言之：试图通过最终的文字来评判微小的便签纸，就像试图在飓风中捕捉一丝耳语。信号丢失了。

解决方案：ARCA (适配器-残差信用分配)

作者提出了一种新方法，叫做 ARCA (Adapter-Residual Credit Assignment)。与其倾听学生最后的言语（这会被冻结的大脑所掩盖），ARCA 转向倾听便签纸本身。

类比：
想象学生穿着一件特殊的防护服（基础模型），并握着一支发光的笔（适配器/Loра）。

旧方法： 我们通过观察他们写的文章来猜测笔是在哪里使用的。
ARCA 方法： 我们直接测量笔移动了多少。

ARCA 计算的是带有便签纸时的隐藏思维与没有便签纸时的隐藏思维之间的“残差”（差异）。

如果在某个特定词处，隐藏思维发生了显著变化，那么那就是适配器真正发挥作用的地方。
如果隐藏思维保持不变，则说明适配器处于闲置状态。

这是一个更清晰的信号。无论最终的句子看起来与原始版本多么相似，如果内部的“思维过程”在特定步骤发生了显著偏移，ARCA 就能识别出该步骤值得信用。

结果

作者在数学数据集上测试了该方法，使用的是一个小模型（Qwen3-1.7B）。

诊断： 他们证明了旧的方法（观察输出词）在 LoRA 模式下确实失效了，要么会给予平等的信用，要么会聚焦于随机且无用的位置。
修复： ARCA 找到了一个“甜点区”。它既没有给所有内容都赋予相等的信用，也没有仅仅聚焦于一个随机的词，而是将信用分配到了适配器真正改变模型内部状态的具体位置。
性能： 虽然 ARCA 并未神奇地让模型变得完美（它与现有的最佳方法持平），但它证明了你可以直接从适配器本身获得有用的信号，而无需训练一个单独的“评判者”或“评论家”模型。

总结

该论文声称，在使用高效训练方法（LoRA）时，通常判断哪些词重要的做法（观察输出）会失效。他们提出的新方法 ARCA 通过忽略输出，转而直接测量训练适配器的内部“努力程度”来解决这一问题。这是一种更轻量、更简单的方法，用于教导模型其推理过程中的哪些步骤实际上是重要的。

技术摘要：ARCA：当 Token 信号退化时的适配器-残差信用分配

1. 问题陈述

大语言模型（LLM）的强化学习（RL）面临着一个持久的挑战——信用分配（credit assignment）：如何将稀疏的、轨迹级的奖励（例如最终答案的正确性）分配到数百或数千个 token 级的决策中。近期的文献提出了各种内在的 token 级权重方案——如 surprisal（惊异度）、熵减（entropy reduction）和策略散度（policy divergence）——旨在比均匀分配更有效地重新分配这些信用。

与此同时，实际的 LLM-RL 流水线越来越多地依赖于参数高效微调（PEFT），特别是 LoRA（低秩自适应），由于内存和计算能力的限制。然而，这两条研究路径在独立发展的过程中产生了脱节。本文认为，这种分离造成了一种结构性失效模式：源自输出分布（对数概率）的内在信用信号在 LoRA 的几何约束下会发生退化。

在 LoRA 框架下，策略被限制在冻结的参考模型的低秩邻域内。因此，标准权重方案所依赖的输出分布的逐 token 差异（surprisal、熵、散度）会变得：

均匀广播化： 信号变得平坦，因为 LoRA 引起的扰动太小，无法克服基础模型占主导地位的不确定性。
伪造稀疏化： 归一化伪影将信用集中在极少数与任务无关的特定位置上。

在这两种情况下，权重信号都无法反映适配器（adapter）实际学习的位置，导致信用分配机制在训练开始前就已失效。

2. 方法论

2.1. 退化诊断

作者形式化了低秩自适应下内在信号的退化现象。他们将策略 $\pi_\theta$ 定义为通过 LoRA 适配器对参考策略 $\pi_{ref}$ 进行的扰动。

Surprisal 与熵： 对数概率的扰动受限于适配器的秩和范数。在一个训练良好的基础模型中，一阶扰动由基础模型现有的不确定性模式主导，而非适配器特定的更新。
策略散度： 散度 $|\log \pi_\theta - \log \pi_{ref}|$ 受限于 LoRA 适配器施加的 KL 预算。这迫使逐 token 的对数概率比值变得微小且近似均匀。
后果： 当这些分数在一条轨迹内进行归一化时（这是梯度更新所必需的），生成的权重要么趋向于均匀分布（ $Gini \approx 0$ ），要么坍缩为伪造的稀疏分布（ $Gini \approx 1$ ，低有效 Token 比率），无法追踪适配器实际的学习动态。

2.2. 提出的解决方案：ARCA

为了绕过这种失效模式，作者提出了适配器-残差信用分配（Adapter-Residual Credit Assignment, ARCA）。与其测量输出分布的属性（这些属性在 LoRA 下会被平滑），ARCA 测量适配器对隐藏状态（hidden states）的直接贡献。

定义： 对于位置 $t$ 的 token，显著性得分 $\alpha^{ARCA}_t$ 定义为适配器残差的 $L_2$ 范数：
$\alpha^{ARCA}_t(x, y) = \|h^{adapted}_t - h^{base}_t\|_2$
其中 $h^{adapted}_t$ 是启用适配器后的隐藏状态， $h^{base}_t$ 是禁用适配器后的隐藏状态。
实现： 这需要每个 minibatch 进行一次额外的正向传播，其中适配器处于禁用状态（这在计算 KL 正则项的 PEFT 框架中是标准操作）。它不需要学习的价值头（value heads）、奖励模型或树状结构构建。
理论依据： 虽然适配器对输出 Logits 的影响被限制为微小且均匀，但其对隐藏状态激活的影响仍保留了位置间的差异。这是因为适配器的输入激活（通过注意力机制和 MLP 路由）在序列中是非均匀分布的（区分内容与填充物）。因此，残差的范数 $\|\Delta h_t\|$ 提供了一个非退化的、感知适配器的信号，反映了模型实际发生变化的位置。

3. 核心贡献

识别了 PEFT 特有的失效模式： 本文形式化了输出分布型信用信号（surprisal、熵、散度）如何在 LoRA 下退化，导致产生无法反映适配器学习情况的均匀或伪造稀疏的 token 权重。
引入 ARCA： 一种轻量级的、感知适配器的信用分配规则，它从适配器的隐藏状态残差中导出 token 显著性。除了 LoRA 适配器本身外，它不需要额外的可学习参数。
经验验证： 作者提供了浓度诊断指标（Gini 系数和有效 Token 比率）以及在 Qwen3-1.7B 模型上的 MATH 数据集基准测试。结果表明，ARCA 在基线失效的低秩机制下能保持非退化的信用分布，并在下游任务中保持竞争力。

4. 实验结果

4.1. 设置

模型/任务： 使用 GRPO（Group Relative Policy Optimization）在 MATH 数据集上微调的 Qwen3-1.7B-Base。
基线： 均匀权重（Uniform weighting）、Surprisal、熵减（Entropy Reduction）和策略散度（Policy Divergence）（均使用 LoRA 秩 $r=64$ ）。
ARCA 变体： 在秩 $r=4, 16, 64$ 下进行了测试。
指标： Hold-out 贪婪准确率（greedy accuracy）、pass@4、以及 token 权重浓度诊断指标（Gini, Effective Token Ratio）。

4.2. 诊断结果（信用分配）

基线： Surprisal、熵和散度权重在 LoRA 下表现出退化行为。它们的有效 Token 比率极低（0.052–0.073），表明存在伪造的稀疏性，即信用被集中在极少数 token 上，且 Gini 系数接近 1。
ARCA： 处于“中间机制”。在 $r=64$ 时，ARCA 的 Gini 系数为 0.490，有效 Token 比率为 0.334。这证实了理论主张：ARCA 产生了一个非均匀信号，且没有退化为伪造的稀疏性，有效地追踪了适配器作用的位置。

4.3. 性能结果

秩匹配对比 (r=64)： ARCA (r=64) 与基线具有竞争力。
- 贪婪准确率： ARCA (0.590) 略低于 Uniform (0.620)，但优于 Surprisal (0.520) 和 Policy Divergence (0.565)。
- Pass@4： ARCA (0.680) 与 Entropy Reduction (0.700) 和 Uniform (0.675) 相当。
低秩控制组： 在较低秩（ $r=4, r=16$ ）下的 ARCA 并没有超越 $r=64$ 的基线，这符合容量-性能权衡关系，而非额外参数带来的伪影。

5. 重要性与主张

本文适度地声称提供了一个机械性解释，解释了先前工作中观察到的全 token GRPO + LoRA 的不稳定性和失效现象（例如 Lee & Tong, 2025）。文章认为，失败的原因不在于 RL 目标函数本身，而在于适配策略（LoRA）与信用分配信号之间的相互作用。

ARCA 的意义在于其能力：

将信用分配与输出分布解耦： 通过测量隐藏状态残差，ARCA 避开了 LoRA 中导致输出分布信号平坦化的几何约束。
提供轻量化替代方案： 它不需要学习的 Critic、价值头或复杂的树状结构，使其能够兼容现有的无 Critic RLVR 流水线。
恢复非退化信号： 它确保了即使在策略受限于低秩邻域时，token 级的信用分配仍具有意义且感知适配器动态。

作者强调，其针对 MATH/Qwen3-1.7B 的实验是一次针对性的验证，而非声称具有普适优越性的广泛基准测试。其主要贡献在于证明了“感知适配器”的信用分配改变了预测中的 token 更新几何结构，为参数高效 RL 中的 token 级信用分配提供了一条可行路径。