💬 NLP

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features

本文介绍了控制强化学习（CRL），这是一个通过训练策略在词元层面动态选择并放大可解释的稀疏自编码器特征以引导大语言模型输出的框架，从而提供逐词干预日志，并在各类基准测试中为模型行为提供新的机制性见解。

原作者： Seonglae Cho, Zekun Wu, Adriano Koshiyama

发布于 2026-05-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Seonglae Cho, Zekun Wu, Adriano Koshiyama

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个大型语言模型（就像驱动本次对话的模型）是一个庞大而复杂的管弦乐团。在这个乐团内部，成千上万名乐手（神经元）同时演奏。有时，他们演奏出美妙的交响乐；但其他时候，他们会感到困惑，演奏出错误的音符，从而导致幻觉或糟糕的回答。

长期以来，科学家们一直试图通过聆听音乐并猜测哪些乐器在演奏来理解这个乐团。他们发现了“稀疏自编码器”（SAE），它就像一个超级强大的音响工程师。SAE 能够将音乐分解为独立的、有名称的音轨：“数学音轨”、“安全音轨”、“语法音轨”等等。

问题：
知道哪些音轨正在播放是不够的。仅仅因为“数学音轨”处于激活状态，并不意味着调高它的音量就能解决数学问题。有时，调高某个音轨反而会使情况恶化。以往的方法只能告诉你什么正在播放，却无法告诉你如果改变音量会发生什么。

解决方案：控制强化学习（CRL）
这篇论文介绍了一种名为控制强化学习（CRL）的新方法。可以将 CRL 想象为聘请了一位聪明的指挥家，他在演出期间直接站在乐团旁边。

以下是其逐步工作原理：

1. 指挥家的工作（策略）

在模型即将说出每一个词（token）时，这位指挥家都会观察乐团当前的状态。指挥家手中有一个遥控器，上面有为 SAE 识别出的每一个“音轨”（特征）设置的按钮。

决策： 指挥家决定：“现在，我们需要调高‘逻辑推理’音轨”，或者“让我们降低‘情感偏见’音轨”。
行动： 指挥家立即针对仅仅那一个词调整该特定音轨的音量。

2. 通过实践学习（强化学习）

指挥家起初并不知道规则。他们通过玩游戏来学习：

如果乐团演奏出正确的答案，指挥家就会获得“奖励”（积分）。
如果乐团演奏出错误的答案，指挥家则得不到积分。
随着时间的推移，指挥家学会了在何时提升哪些音轨，以获得最佳结果。

3. “自适应掩码”（防止坏习惯）

一位聪明的指挥家可能会变得懒惰，只是对每个问题都反复调高同一个“数学音轨”。为了阻止这种情况，论文使用了一种称为自适应特征掩码的技巧。

想象指挥家有一条规则：“除非你先尝试了其他乐器，否则你不能连续两次使用同一种乐器。”
这迫使指挥家探索乐团的不同部分，发现解决问题的新方法，而不是依赖单一的技巧。

4. “日志簿”（可解释性）

这是该论文最大的突破。由于指挥家为每一个词都做出了具体的选择，我们获得了一份整个演出的详细日志簿。

我们可以回顾并说：“啊，在第 5 个词时，指挥家调高了‘安全’音轨，这阻止了模型说出粗鲁的话。”
我们可以确切地看到模型成功或失败的原因。这就像拥有了指挥家对每一个演奏音符的内心独白记录。

他们发现了什么？

通过在名为 Gemma 2 的模型上使用这种方法，研究人员发现了一些有趣的现象：

早期层与晚期层： 乐团有不同的声部。“早期”声部（层）处理语法和结构（如标点和句子流畅度）。“晚期”声部处理深层含义和逻辑。论文发现，要解决数学问题，通常需要调整承载逻辑的“晚期”声部，而不仅仅是形成词语的“早期”声部。
“分支点”： 有时，两个非常相似的问题需要完全不同的指挥家动作才能获得正确答案。该系统可以精确定位正确与错误答案之间路径分叉的确切时刻。
安全与偏见： 系统学到，纠正“偏见”（不公平）和纠正“安全”（拒绝有害请求）需要不同的策略。对于某些任务，指挥家需要非常具体；而对于其他任务，它需要探索许多不同的音轨。

结果

该论文在多种挑战中测试了这种方法：

数学（GSM8K）： 指挥家通过提升正确的逻辑音轨，帮助模型解决了更多的数学问题。
安全（HarmBench）： 模型在拒绝做有害事情方面表现得更好，而不会过度谨慎。
知识（MMLU）： 模型对常识性问题的回答更加准确。

总结：
这篇论文不仅告诉我们 AI 在想什么；它还提供了一种工具，可以实时引导AI 的思维，逐词进行。它将一个“黑盒”变成了一个透明的机器，我们可以确切地看到为了获得正确答案，内部哪些开关被切换了。这就像赋予人类一个遥控器，来引导 AI 的内部思维，确保它走在正确的道路上。

技术摘要：控制强化学习（CRL）

1. 问题陈述

稀疏自编码器（SAEs）已成为将语言模型激活分解为可解释、人类可读特征的强大工具。然而，现有的分析方法大多是静态的：它们识别哪些特征在特定输入上被激活，但未能揭示哪些特征在被放大时实际上会改变模型输出。当前的激活工程技术通常依赖对比数据集进行特征选择，或依赖大量的激活存储进行系数优化，缺乏根据生成质量调整引导策略的自适应反馈机制。

本文旨在填补静态特征识别与动态、可解释干预之间的空白。核心挑战在于开发一个框架，该框架不仅能选择 SAE 特征来引导模型，还能提供令牌级干预日志，解释为何选择某个特征以及如何影响输出，从而将引导转化为一种机械可解释性工具。

2. 方法论：控制强化学习（CRL）

作者提出了控制强化学习（CRL），这是一个将 Transformer 表示的控制视为基于 SAE 特征的马尔可夫决策过程（MDP）的框架。

2.1. MDP 形式化

状态（ $S$ ）： 观测值为特定层 $\ell$ 在当前令牌位置处的残差流激活（ $x \in \mathbb{R}^d$ ）。
动作（ $A$ ）： 一个二进制向量，选择一个或多个 SAE 特征进行放大。策略选择前 $k$ 个特征（通常 $k=1$ 以保证可解释性）。
转移（ $P$ ）： 确定性转移，由应用了所选特征干预的 Transformer 前向传播决定。
奖励（ $R$ ）： 基于最终输出质量的任务特定奖励（例如，MMLU 中的正确性，安全任务中的拒绝）。

2.2. CRL-Token 与特征引导

在每个生成步骤 $t$ ，框架执行令牌级干预：
$\tilde{x}_t = x_t + c \cdot a_t W_{dec}$
其中 $a_t$ 是稀疏二进制选择向量， $c$ 是引导系数， $W_{dec}$ 是 SAE 解码器。策略网络 $\pi_\theta$ 将残差流激活映射为特征选择 logits，实现为一个 2 层 MLP。

2.3. 自适应特征掩码（AFM）

为防止策略坍缩为一组频繁激活的狭窄特征，CRL 引入了自适应特征掩码。

每个样本的布尔掩码限制了特征选择范围。
掩码从一小部分特征开始，随着生成过程的进行逐步扩展，纳入先前步骤中自然激活的特征。
该机制在保持单特征干预可解释性的同时，鼓励多样化的特征发现。

2.4. 优化

策略网络和一个估计状态值的评论家网络（Critic Network）使用**近端策略优化（PPO）**进行训练。

引导系数（ $c$ ）： 通过平均正确预测的训练样本中的激活幅度自适应确定，消除了跨层手动调整的需求。
评论家网络： 一个 2 层 MLP，用于估计价值函数 $V_\phi(s)$ ，使得在分析过程中能够将策略局限性与价值估计误差区分开来。

3. 主要贡献

本文概述了四项主要贡献：

令牌级可解释干预日志： 一个框架，能够生成日志，精确识别在每个令牌处选择了哪个 SAE 特征及其对输出的影响，从而实现细粒度的行为分析。
诊断工具：
- 分支点追踪： 识别关键的决策点，在这些点上，相同的前缀会根据特征选择产生不同的结果。
- 评论家轨迹分析： 利用学习到的价值函数来区分策略失败（特征选择）和评论家失败（奖励估计）。
自适应特征掩码（AFM）： 一种平衡探索与利用的机制，确保多样化的特征发现，同时不牺牲单特征的可解释性。
特征语义的经验表征： 证明了早期层编码句法结构，而后期层捕捉抽象语义，并且不同任务表现出不同的瓶颈模式。

4. 实验结果

该框架在 Gemma 2 2B（以及 LLaMA-3.1 8B）上使用 Gemma Scope 和 LLaMA Scope SAE 进行了评估，涵盖了五个基准测试：MMLU、BBQ、GSM8K、HarmBench 和 XSTest。

性能提升： CRL 在所有基准测试中均取得了提升。显著增益包括：
- HarmBench： 提升 7.66 个百分点（41.46% $\to$ 49.12%）。
- BBQ（歧义类）： 提升 5.69 个百分点。
- MMLU： 提升 3.31 个百分点。
- GSM8K： 提升 1.03 个百分点。
互补性： 当应用于监督微调（SFT）模型之上时，CRL 提供额外的增益（例如，SFT + CRL 使 MMLU 准确率从 55.2% 提升至 56.1%）。
层特定语义：
- 第 10 层： 特征捕捉具体的、句法的属性（例如，“数学符号”、“代词指代”）。
- 第 20 层： 特征捕捉抽象的、上下文语义（例如，“逻辑推导结构”、“数学证明”）。
- 最佳干预层因任务而异（例如，BBQ 为第 5 层，MMLU 为第 24 层）。
评论家分析：
- BBQ： 显示出有效的策略 - 评论家协调，具有清晰的样本区分度。
- MMLU： 表现出“评论家瓶颈”，其中修正样本和误导样本几乎无法区分，表明评论家在估计复杂推理任务的价值时存在困难。
- HarmBench 与 XSTest： HarmBench 在正确/错误样本之间显示出明显差距，而 XSTest 则显示出反转的估计模式，表明奖励估计存在任务相关的挑战。

5. 意义与主张

本文将 CRL 定位为机械可解释性领域的重要进展。其主要意义在于将范式从静态特征分析（观察什么被激活）转变为动态干预探针（观察什么改变了模型）。

可解释性： 通过强制单特征选择并记录干预，CRL 提供了模型行为的“机械”视图，揭示了诸如“数学运算”之类的特征可以在词汇上泛化到应用题中的定量单位（如“婴儿”）。
诊断能力： 该框架可作为模型和 SAE 的诊断工具。如果策略在 AFM 存在的情况下仍坍缩为语义不连贯的特征，则表明 SAE 存在缺陷（例如，缺失概念或多义性），而非控制方法的失败。
实用性： CRL 具有较低的推理开销（8–9% 的延迟），且无需重新训练基础模型权重，提供了一种轻量级的、事后的增强机制。

作者总结道，当与强化学习相结合时，学习到的特征引导建立了一种理解和控制语言模型的实用工具，通过动态的、特定任务的见解补充了静态分析。