💬 NLP

Mitigating Exploration Bias in RL for Multi-Instruction Following

本文通过提出一种结合了用于激活困难指令的行为引导启动（behavioral bootstrapping）和用于优先处理这些指令的稀缺性感知奖励（scarcity-aware rewards）的两阶段框架，解决了基于强化学习的多指令遵循中对简单指令的探索偏差问题，从而显著提升了模型在可验证基准测试中的性能。

原作者： Mian Zhang, Yueqin Yin, Kaiyu He, Peilin Wu, Xinlu Zhang, Mingyuan Zhou, Zhiyu Zoey Chen

发布于 2026-08-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Mian Zhang, Yueqin Yin, Kaiyu He, Peilin Wu, Xinlu Zhang, Mingyuan Zhou, Zhiyu Zoey Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是驱动那些已成为日常生活一部分的聊天机器人和写作助手的引擎。这些系统的核心设计目标是遵循指令，将用户的请求转化为有用的响应。多年来，研究人员一直使用一种称为强化学习的训练方法，来教导这些模型如何更好地完成这项任务。在这种方法中，模型尝试解决一个问题，根据表现情况获得评分，并利用这些反馈来改进下一次尝试。这是一种精炼行为的强大方式，非常类似于用零食训练动物，只不过应用于复杂的数字推理。然而，一项新研究表明，当这些模型面临包含多个不同规则或约束条件的单一请求时，标准的训练方法往往会让它们失效。模型并没有学会满足请求的所有部分，而是倾向于忽略困难的部分，只专注于容易的部分，导致用户得到的响应只是部分正确。

这项研究背后的研究人员与德克萨斯州和加利福尼亚州的大学团队合作，旨在理解为什么会发生这种情况以及如何解决它。他们发现问题源于两个主要问题。首先，当模型开始训练时，它通常过于脆弱，无法解决复杂请求中最难的部分。因为它无法成功完成这些困难任务，所以永远无法获得学习所需的正向反馈，因此它干脆停止了尝试。其次，训练期间使用的评分系统将每条指令视为同等重要。如果一个模型满足了一条容易的规则和一条困难的规则，它获得的总体得分与满足两条容易规则的得分相同。这鼓励模型去追求容易获得的胜利以快速提升分数，而不是在需要更多努力的困难约束中苦苦挣扎。结果是，模型产生了偏向于简单路径的偏差，导致那些更具挑战性的领域未被探索。

为了解决这个问题，该团队提出了一个两步走的框架，旨在迫使模型关注困难的指令。第一步是他们称之为“行为引导”（behavioral bootstrapping）的准备阶段。在正式训练开始之前，研究人员识别出模型目前无法遵循的特定类型的指令。然后，他们生成一小组专门的示例，引导模型在这些特定的困难任务上取得成功。通过对这些精选数据进行短时间的训练，模型“唤醒”了处理这些困难约束的能力。这并不是要从头开始教模型一切，而是给它一个微小的推动，以确保在正式训练开始前，它有能力取得成功。这一步确保了模型在真正的训练开始时，不会立即放弃处理困难部分。

第二步涉及在主训练阶段改变模型的奖励机制。研究人员不再给予每条指令相同的权重，而是引入了一种新的评分方法，该方法会关注特定指令的稀有程度或难度。如果模型成功遵循了一条它很少能做对的指令，它会获得更高的奖励。如果它遵循了一条已经掌握得很好的指令，奖励则较小。这为模型创造了强烈的激励，去探索它之前回避的困难领域。研究人员还增加了成功组合指令的奖励。如果一个模型能够同时满足两条规则，特别是当这两条规则难以同时实现时，它会获得额外的加分。这鼓励模型寻找能够满足整套约束条件的解决方案，而不是仅仅挑选最简单的部分。

该团队使用两个不同版本的语言模型进行了测试，一个是拥有 17 亿参数的模型，另一个是拥有 70 亿参数的模型。他们在包含三到五个指令的提示词数据集上训练了这些模型。结果令人瞩目。使用这种新两步法训练的模型表现显著优于使用标准方法的模型。在一项旨在检查指令遵循能力的初级测试集中，表现最好的模型比标准方法提高了九个多点。这种提升非常显著，以至于经过这种新方法训练的较小的 17 亿参数模型，其表现竟然能媲美那些拥有数十倍计算能力的更大规模商业模型。研究人员还测量了模型的性能平衡，并发现新方法成功缩小了模型处理容易指令与困难指令之间的差距。

研究还观察了训练期间模型内部发生了什么。他们观察到，标准的训练方法会导致模型失去探索不同可能性的能力，即一种被称为“熵崩溃”（entropy collapse）的现象，即模型陷入了一个由安全、简单的答案组成的狭窄循环。相比之下，新方法保持了模型的探索活力，使其能够继续寻找复杂的解决方案。研究人员指出，当训练数据经过精心平衡时，该方法效果最好；如果初始准备阶段的数据过多，实际上可能会损害模型后期的灵活性。虽然该方法是在可以通过计算机程序检查的指令上进行的测试，但研究人员承认，将其应用于涉及风格或语调等更开放式的请求，仍需要进一步的工作。尽管如此，这些发现为如何让人工智能在面对复杂、多维度的请求时更加可靠提供了一条清晰的路径。通过解决对简单路径的偏差，这项工作有助于确保这些强大的工具能够真正遵循用户意图的全貌。

技术摘要：缓解多指令遵循强化学习中的探索偏差

问题定义

强化学习（RL）已成为增强大语言模型（LLM）指令遵循能力的支配范式。然而，在针对包含多条指令的提示词进行训练时，现有的强化学习训练方案面临着显著的探索偏差（Exploration Bias）。策略模型倾向于优先处理“容易”的指令而非“困难”的指令，导致在复杂的多约束场景下表现不佳。

作者确定了导致这种偏差的两个主要原因：

初始能力差距（Initial Capability Gap）： 策略模型最初满足困难指令的能力通常过低，以至于在 RL 训练早期无法触发成功的探索。因此，优化过程会向模型已经能够满足的指令产生偏差。
累积奖励缺陷（Cumulative Reward Flaw）： 标准的强化学习方案通常采用累积奖励函数（对满足的指令数量求和），将所有指令视为同等重要。这激励模型通过反复满足容易的指令来最大化即时奖励，从而忽略了那些提供相同边际奖励但更难完成的指令。

这种偏差导致了一种停滞状态：模型无法探索复杂约束的“稀疏前沿（Sparse Frontier）”，从而无法实现“全通过（All-pass）”状态（即同时满足提示词中的所有指令）。

方法论

为了解决这些问题，作者提出了一个旨在缓解探索偏差的两阶段框架：

1. 诊断指标

在提出解决方案之前，作者引入了两个指标来量化探索偏差：

指令准确率变异度（Variation of Instruction Accuracy, VIA）： 衡量模型掌握单个指令能力的失衡程度（即边际满足概率的方差）。
协同准确率方差（Variance of Synergy Accuracy, VSA）： 衡量模型同时满足指令对能力的失衡程度（即成对协同概率的方差）。
实验表明，这两个指标与提示词层面的“全通过率”呈现强负相关；较低的方差对应着更高的整体成功率。

2. 行为引导启动（Behavioral Bootstrapping, 第一阶段）

为了克服困难指令的初始能力差距，作者在 RL 之前引入了一个轻量级的**拒绝采样微调（Rejection Sampling Fine-Tuning, RSFT）**阶段。

流程： 对初始策略进行评估，以识别准确率低于阈值 ( $\tau$ ) 的“种子”指令类型。
数据策展： 针对这些困难类型，让模型生成多个响应。如果基础策略失败，则使用“目标引导（Targeted Guiding）”（附加如“优先关注完成 [指令]”之类的后缀）来引导模型。筛选出既满足困难指令，又能最大限度覆盖其他指令的有效响应。
结果： 在该策展数据集上对策略进行单轮监督微调。这种方式“引导启动”了模型的能力，在 RL 阶段开始前激活了困难指令。

3. 稀缺性感知奖励（Scarcity-Aware Rewards, 第二阶段）

为了对抗由累积奖励引入的偏差，作者提出了一种基于经验稀缺性分配权重的全新奖励函数。

机制： 奖励不再将所有指令视为同等对待，而是与响应组内的满足频率成反比。
- 一元奖励（Unary Reward）： $1 - P(I_j)$ ，其中 $P(I_j)$ 是边际满足概率。极少被满足的指令会获得更高的权重。
- 二元奖励（Binary Reward）： $1 - P(I_j, I_k)$ ，侧重于指令“共现”的难度。它惩罚那些可以单独满足但难以同时满足的指令对，从而鼓励模型克服协同瓶颈。
集成： 该奖励在响应组内计算（兼容类似 GRPO 的基于组的方法），并用于更新策略。

关键结果

作者使用 Qwen3-1.7B 和 Qwen2.5-7B-Instruct 在三个可验证指令遵循基准测试（IFBench、IFEval 和 Multi-IF）上评估了其框架。

性能提升： 集成了行为引导启动和稀缺性感知奖励的模型（BeBoot-SaR）显著优于标准的累积奖励（CR）基线。
- 在主要测试集（IFBench）上，1.7B 模型在严格准确率上实现了 9.2 个百分点的提升，7B 模型实现了 8.9 个百分点的提升。
- 在所有基准测试中，1.7B 模型的平均增益为 5.5 个百分点，7B 模型为 3.6 个百分点。
竞争力： 使用该框架训练的小模型（1.7B 和 7B）达到了或接近了性能远强于它们的现成大型模型（如 Llama-3.1-70B 和 GPT-OSS-120B）的表现。
偏差缓解： 训练曲线显示，与基线相比，所提方法实现了更快且更大幅度的 VIA 和 VSA 降低，表明其对指令空间进行了更均衡的探索。该方法还保持了更高的策略熵，避免了标准 RL 训练中出现的“熵崩溃”现象。

重要性与主张

本文声称其框架有效地解决了多指令 RL 训练中固有的特定探索偏差。通过结合预训练激活阶段（行为引导启动）与稀缺性感知奖励机制，作者证明了：

定向激活： 通过“激活”那些由于初始奖励稀疏而被标准 RL 忽略的困难指令是可行的。
奖励设计： 基于经验稀缺性而非平等对待所有约束来分配奖励，对于优化复杂指令集至关重要。
效率： 通过更好的优化策略而非仅仅增加参数规模，小模型可以被训练到匹配显著更大的模型的水平。

局限性

作者承认了特定的局限性：

高阶依赖： 当前的奖励设计侧重于一元（单个）和二元（成对）交互。它并未明确处理三个或更多指令同时交互的高阶依赖关系，尽管该框架在理论上可以推广到 $n$ 元奖励。
可验证性： 该方法依赖于识别困难的指令类型，这对于可验证指令（例如基于规则的约束）非常简单。若要将其扩展到开放式指令（例如风格、礼貌度），则需要可靠的模型驱动验证器来进行难度估计，而目前的此类验证器可靠性较低且易受噪声影响。