💬 NLP

SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding

该论文介绍了 SyRuP，这是一个解码时框架，通过训练一个交叉注意力奖励头来为候选序列生成标记级遵循度分数，从而在无需对基座模型进行微调的情况下，增强大语言模型对系统提示词的遵循能力。

原作者： Seoyeon Kim, Minjae Kang, Jaehyung Kim

发布于 2026-07-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Seoyeon Kim, Minjae Kang, Jaehyung Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在和一个非常聪明、博学多才的机器人交谈，它读遍了图书馆里的几乎每一本书。这个机器人是一个大型语言模型（LLM）。通常情况下，当你向它提问时，它是基于其训练内容来回答的。但有时，你希望在它开始说话之前，先给它设定一组特定的规则。你可能会说，“扮演一个脾气暴躁的海盗，”或者“只能用押韵的方式回答，”或者“永远不要提到暴力。”这些规则被称为系统提示词（system prompts）。它们就像是机器人的职位描述，或者是机器人在特定对话中所穿上的戏服。

问题在于，这些机器人习惯于遵循出现在对话内部的指令，而不是在对话开始前就设定好的铁律。当规则变得复杂时——比如“要像个海盗，但也要使用19世纪的语法，避免使用字母‘e’，并且保持幽默感”——机器人往往会在对话中途忘记规则。它可能会开始像个海盗一样说话，然后突然变成一个现代青少年，或者忘记避免使用字母“e”。科学家们曾尝试通过重新训练机器人来解决这个问题（这既昂贵又缓慢），或者尝试在答案已经写完后去猜测最佳答案（这就像是在作者完成小说后才去编辑它）。大的疑问在于：我们能否在机器人写作的过程中引导它遵循这些复杂的规则，而无需改变它的“大脑”，也不必等到结束时才处理？

这就是一种名为 SYRUP 的新方法。把机器人的大脑想象成一座巨大的、冰冻的图书馆，我们是不被允许去重新排列它的。SYRUP 就像是一个超级聪明、微小的图书管理员，在机器人写作时就站在它旁边。每当机器人决定下一个要说的词时，这位图书管理员都会检查两件事：“这个词符合故事吗？”以及“这个词符合海盗的戏服吗？”

以下是它的实际运作方式。机器人有一个关于接下来想说的词的前 1 0个最爱词汇的列表。通常，它只会选择排名第一的那个。但 SYRUP 会介入。它将“系统提示词”（海盗戏服）视为一个独立的、特殊的记忆卡。它使用一种特殊的工具，叫做交叉注意力奖励头（cross-attention reward head），来询问机器人的当前想法：“嘿，如果你说这个词，它符合海盗的气场吗？”图书管理员会对这 10 个词中的每一个进行评分。如果机器人想说“Hello”，但海盗戏服要求说“Ahoy”，图书管理员就会提高“Ahoy”的分数，并降低“Hello”的分数。机器人随后会选择综合得分最高的那个词。

论文指出，这种方法比旧方法更好。研究人员在三个不同的机器人大脑上测试了 SYRUP，发现它能比仅仅提供更好的提示词或在生成答案后进行重排序的方法，更一致地帮助机器人遵循复杂规则。事实上，在一次测试中，与次优方法相比，SYRUP 将机器人的表现提升了约 5.6%。这听起来可能很小，但在人工智能领域，这是一个巨大的飞跃。

论文还排除了其他一些想法。它表明，仅仅将规则合并到主对话文本中（比如把海盗指令隐藏在用户的提问里）是不够的；机器人需要将规则视为一个独立的、截然不同的记忆，才能真正遵循它们。它还发现，虽然你可以通过从头开始重新训练来让机器人更好地遵循规则，但这需要耗费过多的时间和金钱。SYRUP 是一种“解码时（decoding-time）”方法，这意味着它在机器人思考时起作用，保持原始大脑冻结，仅训练一个微小的、轻量级的插件。

有趣的是，研究人员发现 SYRUP 甚至对它从未见过的规则也有效。他们在一种复杂的指令集上进行了训练，然后在另一套完全不同的规则（如严格的格式或字数限制）上进行了测试，结果表现依然良好。这表明该方法教给机器人的是一种通用的“听从老板”的技能，而不仅仅是记忆特定的答案。

然而，论文也谨慎地指出，这并不是解决一切问题的魔杖。该方法确实会给机器人的思考过程增加一点额外的时间，因为图书管理员必须检查这些词。但作者认为，与其他试图实现同样目标的复杂方法相比，这种成本是非常小的。他们还警告说，如果你过度强调“规则遵循”，机器人可能会开始显得古怪或不自然，因此必须保持平衡。

简而言之，SYRUP 表明，如果你想在不重新训练整个大脑的情况下让机器人遵循一套复杂的规则，你不应该只是寄希望于它能记住。相反，你应该给它一个专门的、实时的引导员，在它想要说出每一个词时都对照规则进行检查，从而确保最终的故事始终忠于它从一开始所穿的那件戏服。

技术摘要：SyRuP —— 通过奖励引导预测增强系统提示词遵循能力

问题陈述

大语言模型（LLMs）正越来越多地通过系统提示词（system prompts）进行控制，这些提示词定义了角色、风格、格式和安全约束。然而，目前的模型通过上下文学习（in-context learning）隐式地遵循这些提示词，这在处理复杂或组合型指令时往往显得力不从心。现有的解决方案面临显著的权衡：

训练阶段方法（如 SFT、RLHF）需要高昂的参数更新成本，并可能产生“对齐税”（alignment tax），从而降低通用能力。
解码阶段方法通常依赖于隐式指令遵循，或者仅仅将系统提示词视为合并后的上下文序列的一部分。因此，系统提示词失去了作为独立调节源的角色，且先前的奖励引导方法多侧重于固定属性（如毒性、情感），而非针对特定实例的系统提示词遵循度。

目前缺乏能够将系统提示词显式视为独立记忆源，并在推理过程中提供 token 级引导，且无需修改基础模型的框架。

方法论：SyRuP

作者提出了 SyRuP（System-prompt following via Reward-guided Prediction），这是一个解码阶段框架，它保持基础 LLM 冻结，仅训练一个轻量级的奖励头。其核心创新在于将系统提示词遵循问题重新表述为一种 token 级的条件遵循问题。

1. 交叉注意力奖励头 (Cross-Attention Reward Head)

与将系统提示词、用户输入和生成的生成前缀合并为单一序列的标准奖励模型不同，SyRuP 将系统提示词维持为一个独立的 键值（KV）记忆。

架构： 奖励头使用交叉注意力机制，其中系统提示词的隐藏状态 $H(s)$ 作为键（ $K_s$ ）和值（ $V_s$ ）。
查询构建： 查询（ $Q_t$ ）由用户输入和已生成的生成前缀（ $H(x), H(y_{<t})$ ）的拼接而成。
评分： 交叉注意力输出会关注当前生成状态下与系统提示词最相关的部分。该输出与上下文表示融合，并通过一个两层 MLP 产生每个候选 token 的 token 级遵循得分 ( $r_t(v)$ )。
训练： 该头部使用基于系统提示词条件的偏好对 $(s, x, y^+, y^-)$ 通过 Bradley-Terry 目标函数进行训练。基础语言模型保持冻结；仅更新交叉注意力投影和融合 MLP。

2. 奖励引导解码 (Reward-Guided Decoding)

在推理时，SyRuP 对基础 LM 的前 $k$ 个候选 logits 进行重排序。最终的选择得分结合了三个部分：
$\text{Score}(v) = \ell_t(v) + \lambda_r r_t(v) + \lambda_c \Delta_t(v)$

$\ell_t(v)$ : 基础 LM logits（流畅度）。
$r_t(v)$ : 学习到的 token 级奖励得分（显式遵循度）。
$\Delta_t(v)$ : 一个可选的 对比信号，用于衡量相对于中性提示词引起的 logit 偏移（ $\ell_t(v) - \ell^{neu}_t(v)$ ）。
$\lambda_r, \lambda_c$ : 控制奖励强度和对比信号强度的超参数。

核心贡献

显式系统调节： SyRuP 是首个通过交叉注意力将系统提示词视为独立记忆源的解码阶段框架，实现了显式的 token 级遵循度评估，而非依赖于隐式的上下文吸收。
轻量化推理控制： 该方法无需更新基础 LLM 参数，仅需一个可训练的小型奖励头，为全量微调提供了一个实用的替代方案。
混合引导： 引入了一种结合显式奖励引导与对比信号的混合变体，以捕捉系统诱导的分布偏移，从而提供互补的信号来引导生成。

实验结果

作者在 Multifaceted-Bench（域内）和 IFEval（分布外）上对三种骨干模型（Qwen-2.5-1.5B, Llama-3.2-3B, Llama-3.1-8B）进行了评估。

性能： SyRuP 一致优于所有基线模型，包括提示词方法（如 Few-shot, Marked Prompting）和解码阶段基线（如 OPAD, GenARM, ARGS, BoN, DeAL）。
- 在 Multifaceted-Bench 上，它在所有 15 个模型-任务组合中取得了最佳平均得分，在 Qwen-2.5-1.5B 上比最强的基线提高了 5.61%。
- 在 IFEval 上，在没有任何任务特定训练的情况下，SyRuP 取得了最佳的平均严格提示词级准确率，展示了强大的泛化能力。
效率： SyRuP 在遵循度与成本之间提供了理想的权衡。
- 仅使用奖励的变体仅增加了 1.04× 的延迟。
- 全量混合变体虽然带来了 2.18× 的延迟增加，但仍显著低于其他解码阶段基线，如 ARGS（5.13×）和 DeAL（16.83×）。
- 峰值 GPU 显存占用量与基础模型接近（3.1 GB，而某些基线超过 10 GB）。
分析： 消融研究证实，显式交叉注意力调节优于单流隐式调节。此外，研究发现奖励信号和对比信号是互补的，结合后的方法能选出两者单独作用时无法选出的独特 token。

意义与主张

论文声称 SyRuP 验证了以下假设：显式 token 级引导 是实现可靠系统提示词遵循的一种有效且实用的机制。通过将系统提示词从生成上下文中解耦，并将其视为专门的记忆源，SyRuP 使模型能够在不增加重新训练计算开销或高额搜索解码成本的情况下，遵循复杂、多样且针对特定实例的约束。

作者将 SyRuP 定位为迈向更具可控性 LLM 生成的一步，特别是在系统提示词定义关键角色、安全准则或格式要求，而标准上下文学习无法一致执行的场景中。作者也承认了局限性，例如混合对比信号带来的额外开销以及过度引导（over-steering）的可能性，并建议未来在自适应权重分配和安全过滤方面开展工作。