💬 NLP

Compositional Steering of Large Language Models with Steering Tokens

该论文提出了一种名为“组合 steering tokens"的新方法，通过将自然语言指令嵌入专用 token 并训练组合 token，实现了在输入 token 空间中对大语言模型多种行为（如长度、格式等）的高效零-shot 组合控制，其效果优于现有指令、激活控制及 LoRA 合并等方法。

原作者： Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Gorjan Radevski, Kiril Gashteovski, Giwon Hong, Carolin Lawrence, Goran Glavaš

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让大型语言模型（LLM）更听话、更灵活的新方法，叫做**“组合式引导令牌”（Compositional Steering Tokens）**。

为了让你轻松理解，我们可以把大语言模型想象成一个才华横溢但有点固执的“超级大厨”。

1. 现在的困境：大厨的“点菜”难题

想象一下，你想让这位大厨做一道菜，但要求非常具体且复杂：

要求 A：必须用法语写食谱。
要求 B：字数必须在50 到 100 字之间。
要求 C：必须用全大写字母写。

传统方法（自然语言指令）：
你直接跟大厨说：“请用法语写，字数50-100 字，并且全大写。”

问题：大厨有时候会“听漏”其中一个要求。比如他写了法语，但忘了全大写；或者字数超了。而且，如果你把要求顺序换一下（先说全大写，再说法语），他可能表现又不一样。这就像跟一个记性不好的人说话，指令越复杂，他越容易出错。

微调方法（Fine-tuning）：
你为了让他完美执行这个特定组合，专门给他上一堂私教课，让他记住“法语 + 字数 + 大写”这个组合。

问题：这太慢了！而且，如果你明天想让他做“德语 + 字数 + 小写”，你又得重新上一堂新课。如果组合有 10 种行为，你可能需要上 $2^{10}$ 次课，根本忙不过来。

激活引导（Activation Steering）：
这是一种高级技巧，试图在大厨的大脑（内部神经层）里直接插入一个“开关”。

问题：这就像在大厨的大脑里插电线，容易短路。而且，如果你同时插两个开关（一个管法语，一个管字数），它们可能会互相打架，导致大厨做出来的菜完全没法吃。

2. 论文的新方案：神奇的“魔法令牌”

这篇论文提出了一种更聪明的方法：“引导令牌”（Steering Tokens）。

第一步：给每个要求发一张“魔法卡片”

研究人员不再让大厨背复杂的指令，而是为每个单一的要求（如“法语”、“字数限制”）训练一个特殊的魔法令牌（Token）。

你可以把 <法语> 想象成一张红色的魔法卡片。
把 <50-100 字> 想象成一张蓝色的魔法卡片。
把 <全大写> 想象成一张黄色的魔法卡片。

这些卡片直接贴在菜谱的开头，就像给大厨戴上了特定的“眼镜”。戴上“红色眼镜”，大厨就自动切换成法语模式；戴上“蓝色眼镜”，他就自动控制字数。

优点：这些卡片是输入端的，不需要动大厨的大脑（模型参数），所以不会破坏他原本的知识，也不会让他变笨。

第二步：发明一个“组合咒语”

这是这篇论文最核心的创新。
以前，如果你把“红色卡片”和“蓝色卡片”一起给大厨，他可能会困惑：“我该先听哪个？它们会打架吗？”

为了解决这个问题，作者训练了一个专门的**“组合令牌” <和>（）**。

这就好比大厨手里有一个**“混合搅拌机”**。
当你输入 [问题] + <法语> + <和> + <50-100 字> 时，<和> 这个令牌就像一个翻译官，它告诉大厨：“嘿，把‘法语’和‘字数’这两个要求完美融合在一起，不要打架，要和谐共处。”

3. 为什么这个方法很厉害？（核心亮点）

1. 真正的“举一反三”（零样本组合）

这是最酷的地方。

我们在训练时，只教过 <和> 令牌如何组合“法语”和“字数”。
但在测试时，我们突然给它一张从未见过的卡片（比如“德语”），或者让它组合三个要求（法语 + 字数 + 大写）。
结果：<和> 令牌居然成功了！它没有死记硬背，而是真正学会了“如何组合”这个逻辑。就像你教会了孩子“加法”的概念，他就能算出任何两个数字的和，而不仅仅是你教过的那两个数字。

2. 比“说话”更靠谱

实验发现，直接给大厨看文字指令（“请用德语写..."），在复杂组合下容易出错。但用这些魔法令牌，准确率更高，而且不管你把卡片顺序怎么换（先放德语还是先放字数），大厨的表现都很稳定。

3. 强强联合

最完美的方案是：魔法令牌 + 文字指令。
就像给大厨既戴了“魔法眼镜”（令牌），又口头嘱咐了一句（文字指令）。两者互补，效果最好。令牌负责“硬性约束”（如格式、语言），文字指令负责“软性引导”，让大厨既听话又聪明。

4. 总结：这解决了什么大问题？

在现实生活中，我们很少只需要模型做一件事。我们通常希望它：

用中文回答（语言）
写成诗歌格式（风格）
控制在200 字以内（长度）
语气要幽默（情感）

以前的方法很难同时满足所有这些要求，要么顾此失彼，要么需要为每种组合单独训练模型（成本太高）。

这篇论文的**“组合式引导令牌”就像给模型配备了一套乐高积木**：

每个行为（语言、长度、格式）都是一块积木。
那个 <和> 令牌就是连接件。
你可以用这些积木随意搭建出任何你想要的形状（组合），而且不需要重新烧制积木（不需要重新训练模型）。

一句话总结：
作者发明了一种给大模型戴“魔法眼镜”并配一个“混合咒语”的方法，让模型能轻松、稳定地同时满足多个复杂要求，而且不需要为每个新组合重新训练，真正实现了“即插即用”的灵活控制。

论文技术总结：基于导向令牌（Steering Tokens）的大语言模型组合式控制

1. 研究背景与问题定义

背景：大型语言模型（LLM）在现实世界应用中需要同时满足多个控制目标（Desiderata），例如同时控制输出语言、长度、格式和结构。这种**组合式控制（Compositional Steering）**是自然且普遍的需求。

现有问题：

微调（Fine-tuning）的局限性：为每种行为组合微调模型计算成本高昂，且会导致灾难性遗忘或负迁移。 $N$ 种行为意味着 $2^N$ 种微调需求，不可行。
提示工程（Prompting）的脆弱性：虽然指令微调（Instruction Tuning）提供了灵活性，但仅靠自然语言指令（Prompting）在组合多个约束时表现不稳定（Brittle），语义等价的提示可能导致不一致的输出。
现有导向方法的不足：
- 激活导向（Activation Steering）：通常在激活空间操作，难以实现零样本（Zero-shot）的组合泛化。
- Gist Tokens：主要关注单指令压缩，缺乏对“组合”概念的有效表示。
- 现有组合尝试：大多仅通过插值向量或简单拼接，缺乏对组合逻辑的显式学习，泛化能力差。

核心挑战：如何在不修改模型内部参数的情况下，实现 LLM 对多个行为（如“用西班牙语” + “回答 10-50 词”）的零样本组合控制，并保证生成的鲁棒性和准确性。

2. 方法论：组合式导向令牌（Compositional Steering Tokens）

作者提出了一种基于输入空间（Input Space）的控制方法，核心思想是将行为表示为可学习的导向令牌（Steering Tokens），并引入一个专门的组合令牌（Composition Token）。

2.1 核心组件

行为令牌（Behavior Tokens, <b>）：
- 将自然语言指令（如"Answer in French"）压缩为单个可训练的嵌入向量 $e_b$ 。
- 这些令牌位于模型的输入嵌入空间，不改变模型内部参数（LLM 保持冻结）。
组合令牌（Composition Token, <and>）：
- 一个专门训练的可学习向量 $e_{<and>}$ ，用于显式地表示“组合”这一概念。
- 它的作用是在推理时介导不同行为令牌之间的交互。

2.2 训练流程：组合式自蒸馏（Compositional Self-Distillation）

训练分为两个阶段，均采用**自蒸馏（Self-Distillation）**策略，教师模型和学生模型均为同一个冻结的 LLM。

阶段 1：训练单个行为令牌
- 教师：接收提示 $x$ + 自然语言指令 $I_b$ 。
- 学生：接收提示 $x$ + 行为令牌 <b>。
- 目标：最小化两者输出分布的 KL 散度，使令牌 <b> 能替代指令 $I_b$ 的效果。
- 初始化：行为令牌初始化为对应指令中词汇嵌入的平均值。
阶段 2：训练组合令牌 <and>
- 教师：接收提示 $x$ + 两个行为的指令 $I_{b_i} \oplus I_{b_j}$ 。
- 学生：接收提示 $x$ + 行为令牌 <b_i> + 组合令牌 <and> + 行为令牌 <b_j>。
- 关键约束：在此阶段，行为令牌 <b_i> 和 <b_j> 被冻结。这迫使 <and> 令牌学习通用的“组合”逻辑，而不是去修改特定的行为表示。
- 正交正则化（Orthogonality Regularization）：为了防止 <and> 令牌坍缩到现有行为令牌的表示中，引入正交损失 $L_{orth}$ ，强制 <and> 与所有已见的行为令牌正交。
- 总损失： $L = L_{dist} + \lambda \cdot L_{orth}$ 。

2.3 推理过程

对于包含多个约束的提示，输入序列构造为：[Prompt Tokens] + [Behavior Token 1] + [Composition Token <and>] + [Behavior Token 2] ...。

3. 关键贡献

输入空间的组合控制：提出了一种在输入嵌入空间而非激活空间进行控制的方法，实现了更有效的零样本组合。
显式组合算子：创新性地训练了一个专用的 <and> 令牌来学习“组合”概念，而非简单的向量插值。
强大的泛化能力：
- 未见组合：能泛化到训练集中未出现的行为组合（如训练了 A+B，能处理 A+C）。
- 未见行为：能泛化到完全未见过的行为（如训练了语言+长度，能处理未见过的语言 + 长度）。
- 未见数量：仅在 2 行为组合上训练，却能成功泛化到 3 行为甚至 4 行为组合。
正交性的重要性：证明了正交正则化对于防止令牌坍缩、实现零样本融合至关重要。
混合方法的互补性：发现导向令牌与自然语言指令具有互补性，混合使用（Hybrid）能达到最佳效果。

4. 实验结果

实验在 7 个不同架构和规模的 LLM（Qwen, Llama, SmolLM, OLMo, Gemma，参数规模 3B-14B）上进行，评估指标包括准确率、顺序方差（Order Variance）和响应质量。

4.1 主要发现

优于基线：在未见组合（Unseen Compositions）任务上，导向令牌方法显著优于纯指令（Instruction Steering）、LoRA 合并（LoRA DARE）和激活导向（CAA, LM-Steer）。
- 例如在 Qwen3-8B 上，未见 2 行为组合准确率：导向令牌 (76.9%) > 指令 (71.8%)。
- 未见 3 行为组合准确率：导向令牌 (59.5%) > 指令 (54.0%)。
混合方法最佳：将导向令牌与自然语言指令结合（Hybrid），在几乎所有模型和任务上都取得了最高准确率，同时保持了较低的顺序方差。
模型规模效应：随着模型参数增加（从 4B 到 14B），组合控制的准确率显著提升。大模型（14B）仅通过 2 行为训练即可在 3 行为任务上取得优异表现，而小模型可能需要更多监督。
鲁棒性：引入 <and> 令牌和正交正则化后，输出对令牌顺序的敏感性（Order Variance）大幅降低。
消融实验：
- 没有 <and> 令牌，性能在复杂组合上急剧下降。
- 零初始化（Zero Initialization）配合正交正则化效果最佳。
- 仅在 2 行为上训练足以让大模型泛化到 3 行为，显式训练 3 行为反而可能导致过拟合。

4.2 具体数据亮点（Qwen3-8B）

方法	未见 2 行为准确率	未见 3 行为准确率	顺序方差 (3 行为)
指令 (Instruction)	71.8%	54.0%	18.1%
导向令牌 (Steering)	76.9%	59.5%	25.5%
混合 (Hybrid)	76.3%	62.9%	15.2%

(注：混合方法在保持高准确率的同时，显著降低了顺序方差，体现了更好的鲁棒性)

5. 意义与局限性

意义

高效性：无需微调模型参数，仅需学习少量向量（ $|B|+1$ ），计算成本极低。
通用性：提供了一种通用的机制，可应用于任意可验证的约束（长度、语言、格式、结构等）。
可组合性：解决了 LLM 控制中“组合爆炸”的难题，实现了真正的零样本组合控制。
互补性：证明了学习到的向量表示与自然语言提示可以协同工作，为未来的 LLM 控制提供了新范式。

局限性

约束的可验证性：当前评估主要集中在可自动验证的硬约束（如字数、语言）。对于主观约束（如语气、风格），需要人工或 LLM 作为裁判，评估成本较高。
组合复杂度：目前主要验证了 2-4 种行为的组合。对于更高阶（如 10+ 种）的复杂组合，性能是否退化尚需进一步研究。
模型规模：实验主要在 3B-14B 模型上进行，对于前沿的超大模型（>70B），其缩放规律和混合方法的必要性仍需验证。

总结

该论文提出了一种名为**导向令牌（Steering Tokens）**的新方法，通过自蒸馏将自然语言指令压缩为输入空间的向量，并引入专门的组合令牌 <and> 来学习行为组合的通用逻辑。实验证明，该方法在零样本组合控制任务上显著优于现有的指令提示和激活导向方法，且具有跨模型架构的鲁棒性，为 LLM 的可控生成提供了一种高效、灵活且可扩展的解决方案。