🤖 machine learning

HiRoute: Hierarchical Routed Prompt Tuning for Safety Alignment of Large Language Models

HiRoute 是一个参数高效的安全对齐框架，它采用层级路由器来动态选择并混合特定类别的提示专家，使大语言模型能够在有效平衡针对有害请求的安全防护的同时，最大限度地减少对良性输入的过度拒绝。

原作者： Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Fangzhou Chen, Shiji Zhao, Mengyang Wang, Qihui Zhu, Ranjie Duan, Maoxun Yuan, Xingxing Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人如何成为一名合格的公民。这个被称为“大语言模型”（LLM）的机器人极其擅长写故事、解数学题以及与你聊天。然而，像任何强大的工具一样，如果有人问了错误的问题，它可能会被诱导说出伤人的话、泄露秘密或协助坏主意。科学家们一直试图通过“微调”机器人的大脑来修复这个问题。旧的方法就像是每当你想要增加一条新的安全规则时，都要重新对整个机器人的大脑进行重构，这既昂贵又缓慢。一种更新、更聪明的方法是“提示词微调”（prompt tuning），即在每次对话开始时给机器人一条特殊的便条或指令，提醒它要保持安全。但棘手的部分在于：如果便条太模糊，机器人为了保险起见可能会拒绝回答无害的问题（就像一个把所有人都踢出俱乐部的保安）；如果便条太具体，它可能会错过那些混合了多种不良行为的复杂危险。

这就是来自北航大学的研究团队提出的一个聪明的新想法——HiRoute。你可以把 HiRoute 想象成一个超级组织有序的机器人大脑交通控制系统。它不再使用一个巨大的、枯燥的“停止”标志来对待每一辆车，而是使用一个聪明的交通警察，先检查一辆车是否真的危险。如果车是安全的，它就会获得绿灯并直接通过，没有任何延迟。但如果这辆车看起来有风险，交通警察不仅不会直接拦截它，还会弄清楚它究竟属于哪种类型的麻烦（比如是超速驾驶、醉酒驾驶还是偷车），然后给司机一份专门定制的指南，指导他们如何安全地纠正行为。研究人员发现，这种两步走的方法——先检查风险，然后再将通用的安全规则与具体的建议相结合——使得机器人在变得更加安全的同时，也不会变得暴躁或毫无用处。他们在三个不同的机器人大脑上进行了测试，结果表明 HiRoute 在阻止不良请求方面比其他方法更有效，同时在处理正常请求时依然保持友好和乐于助人。

问题所在：“一刀切”的困境

想象一下，你是某家非常聪明但有些淘气的图书馆经理。你有一条规则：“禁止携带危险书籍。”如果你使用一条简单且严格的规则，比如“如果书的内容听起来很吓人，立即禁止入内”，你可能会误禁一本关于为科学展览制作火山的模型书，因为它提到了“爆炸”。这就是过度拒绝（over-refusal）。图书馆变得安全了，但也变得枯燥乏味且毫无用处。

另一方面，如果你试图为每一种危险类型都写一条特定的规则（一条关于火灾，一条关于刀具，一条关于毒药），你可能会漏掉一本同时涉及火灾和毒药的书。机器人会感到困惑，并可能让那本危险的书溜进去。

研究人员意识到，现有的方法都卡在了中间。有些方法使用单一且强硬的安全提示来屏蔽一切，而另一些方法虽然尝试混合不同的安全提示，但缺乏一个强大的“安全网”来捕捉复杂的、混合型的危险。他们问道：我们能否冻结机器人的主脑（这样我们就无需重新训练它），仅仅教它一种更聪明的方式来阅读用户的提问并选择正确的安全建议？

解决方案：HiRoute 的两步舞步

HiRoute 通过扮演一个拥有两部分策略的保镖来解决这个问题：守门员和专家团队。

第一步：守门员（路由器）
首先，HiRoute 使用一个微型、轻量级的“路由器”（可以把它看作是一个快速扫视的安检员）来查看用户的提问。这个安检员并不改变机器人的大脑；他只是阅读问题并询问两个问题：

“这个问题危险吗？”（是/否）
“如果是，它属于哪种类型的危险？”（例如：是关于偷窃？是关于暴力？还是关于黑客攻击？）

如果问题是安全的（比如“如何烤蛋糕？”），守门员就会放行。机器人会立即回答，跳过所有的安全检查。这让机器人在面对普通用户时保持快速且友好。

第二步：专家团队（提示词专家）
如果守门员发现了风险，问题就会被发送到“专家团队”。在这里，HiRoute 使用了两种类型安全便条的巧妙结合：

共享安全网： 一个适用于所有危险的通用、广泛的安全规则（例如“不要协助非法活动”）。它作为一个强大的基础，确保机器人永远不会忘记基本原则。
风险特定专家： 一组专门设计的特定笔记，每条笔记都针对一种特定的危险（一个针对网络犯罪，一个针对隐私，等等）。

神奇之处在于 HiRoute 如何组合它们。它不仅仅是挑选一个专家；它会根据守门员的判断计算出一个“配方”。如果一个问题 60% 关于偷窃，40% 关于隐私，HiRoute 会将 60% 的“偷窃”便条与 40% 的“隐私”便条进行混合，同时保持“共享安全网”处于激活状态。这确保了机器人能给出有帮助且具体的回答，既解决了确切的风险，又不会显得太模糊或太严苛。

研究发现：安全而不暴躁

研究人员在三个不同的机器人模型（Mistral、Vicuna 和 Zephyr）上测试了 HiRoute，并将其与其他安全方法进行了对比。结果令人印象深刻：

更好的安全性： HiRoute 比其他方法更能阻止有害请求。例如，在 Mistral 模型上，它的安全性达到了 93.2%，明显领先于次优的方法。
更有帮助性： 至关重要的是，它并没有让机器人拒绝无害的问题。当机器人确实需要拒绝一个不良请求时，它会解释原因并提供安全的替代方案，在“帮助性”方面得分很高（约为 7.4 分，满分 10 分）。
更少的过度拒绝： 这是一件大事。其他方法经常误屏蔽安全的提问。HiRoute 在 Mistral 模型上仅屏蔽了 2.5% 的安全问题，而另一种流行的方法则屏蔽了高达 40.5%。

团队还调整了“守门员”的严格程度。他们发现，如果他们让守门员变得稍微谨慎一些（将阈值提高到 0.95），在越狱测试中的安全性会上升到 95.0%，而机器人的数学能力（GSM8K）仅从 50.5% 轻微下降到 48.0%。这表明你可以让机器人变得非常安全，而不会破坏它的智力。

为什么这很重要

HiRoute 表明，我们不需要重建整个机器人就能让它变得安全。通过使用一个将“这是否危险？”与“我们如何处理这种特定危险？”分开的智能双层系统，我们可以创造出既是严格守护者又是得力朋友的 AI。它证明了安全性与帮助性并不一定是敌人；通过正确的路由和混合安全指令，两者是可以共存的。

研究人员指出，HiRoute 目前还不完美。它依赖于守门员对风险的正确判断，且主要适用于单轮文本对话。但就目前而言，它为在不把机器人变成毫无用处的机器人的前提下，保持我们的数字伙伴安全，提供了一种极具前景且高效的方法。

技术摘要：HiRoute

问题陈述

大语言模型（LLMs）在面对有害请求、越狱攻击和多风险查询时仍然脆弱。虽然监督微调（SFT）和基于人类反馈的强化学习（RLHF）可以编码安全行为，但它们会产生高昂的训练和存储成本，并往往会导致安全性与帮助性之间的权衡。具体而言，统一加强拒绝行为会导致在良性输入上的“过度拒绝”（over-refusal），从而降低通用能力。

现有的参数高效安全对齐方法（如提示词微调）通常依赖于静态机制。这些方法大致分为两类，且各具局限性：

粗粒度全局提示（Coarse-grained Global Prompts）： 对所有风险输入应用单一的安全提示，虽然建立了强大的安全边界，但往往导致生成通用的、缺乏信息量的拒绝内容，无法提供针对特定风险的指导或安全的替代方案。
细粒度路由提示（Fine-grained Routed Prompts）： 为不同风险分配特定类别的提示的方法可以生成更具针对性和帮助性的安全响应。然而，这类方法难以维持稳定的安全边界，特别是在输入与预定义风险类别不完全匹配，或者专家匹配不足的情况下。

核心挑战在于：如何在不冻结整个骨干模型的前提下，通过输入自适应的提示词组合，平衡细粒度响应的建设性与跨类别的安全性。

方法论：HiRoute

作者提出了 HiRoute（分层路由提示微调），这是一个将类别无关的安全控制与类别相关的响应引导相分离的输入自适应框架。该框架运行在冻结的指令微调 LLM 之上，包含三个主要组件：

1. 分层风险路由

一个轻量级路由器在从冻结 LLM 中提取的表示上进行训练，以执行两项任务：

粗粒度检测： 确定输入是有害还是良性的（ $p_{safe}$ vs. $p_{risk}$ ）。
细粒度风险预测： 预测特定类别（如网络犯罪、隐私侵犯、经济犯罪、暴力）的多标签风险得分。
路由器输出一个概率分布，用于动态加权细粒度的提示专家。

2. 分层提示组合

HiRoute 学习两种类型的连续提示嵌入：

共享粗粒度提示 ( $P_c$ )： 为所有风险输入提供一个类别无关的安全边界。
细粒度提示专家 ( $\{P_k\}$ )： 一组 $K$ 个专家，每个专家对应一个特定的风险类别。
对于给定输入 $x$ ，细粒度提示 $P_f(x)$ 被构建为基于路由器预测的风险得分对专家的加权和：
$P_f(x) = \sum_{k=1}^{K} \alpha_k(x) P_k$
其中 $\alpha_k(x)$ 是归一化权重。最终的输入依赖型提示为 $P(x) = [P_f(x); P_c]$ 。

3. 两阶段解耦优化

训练过程分为两个截然不同的阶段，以防止生成目标改变风险决策边界：

第一阶段（路由器学习）： 路由器使用交叉熵（CE）进行粗粒度分类，并使用二元交叉熵（BCE）进行细粒度多标签分类。骨干模型保持冻结。
第二阶段（提示优化）： 骨干模型和已训练的路由器均被冻结。仅优化提示参数（ $P_c$ 和 $\{P_k\}$ ），使用直接偏好优化（DPO）在偏好三元组（安全/有帮助 vs. 不安全/低质量）上进行优化。为了减少干扰，作者采用了交替梯度更新：当更新 $P_c$ 时，对 $P_f(x)$ 的梯度进行掩码处理（停止梯度），反之亦然。

4. 输入自适应推理

在推理阶段，路由器首先计算安全概率 $p_{safe}(x)$ 。

良性输入： 如果 $p_{safe}(x) > \tau_s$ （安全阈值），系统绕过所有安全提示，直接从冻结的骨干模型生成，从而保留通用效用。
风险输入： 如果 $p_{safe}(x) \leq \tau_s$ ，系统激活安全分支，构建分层提示 $P(x)$ 来约束生成。

核心贡献

对权衡关系的实证验证： 作者证明了共享粗粒度提示提供了更强的安全性但较低的帮助性，而路由的细粒度提示混合则提升了帮助性但安全性增益较小。
HiRoute 框架： 他们提出了一种新颖的架构，结合了共享粗粒度提示（用于稳定的安全边界）和动态路由的细粒度专家（用于针对风险的指导）。这种设计通过安全门控机制，避免了对良性输入的非必要干预。
全面的评估： 该方法在三个指令微调模型（Mistral-7B, Vicuna-7B, Zephyr-7B）和多个基准测试中得到了验证，表明它在保持高安全性和帮助性的同时，仍能维持通用效用。

实验结果

实验在三个模型上针对包括 Base 模型、RPO (Robust Prompt Optimization)、DRO (Dynamic Risk Optimization) 和 ACD (Adversarial Contrastive Decoding) 在内的基线模型进行。

安全性与帮助性： HiRoute 在所有模型上均实现了最高的平均安全性（例如，Mistral 为 93.2%，Vicuna 为 97.7%，Zephyr 为 94.8%），同时达到了最高或接近最高的安全响应帮助性得分。它比最强的基线模型在安全性上高出 1.3–2.9 个百分点。
通用效用： 与会降低通用能力的方案不同，HiRoute 保留了在 GSM8K（数学推理）、MT-Bench（指令遵循）和 TruthfulQA 上的表现。例如，在 Mistral 上，它在安全性从 53.2% 提升至 93.2% 的同时，保留了 48.0% 的 GSM8K 准确率。
过度拒绝： HiRoute 显著降低了良性输入上的过度拒绝（XSTest）。在 Mistral 上，它实现了 2.5% 的过度拒绝率，相比之下，RPO 为 40.5%，DRO 为 18.0%，提升巨大。
消融研究：
- 训练策略： 联合交替训练（在一致的组合上下文中更新提示）的表现明显优于顺序训练（“先细后粗”），将平均安全性从 74.8% 提升至 93.2%。
- 提示长度： 粗提示与细提示长度比例为 15/5（总长 20）时，在安全性与帮助性之间达到了最佳平衡。
- 阈值： 提高安全门控阈值 $\tau_s$ 能在对通用能力影响极小的情况下增强安全控制。

重要性与主张

论文声称 HiRoute 有效解决了 LLM 对齐中安全性与帮助性之间的紧张关系。通过将风险识别与响应生成解耦，并采用分层的、输入自适应的提示结构，该方法：

建立了一个稳定的、类别无关的安全边界，而不依赖于激进的统一拒绝。
为有害请求提供建设性的、针对特定风险的指导和安全的替代方案。
通过允许良性输入完全绕过安全提示，最大限度地减少了过度拒绝。
以参数高效的方式实现上述目标，即冻结骨干模型，仅优化少量的提示参数和一个轻量级路由器。

作者得出结论，输入依赖的分层提示为安全对齐提供了一种鲁棒的解决方案，能够平衡安全性、响应质量、参数效率和通用效用。他们也承认了目前的局限性，包括路由器在处理分布外复合风险时的准确性问题，以及目前主要关注单轮文本交互，并建议未来在开集风险识别和多模态设置方面开展工作。