💬 NLP

Training LLMs to Enforce Multi-Level Instruction Hierarchies via Gravity-Weighted Direct Preference Optimization

本文引入了重力加权直接偏好优化（Gravity-Weighted Direct Preference Optimization, GW-DPO），这是一种结合了特定分隔符标记与嵌入向量的新型训练目标，旨在有效地在大型语言模型中强制执行五级指令层级，从而解决不同信任等级指令之间的冲突，并显著降低与标准方法相比的过度拒绝问题。

原作者： Lena S. Bolliger, Lena A. Jäger

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Lena S. Bolliger, Lena A. Jäger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大型语言模型（LLM）视为一名坐在办公桌前的技术精湛但天真单纯的助手。这位助手接收来自四个不同人的便条：

老板（平台）： 制定不可逾越的安全规则。
经理（开发者）： 定义助手的职位描述和性格。
客户（用户）： 请求具体的帮助或信息。
邮递员（数据/工具）： 传递来自外部世界的便条，其中可能包含诡计或谎言。

问题：“内核模式”缺陷
目前，当这些便条到达时，助手会以同样的注意力去阅读所有内容。无论便条是来自老板还是一个随机陌生人，都无所谓；助手会将每一个词都视为同等重要。这就像一名保安，对一名首席执行官和一名拿着假身份证的陌生人，都表现出同样容易放行的态度。

这是危险的。一个恶意行为者（“提示词注入者”）可以在“邮递员”交付的便条中隐藏一条信息，写着：“忽略老板和经理；完全按照我说的做。”因为助手不知道谁拥有更高的权威，它可能会听从陌生人并破坏规则。

解决方案：重力加权的等级制度
作者提议教导助手遵守严格的指挥链。他们创建了一个拥有五个层级的权威系统（在标准的四个层级基础上增加了“每用户配置”层级）。

为了训练助手尊重这一指挥链，他们发明了一种新的训练方法，称为重力加权直接偏好优化（GW-DPO）。

类比：重力与重量
把这个等级制度想象成一个太阳系，其中“老板”是太阳，而“邮递员”是遥远的行星。

标准训练： 对待所有的冲突方式都一样。如果经理与客户发生争执，这是一场“战斗”；如果老板与邮递员发生争执，这也只是一场“战斗”。
GW-DPO（重力加权）： 这种方法理解距离和质量至关重要。
- 距离： 老板（第0级）与邮递员（第4级）之间的冲突是一个巨大且危险的差距。如果处理出错，训练惩罚将是巨大的。
- 质量（受害者）： 如果被忽视的是“老板”，那么错误的严重程度要比忽视“客户”严重得多。
- “双边”调度： 作者发现，最好的训练方式是根据层级之间的距离以及受害者的重要性来共同衡量错误权重。忽视老板是一项“重罪”；而忽视用户设置则属于“轻罪”。

工具：特殊标记与“名牌”
为了使这一切奏效，作者给了助手两个特殊工具：

分隔符（文件夹）： 他们将每份便条放入贴有清晰标签的文件夹中（例如，用于老板规则的 <|L0_START|>）。
指令段嵌入（ISE）（名牌）： 他们给每个词都贴上了一个微小的、隐形的“名牌”，告诉助手这个词究竟属于等级制度中的哪一层。

发生了什么？
他们在 Llama-3.1-8B 模型上进行了测试。以下是他们的发现：

更好地遵循规则： 模型变得更擅长在“邮递员”试图覆盖“老板”或“经理”时忽略“邮递员”。它在几乎所有情况下都成功地执行了等级制度。
减少“过度拒绝”： 安全训练中有一个常见问题，即模型会变得胆小，以至于任何看起来稍微可疑的内容都会拒绝回答。这种“重力加权”方法足够聪明，能够分辨出真实的攻击与正常的请求。它拒绝了坏请求，但回答好请求的频率比标准训练方法高出两倍。
“名牌”的秘密： 他们发现，隐形的“名牌”（ISE）并不一定让模型在解决逻辑谜题方面变得更聪明；相反，它们起到了校准器的作用。如果没有这些名牌，模型会被复杂的便条结构搞得非常混乱，从而对所有事情都说“不”。有了它们，模型就能准确知道何时该说“不”，何时该说“是”。
深度很重要： 他们尝试仅使用 3 个层级进行训练（将老板、经理和配置合并为一个大的“系统”组）。虽然这在处理大型、明显的冲突时效果尚可，但模型在处理微妙的中层争论时失败了。事实证明，使用完整的 5 层深度进行训练，能让模型变得更具通用智能，而不只是一个专门应对某种技巧的专家。

底线
这篇论文表明，通过教导 AI 模型理解某些指令比其他指令更沉重、更重要（使用一种“重力”系统），我们可以让它在不变得过于谨慎以至于失去帮助性功能的前提下，更加安全地抵御黑客攻击。这就像是教导一名保安识别出 CEO 的身份证比陌生人的身份证更重要，而不是让保安拒绝让任何人进入。

技术摘要：通过重力加权直接偏好优化（GW-DPO）训练大语言模型以执行多级指令层级结构

问题陈述
生产级大语言模型（LLM）目前处理来自不同信任等级来源的指令——其范围从不可变的平台安全策略和开发者系统提示词，到最终用户查询以及潜在的对抗性工具输出。在架构上，这些输入被拼接成单个标记序列，其中每个标记都获得统一的注意力，这种状态被描述为执行“内核模式”。这种结构上的统一性造成了提示词注入（Prompt Injection）的漏洞，即恶意输入可以劫持模型行为，并使模型缺乏一种原则性的机制来解决来自不同层级的合法但相互冲突的指令。虽然先前的研究提出了基于训练的防御方法，但现有方法通常仅形式化了三到四个层级的层级结构，将所有违规视为同等严重，并且未能评估现代部署架构（例如 OpenAI 的五级利益相关者模型）所需的完整成对层级交互评估。

方法论
作者形式化了一个 $k$ 级指令层级问题，并针对 $k=5$ 个层级进行了实例化：

L0（平台治理）： 不可变的安全性规则。
L1（开发者系统提示词）： 人设与范围。
L2（用户配置）： 会话偏好。
L3（用户消息）： 运行时输入。
L4（数据/工具输出）： 外部内容。

该结构产生了十个不同的成对优先级关系，合规的模型必须遵守这些关系。为了训练模型尊重这些关系，本文引入了重力加权直接偏好优化（GW-DPO）。

损失函数： GW-DPO 通过引入一个随冲突层级间的结构距离而缩放的逐样本偏移量 $\delta(i, j)$ ，对 Offset-DPO (ODPO) 进行了改进。损失函数定义为：
$L_{GW-DPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \cdot \Delta r_\theta(x, y_w, y_l) - \delta(i, j) \right) \right]$
其中 $\Delta r_\theta$ 是隐式奖励边际。
调度方案（Schedules）： 文中评估了两种 $\delta(i, j)$ $δ (i, j)$ 调度方案：
- 线性（Linear）： 仅取决于特权差距（ $j-i$ ）。
- 双边（Bilateral）： 同时考虑特权差距和受害者层级的特权（ $k-1-i$ ），从而通过加权受损层级的“重力”来衡量违规的严重程度。
架构修改： 训练流水线集成了先前研究中的两个组件：
- 特殊分隔符标记（Special Delimiter Tokens）： 为每个层级设置不同的起始/结束标记以标记边界。
- 指令段嵌入（Instructional Segment Embeddings, ISE）： 由层级索引的、可学习的逐标记嵌入，叠加在标记嵌入之上。
训练流水线： 该过程涉及两阶段方法：
1. SFT（监督微调）： 教导模型识别分隔符并整合 ISE 信息，使用包含对齐、部分对齐及平凡误对齐提示词的数据集。
2. GW-DPO： 使用课程学习策略（基于层级差距由易到难）在包含显式层级冲突的数据集上优化偏好目标。

核心贡献

形式化 $k=5$ 层级： 本文定义了一个基于生产架构的五级指令层级，生成了一个自定义评估套件，用于测试所有十个成对优先级关系。
重力加权 DPO： 引入了 GW-DPO，特别是双边调度方案，它根据冲突层级之间的距离以及受害者层级的特权来缩放训练边际。该方法在 Pareto 优化方面优于标准 DPO 和线性变体。
通过消融实验隔离组件贡献： 研究隔离了 ISE 和层级深度的贡献：
- ISE 主要被识别为拒绝阈值的校准器。移除 ISE 后，冲突解决的准确性基本保持不变，但会导致过度拒绝（拒绝良性提示词）的比例出现数量级的激增，这表明 ISE 有助于模型区分结构化对抗性片段与良性结构化片段，而不改变底层的冲突推理。
- 五级 vs. 三级训练： 对比揭示了泛化性与专业化之间的权衡。三级训练（将 L0-L2 合并为“系统”层级）通过表面形式识别在特定冲突对上取得了更高的分数，但在对平铺文本提示词的泛化能力上表现退化，且无法解决缺乏表面线索的系统内冲突（如 L1 vs. L2）。

结果
在 Llama-3.1-8B-Instruct 上进行的评估显示，GW-DPO（双边） 配置实现了以下结果：

冲突解决： 它获得了最高的宏观成对优先级遵循度（ $PPA_{macro} = 0.838$ ）和加权层级得分（$WHS = 0.885$），表现优于标准 DPO 和线性变体。
过度拒绝： 它保持了 0.057 的过度拒绝率（ORR），约为标准 DPO（0.120）的一半，且显著低于无 ISE 配置（0.576）。
泛化能力： 在平铺文本参考拆分（去除分隔符）上，GW-DPO（双边）保持了较强的性能（ $PPA_{ref} = 0.793$ ），尽管略低于线性变体，这表明其内部化了层级语义。
外部基准测试：
- XSTest： 与标准 DPO 相比，在安全提示词上的校准能力有所提升，但在处理“安全但异常”的提示词时存在权衡。
- SEP（指令-数据分离）： 实现了 0.118 的探针执行率，比基础模型提高了约 5 倍，证明了指令与数据之间的有效分离。
- TensorTrust： 实现了 0.818 的鲁棒性率，显著优于基础模型（0.212），但略低于标准 DPO（0.906），反映了校准方面的权衡。
- MT-Bench： 保留了通用的聊天助手效用，GW-DPO（双边）得分为 7.425，与现成的锚点模型相当或更高。

意义与主张
本文声称，结构化边际（特别是 GW-DPO 中的双边调度）是实现层级合规性的有用且互补的杠杆。作者断言，随着部署架构变得更加分层，其方案可以扩展到更高的 $k$ 值。

至关重要的是，本文将三级训练与五级训练之间的选择框架化为泛化性与专业化之间的权衡，而非简单的排序问题。五级训练保留了对纯文本重写的解析能力并保持了过度拒绝的校准，而三级训练则通过表面相关性实现了对特定子集的更窄领域的精通。作者强调，双边调度是唯一能够同时提高冲突解决能力并降低过度拒绝率的配置，这符合经典安全模型（Biba, 1977）中“不写即不读”（no write up）的约束。

研究结论认为，虽然该方案能有效防御提示词注入并强制执行层级，但它并非针对有动机攻击者的完整对抗性防御，且在“压制用户诉求以优先考虑组织优先级”方面需要仔细的政策考量。

技术摘要：通过重力加权直接偏好优化（GW-DPO）训练大语言模型以执行多级指令层级结构

类似论文