技术摘要：语言模型的可组合信任 (Composable Trust for Language Models)

1. 问题陈述

当前大语言模型（LLM）的一个根本性架构局限在于，指令与数据共享同一个、无差异的 Token 流。因此，模型在生成过程中无法本质地区分受信任的系统指令与不受信任的用户输入或检索到的数据。这使得模型容易受到**提示词注入（Prompt Injection）**的攻击，即不受信任的文本可以通过“引导”模型来覆盖系统指令、泄露数据或执行未经授权的操作。

现有的缓解方法在应对时存在明显的失效模式：

• 性能测试： 仅依赖基准测试（例如，准确率与拒绝率之间的权衡）是行不通的，因为一个忽略所有输入并产生幻觉的系统，其表现可能优于一个正确拒绝了攻击但损失了准确性的系统。
• 基于指令的禁止： 要求模型执行自身的规则是无效的，因为模型并不是一个不可篡改的参考监视器；合规性可能会被随后的上下文或注意力失效所逆转。
• 智能体自我检查： 让模型循环进行合规性检查会增加复杂性，却无法提供保证，因为每一次检查仅仅是来自同一个不受信任分布的另一次采样。

核心问题在于建立一个经过验证的边界，使权威度的判定取决于来源的完整性（通道）而非内容的措辞，从而允许系统合成多个不同信任度的来源，而不让低信任度的来源覆盖高信任度的来源。

2. 方法论：条件级联 (The Conditioned Cascade)

本文提出的系统设计将权威度从模型内部移出，将其转化为一个确定性的流水线。该架构由三个组件组成：确定性监视器 (Deterministic Monitor)、条件钝化级联 (Conditioned Passivation Cascade) 以及 包装器 (Wrapper)。

A. 完整性格点与监视器

系统根据输入通过何种通道到达，将其分配到一个固定的完整性环 (Integrity Ring)（信任等级），而非根据其内容。部署的层级结构（信任度递减）如下：

1. SYSTEM (系统)： 操作员指令（完全受信任）。
2. USER (用户)： 用户请求。
3. CONTENT (内容)： 检索到的文档。
4. WEB (网络)： 工具和网络返回结果。

监视器 (Monitor) 是一个确定性的、非模型的组件，它对这些带有标签的值强制执行五个不变式：

• I1 (满足规则/Meet Rule)： 组合输入时采用最低环级（Biba 完整性格点），确保信任度不会通过组合而提升。
• I2 (带外权威/Out-of-Band Authority)： 环级只能通过带外 Token 提升，内容本身无法伪造。
• I3 (动作阈值/Action Threshold)： 只有当控制输入满足固定阈值时，操作才被授权。
• I4 (盖章/Stamping)： 值在中间步骤中携带其环级；它们不能脱落环级。
• I5 (操作绑定/Operation Binding)： 操作绑定到存在的最高环级的指令上。

理论保证： 由于格点是有限的，监视器可以通过枚举证明，任何不受信任的输入都无法改变绑定的操作或授权一项行动。这为权威度提供了经过验证的非干涉属性，且独立于模型的行为。

B. 条件钝化级联

虽然监视器保证了权威度，但文本生成本身仍然是一种“软”防御。系统采用钝化 (Passivation) 过程，在保留真实事实的同时，剥离低信任内容中嵌入的指令。

• 条件化 (Conditioning)： 与标准的过滤不同，钝化是基于目前为止已处理的高信任通道所建立的上下文进行条件化的。这使得系统能够区分相关事实与无关或恶意的指令。
• 排序 (Ordering)： 通道按信任度降序处理（SYSTEM $\to$ USER $\to$ CONTENT $\to$ WEB）。每个低信任通道被钝化一次，且是基于已钝化的高信任上下文进行的条件化处理。
• 归因 (Attribution)： 如果低信任来源（如 WEB）包含一个高信任来源（如 CONTENT）中不存在的事实，系统会保留该事实，但将其归因于较低信任的来源，而不是将其丢弃或断言其为绝对事实。

C. 包装器 (The Wrapper)

包装器组装最终的提示词。它：

• 使用 Nonce 对输入进行定界，并用其固定的环级标签进行标记。
• 明确指示模型仅遵循 SYSTEM 块。
• 通过优先考虑更高环级的原则来解决冲突（例如，CONTENT 与 WEB 之间的冲突）。
• 防止“信任洗钱”（例如，用户要求模型遵循一个包含注入内容的网页）。

D. 通过 SkillOpt 进行调优

防御依赖于用于钝化和标记的自然语言提示词。由于无法对提示词搜索进行梯度下降，作者使用了一种 SkillOpt 式的结构化重写机制：

• 联合搜索 (Joint Search)： 提示词是联合（端到端）进行调优的，而不是独立调优，从而考虑了钝化阶段与包装器之间的耦合关系。
• 多目标优化 (Multi-Objective)： 搜索同时优化纯净质量 ($Q$) 和拒绝率 ($R$)，以维持帕累托前沿。
• 正则化 (Regularization)： 提示词受到长度限制，以防止对特定攻击字符串的记忆，从而迫使其基于原则而非具体字符串。
• 无需模型权重： 该防御仅调优提示词集，不对模型权重进行修改（模型无关性）。

3. 核心贡献

1. 经过验证的权威边界： 通过将参考监视器移至模型之外并实施有限的完整性格点，证明了不受信任的输入无法更改系统操作或授权行动。
2. 条件级联架构： 一种新型流水线，按信任度降序处理不受信任的通道，并将低信任度的钝化条件化于高信任度的上下文，以提高可靠性和归因能力。
3. 模型无关的防御： 通过提示词工程和确定性监视器来保护未修改的 LLM（包括托管模型），无需微调或更改权重。
4. 信任分级合成： 能够保留并归因于低信任来源的事实，而非直接丢弃，从而实现多源信息的合成，同时尊重其完整性级别。

4. 结果

该系统在未经修改的 Gemma 4 26B 模型上进行了评估，使用了持有的新鲜内容和多样化的攻击向量（包括 AgentDojo 模板和自适应红队攻击）。

• 指令注入防御：
  • 基础模型： 27% 的防御率（基于真实泄露指标）。
  • 部署后的级联系统： 94% 的防御率（95% 置信区间：[88, 97]）。
  • 这代表了约 12 倍的成功泄露减少。
• 自适应对抗评估：
  • 在由不同模型（Gemma 4 31B）发起的自适应攻击以及各种攻击者家族（白盒、黑盒、多环优化器）下，权威边界保持为 0 次违规（无条件证明）。
  • 测得的文本防御在面对自适应攻击时保持在 87%。
• 归因：
  • 系统在 92% 的案例中成功将来自 Web 的事实归因于其较低信任度的来源，而基础模型对此类归因率为 0%。
• 纯净质量：
  • 该防御对干净任务质量的成本极小：$Q_{rel} = 0.96$（即基础模型质量的 96%）。
• 消融实验：
  • 钝化与包装器的结合是必要的；仅使用钝化或仅使用包装器都会留下显著漏洞，特别是在委托攻击（Tier 3）方面。

5. 重要性与主张

论文声称，AI 系统中的信任是一个概念的星座（constellation of concepts），而非单一属性。所提出的系统解决了可组合信任 (composable trust) 的特定差距：即可靠地合成多个不同信任度来源的能力。

• 经过验证 vs. 经测量的： 作者区分了经过验证的权威（这是绝对的且属于架构层面的）与经测量的文本防御（这是概率性的且通过调优得到改进）。他们明确指出，虽然他们无法证明文本防御是 100% 免疫注入的，但可以证明即使发生泄露，也无法改变系统的权威度或触发未经授权的操作。
• 谦逊态度： 作者承认该防御是一个“底线 (floor)”，且测得的速率是对残余风险的估计。他们并不声称已经完全解决了提示词注入问题，而是建立了一个可以限制注入后果的边界。
• 实用性： 该系统旨在部署在现有的、未经修改的模型（包括托管 API）上，并且在模型或信任配置发生变化时，仅需重新调优提示词即可。

总之，本文提出了一种从试图通过内部约束使模型“安全”，转向构建一个确定性的外部治理层的转变，该层负责执行信任关系，从而允许 LLM 在多源、对抗性的环境中安全运行。