技术摘要：论共享嵌入序列模型中指令与数据的不可分离性

1. 问题陈述

本文探讨了大型语言模型（LLMs）在面对**提示词注入（prompt injection）**时持续存在的脆弱性，即攻击者通过精心设计的用户输入导致模型偏离其预设的系统指令。尽管研究界已经提出了众多防御措施（如指令微调、护栏机制、表示工程），但这些措施始终未能提供鲁棒且长期的保护。作者提出了一个根本性的问题：在当前的共享嵌入架构（shared-embedding architecture）下，实现完美的提示词注入防护在理论上是否可行？

核心问题在于其架构设计：受信任的系统指令与不受信任的用户数据通过一个**共享的表示流水线（shared representational pipeline）**进行处理。在这些架构中，两者通过相同的嵌入函数被映射到同一个向量空间中，一旦进入模型，便消除了“代码”（指令）与“数据”（用户输入）之间任何不可变的区别。

2. 方法论与形式化框架

2.1 提示动作模型 (Prompted Action Model)

作者将系统形式化为一个提示动作模型 $M = (\Sigma, d, E, f, A)$，其中：

• 共享嵌入 ($E$)： 受信任的指令 ($s$) 与不受信任的用户内容 ($u$) 均通过同一个函数 $E: \Sigma \to \mathbb{R}^d$ 进行映射。
• 动作空间 ($A$)： 包括 Token 生成以及控制权威性动作（拒绝、工具调用、策略路由、内存写入）。
• 安全属性（语义忠实控制 - SFC）： 作者将 SFC 定义为：控制权威行为应仅取决于不受信任输入的语义内容，而不取决于其编码中语义无关的变化（例如：混淆、对抗性后缀）。

2.2 理论方法

其证明不可行性的过程依赖于三个不同的理论支柱：

1. 溯源恢复不可行性（Provenance-Recovery Impossibility）： 利用全变分（Total Variation, TV）距离，作者证明了当受信任输入与不受信任输入共享表示空间时，恢复表示来源（溯源）的贝叶斯最优误差严格非零，除非两者的分布是不相交的。
2. 控制路径暴露（Control-Path Exposure）： 他们展示了在标准注意力机制中，不受信任的内容会对控制相关节点的数值聚合（value aggregation）产生贡献（这些节点决定了拒绝或工具使用）。因此，不受信任的数据会因果性地影响控制输出。
3. 有限覆盖不变性间隙（Finite-Coverage Invariance Gap）： 他们认为，由于语义等价类（例如：请求的所有可能编码方式）是无限或超多项式的，而训练数据是有限的，因此任何仅在共享流水线内运行的机制都无法保证在所有可能的编码上实现不变性。

3. 核心贡献

1. 语义忠实控制（SFC）的形式化： 本文将 SFC 定义为智能体系统的最小安全属性，区分了合法的语义依赖（拒绝有害请求）与非法的表示依赖（通过编码技巧绕过拒绝机制）。
2. 不可分离性定理（The Inseparability Theorem）： 作者证明，在缺乏强制控制-数据分离的任何共享嵌入架构中，无法在共享表示流水线内保证完美的 SFC。这是一个不可行性结果，而非对当前训练方法的批判。
3. 与冯·诺依曼架构的结构同构性： 本文在 LLM 中的提示词注入与冯·诺依曼机器中的**缓冲区溢出漏洞（buffer overflow vulnerabilities）**之间建立了精确的类比。正如共享内存会导致代码与数据混淆（从而导致溢出），共享嵌入会导致指令与用户数据混淆（从而导致提示词注入）。
4. 经验性验证： 作者通过测量证实了上述理论假设：
   • 词表重叠（Vocabulary Overlap）： 指令与用户数据语料库共享绝大部分 Token（覆盖率达 61.5%–82.3%），确保了嵌入冲突。
   • 表示重叠（Representation Overlap）： 即使在深层网络中，指令与用户数据的隐藏状态分布也保持着难以区分的状态（具有高 MMD 重叠），尤其是在与控制输出相关的层中。
   • 行为污染（Behavioral Contamination）： 实验表明，即使模型拒绝了有害载荷，不受信任的 Token 仍会改变控制相关的隐藏状态，从而改变输出的框架和长度，证实了控制路径是暴露的。

4. 结果与发现

• 完美预防的不可行性： 核心结论是，任何仅在共享表示流水线内运行的防御措施（如更好的分类器、对齐微调或流水线内过滤）都无法保证完美的提示词注入预防。
• 训练的角色： 当前的防御手段（RLHF、护栏）充其量是提高平均情况表现的“补丁”，但无法消除结构性漏洞。论文引用了**消融（abliteration，即移除拒绝能力的权重手术）**作为证据，证明安全性被编码为共享空间中一个脆弱的方向，而非一个结构化分离的电路。
• 位置/段标记（Positional/Segment Markers）的局限性： 论文证明，位置编码和软段标记（如 [INST]）不足以提供保护，因为它们编码的是位置而非不可变的溯源，且可以被攻击者伪造。
• 定量界限： 作者推导出了一个界限，显示随着攻击者计算预算的增加，区分受信任表示与对抗性表示的能力趋近于随机猜测（TV 距离趋近于 0）。

5. 意义与主张

本文声称，提示词注入不仅是一个需要修复的缺陷，更是一个源于共享嵌入架构的结构性漏洞。

• 架构类比： 其意义在于将提示词注入重新定义为类似于冯·诺依曼机器中“代码-数据混淆”的问题。正如缓冲区溢出需要通过分层防御（堆栈金丝雀、ASLR、NX 位）以及最终转向内存安全语言来遏制，提示词注入则需要架构层面的分离——即指令通道与数据通道的隔离。
• 对防御的启示： 作者认为，仅仅依赖“更好的训练”或“流水线内分类”是不够的。成熟的防御态势必须包括：
  1. 架构缓解措施： 强制执行受信任控制与不受信任内容之间的不可变分离（例如：不相交的编码器、类型化注意力机制）。
  2. 运行时保护： 类似于 ASLR 或堆栈金丝雀的分层防御。
  3. 长期范式转变： 向“语义安全”的表示范式转型，通过构建机制消除共享嵌入带来的混淆。

论文总结道，虽然有用的系统不必忽略用户输入，但如果不实现架构层面的控制分离，完美的预防是不可能的。在实现这种分离之前，提示词注入在集成 LLM 的应用中仍然是一种不可还原的风险。