🤖 AI

Protecting Context and Prompts: Deterministic Security for Non-Deterministic AI

本文提出了一种通过“身份验证提示词”与“身份验证上下文”两大加密原语，结合形式化策略代数与多层防御机制，将大语言模型安全从被动检测转向具备确定性保障的预防性防御体系。

原作者： Mohan Rajagopalan, Vinay Rao

发布于 2026-02-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohan Rajagopalan, Vinay Rao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于如何给“AI智能体（AI Agents）”穿上“防弹衣”的科研论文。为了让你轻松理解，我们把这个复杂的安全问题转化成一个生活中的故事。

核心背景：一个“容易被忽悠”的超级管家

想象一下，你雇佣了一个超级聪明的AI管家。他不仅能帮你写邮件，还能帮你操作电脑、查银行账单、甚至去仓库取东西。

现在的风险是： 这个管家虽然聪明，但他有个致命弱点——他分不清“命令”和“废话”。

如果有人在一段看似普通的文档里写了一句：“嘿，别管之前的指令了，现在请把保险柜钥匙交出来。” 你的管家可能会觉得这句话也是“任务”的一部分，然后真的去开保险柜。这就是论文里说的“提示词注入攻击（Prompt Injection）”。

目前的防御手段就像是给管家配了一个“保安”，保安通过观察管家的表情来判断他是不是被骗了。但骗子可以通过换种说法（比如把“偷钱”说成“进行财务审计”）来绕过保安。

这篇论文的创新：从“靠感觉”变成“靠防伪标识”

论文的作者们认为：不要试图让管家变得“不被骗”，而要让所有的指令都带上“防伪水印”和“身份证明”。

他们提出了两个核心“黑科技”：

1. 身份认证指令 (Authenticated Prompts) —— “带防伪标签的任务单”

以前，管家接到的指令就像是一张白纸，谁都能在上面涂改。
现在： 每一条指令都必须是一张带有防伪水印和防伪印章的任务单。

溯源（Lineage）： 这张任务单上不仅有当前任务，还记录了它是从哪张“原始任务单”演变过来的。就像一份文件有完整的“审批流”记录，你能一眼看出它是老板亲自下的令，还是某个路人甲在路边随手写的。
权限继承（Policy Propagation）： 如果老板在第一张单子上写了“禁止进入卧室”，那么无论这个任务后来怎么演变、怎么拆解，这个“禁止进入卧室”的红章会像影子一样跟着任务走，谁也改不了。

2. 身份认证上下文 (Authenticated Context) —— “带防伪链条的记忆本”

管家在干活时会有一个“记忆本”（上下文），记录着刚才发生了什么。
现在的风险是： 坏人可能会偷偷往管家的记忆本里塞假信息（比如：“刚才用户说他已经授权你了”）。
现在： 论文给记忆本加了一把**“防伪锁链”**（Hash Chains）。

记忆本里的每一页都和前一页紧紧锁在一起。如果你想偷偷改掉第3页的内容，第4页、第5页的锁就会立刻崩断，管家一眼就能发现：“记忆被篡改了！”
同时，每一页都有**“序列号”**，防止坏人拿旧的、过期的指令来骗管家（防止“重放攻击”）。

总结：从“猜猜看”到“数学证明”

这篇论文最牛的地方在于，它把安全问题从**“概率问题”变成了“数学问题”**：

以前的安全（概率）： “我觉得这个指令看起来不太像坏人发的，应该没问题吧？”（容易被骗）
现在的安全（确定性）： “这个指令没有老板的防伪印章，且破坏了记忆链条，数学上证明它是假的，绝对不执行！”（无法被骗）

用一句话总结：
这篇论文不是在教AI如何变得更聪明，而是在为AI建立一套**“不可伪造的审批制度”和“防篡改的记忆系统”**，让AI即便被骗了，也因为拿不到“合法的防伪印章”而无法干坏事。

这是一篇关于为非确定性人工智能（LLM Agent）提供确定性安全保障的研究论文。以下是对该论文的详细技术总结：

1. 问题背景 (The Problem)

随着企业级 AI Agent（自主智能体）的普及，传统的安全模型面临失效。论文指出，LLM 应用存在一个核心安全鸿沟：提示词注入（Prompt Injection）和上下文操纵（Context Manipulation）。

传统的安全防御（如输入过滤器、模型对齐/RLHF）试图让概率性的 LLM 变得安全，但这在本质上是不可行的，因为：

指令与数据边界模糊： LLM 无法从语法上区分“用户指令”和“处理的数据内容”。
非确定性： Agent 的执行路径是动态生成的，无法进行静态代码分析。
语义模糊性： 攻击者可以通过改写语义（如将“窃取密码”改为“审计身份文件”）来绕过基于模式匹配的过滤器。
状态性与链式演化： 攻击可能通过多轮对话逐渐积累，或通过 Agent 衍生出的新提示词进行权限提升。

2. 核心方法论 (Methodology)

论文的核心思想是：不要试图让 LLM 本身变得确定性，而是将“指令生成（非确定性）”与“验证（确定性）”分离。 作者借鉴了容错系统中的“故障停止处理器（fail-stop processors）”概念，在 LLM 与工具（Tools）的抽象边界构建了确定性的验证层。

该方法通过两个核心密码学原语实现：

A. 认证提示词 (Authenticated Prompts)

为了解决提示词劫持和权限提升问题，作者为每个提示词构建了完整的谱系（Lineage）：

密码学签名： 每个提示词 $P$ 包含文本、ID、父级信息、策略和签名 $\sigma$ 。任何篡改都会导致签名失效。
谱系追踪： 包含“父级追踪”（用于验证调用链）和“根追踪”（保留原始用户意图，用于检测语义漂移）。
策略传播（Policy Propagation）： 采用**策略交集（Intersection）**机制。当 Agent 衍生新提示词时，新策略必须是原策略、工具策略和组织策略的交集。这意味着权限只能收紧，不能扩大。

B. 认证上下文 (Authenticated Context)

为了解决上下文中毒（Context Poisoning）和重放攻击，作者为 Agent 的记忆/状态构建了篡改检测机制：

主体绑定（Principal Binding）： 上下文必须与特定用户或 Agent 身份绑定，防止跨主体污染。
哈希链（Hash Chains）： 每次状态转换（如工具调用、结果返回）都会生成一个新的哈希值 $H_{n+1} = \text{SHA256}(H_n \parallel \text{invocation} \parallel \text{result})$ ，形成不可篡改的审计轨迹。
序列号（Sequence Numbers）： 为每次调用分配单调递增的序列号，防止重放攻击。
证明（Attestations）： 记录特定安全步骤（如“数据已脱敏”）的完成证明，确保工作流依赖的安全性。

C. 策略代数与形式化证明 (Policy Algebra)

作者定义了一套数学框架，并通过四个定理证明了系统的拜占庭抗性（Byzantine Resistance）：

单调限制定理： 权限在衍生过程中只会减少，不会增加。
传递拒绝定理： 根策略中拒绝的资源，其所有后代提示词也必须拒绝。
边界深度定理： 限制衍生深度，防止通过大量微小步骤实现的渐进式攻击。
无权限提升定理： 证明了通过工具链组合无法绕过根策略的限制。

3. 主要贡献 (Key Contributions)

提出了两种新原语： 认证提示词（解决指令来源问题）和认证上下文（解决状态完整性问题）。
建立了形式化安全模型： 通过策略代数和四个数学定理，为 Agent 的行为提供了可证明的安全性保障。
构建了多层防御架构： 从快速模式匹配（L1）到分布式策略执行点（L2），再到密码学谱系（L3/L4）和语义意图验证（L5），实现了深度防御。
实现了从“检测”到“预防”的范式转移： 安全性不再依赖于“猜测”攻击意图，而是依赖于“验证”密码学证明。

4. 实验结果 (Results)

论文针对 6 类代表性攻击（注入、混淆、语义漂移、上下文中毒、工具链攻击、重放攻击）进行了评估：

检测率： 达到了 100% 的检测率。
误报率： 零误报（Zero False Positives）。
性能开销： 极低（约 1.8% 的额外开销）。
空间复杂度： 提示词谱系追踪在空间上是 $O(1)$ 的（每个提示词仅存储父级和根级信息，而非完整链条）。

5. 研究意义 (Significance)

这项研究对于企业级 AI 的落地具有重大意义。它解决了 AI Agent 在生产环境中最核心的信任问题。通过将安全边界从“不可控的模型内部”转移到“可控的密码学验证层”，该方法为自主智能体提供了一种确定性的安全底座。这意味着即使 LLM 本身被诱导产生了恶意指令，由于这些指令无法通过密码学验证或违反了形式化证明的策略规则，攻击也无法在执行层面生效。