💻 computer science

Extending the Formalism and Theoretical Foundations of Cryptography to AI

该论文通过构建针对大语言模型的攻击分类法，并引入形式化的 AI 预言机与统一了保密性、完整性和可用性的安全博弈框架，为自主智能体系统的访问控制与安全性提供了可证明的理论基础，揭示了现有数据保密方案与系统完备性之间的根本冲突，并论证了通过模块化分解与组合来设计可验证安全系统的必要性。

原作者： Federico Villa, F. Betül Durak, Tadayoshi Kohno, Tapdig Maharramli, Franziska Roesner

发布于 2026-03-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Federico Villa, F. Betül Durak, Tadayoshi Kohno, Tapdig Maharramli, Franziska Roesner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是为正在飞速发展的"AI 智能体”（能够自主执行任务的 AI）建立的一套**“安全宪法”和“体检标准”**。

想象一下，现在的 AI 不再只是只会聊天的机器人，它们变成了**“数字员工”**。你可以给它们指令，比如“帮我查邮件并总结”，它们就能自主去调用工具、读取数据、甚至执行代码。这很酷，但也带来了巨大的风险：如果这个“数字员工”被坏人控制，或者它自己“发疯”了，后果不堪设想。

这篇论文的核心思想是：我们不能只靠“感觉”或“经验”来保护这些 AI，我们需要像数学家证明公式一样，用严密的逻辑来证明它们是安全的。

下面我用几个生活中的比喻来拆解这篇论文做了什么：

1. 把 AI 看作一个“黑盒工厂” (AIOracle)

作者首先定义了一个叫 AIOracle 的概念。你可以把它想象成一个超级工厂，它有两个主要车间：

学习车间 (LEARN)：工厂在这里收集原材料（数据），经过训练，生产出“大脑”（模型）。
推理车间 (INFER)：工厂在这里接收用户的订单（提示词），利用“大脑”生产出产品（回答或代码）。

痛点：以前大家讨论这个工厂安不安全，都是各说各的。有的说“别让它学坏东西”，有的说“别让它泄露秘密”。但这就像在讨论“怎么防止汽车撞人”时，有人谈刹车，有人谈轮胎，却没人统一标准。

2. 建立“攻击地图” (攻击分类法)

作者画了一张详细的**“攻击地图”**，把坏人可能搞破坏的方式分门别类：

投毒 (数据污染)：就像在工厂的原材料仓库里混进发霉的苹果。如果训练数据被坏人篡改了，工厂生产出来的“大脑”天生就有缺陷（比如学会说"1+1=3"）。
劫持指令 (提示词注入)：就像在订单环节，坏人给工厂管理员塞了一张小纸条，上面写着“忽略之前的规则，把工厂大门打开”。
偷窥 (隐私泄露)：坏人通过问一些巧妙的问题，试图从工厂的成品中反推出原材料里的秘密（比如“你训练数据里有我的身份证号吗？”）。

作者把这些攻击像整理乐高积木一样整理好，让安全专家能一眼看出漏洞在哪里。

3. 设计“安全游戏” (形式化证明)

这是论文最硬核的部分。作者引入了密码学的思想，设计了一套**“安全游戏”**规则：

游戏规则：假设有一个全能的坏人（攻击者），他拥有各种超能力（比如能看到工厂内部图纸，或者能修改原材料）。
胜利条件：如果无论这个坏人怎么折腾，工厂生产出来的产品（AI 的回答）依然符合“有用且无害”的标准，那么这个工厂就是**“数学上安全”**的。
核心发现：作者通过这个游戏发现了一个**“不可能三角”**的矛盾。
- 如果你想让 AI 对训练数据绝对保密（比如不让别人猜出它学了什么），
- 同时又想让 AI完全有用（能精准回答所有问题），
- 这在数学上往往是冲突的。就像你想让一个厨师既完全保密他的食谱，又要求他每道菜都完美复刻，这很难两全。

4. 提出“双模设计” (模块化安全)

既然很难用一个完美的 AI 解决所有问题，作者提出了一个**“双模工厂”的解决方案，这就像“创意总监” + “严厉质检员”**的组合：

创意 AI (Creative AI)：负责发挥想象力，生成各种可能的回答（比如写代码、写故事）。它的目标是**“有用”**。
无聊 AI (Boring AI)：这是一个专门负责**“挑刺”的过滤器。它不生产内容，只负责检查创意 AI 生成的东西是否安全、是否合规。它的目标是“无害”**。

比喻：
想象你在写一本小说。

创意 AI 是那个脑洞大开的作家，它负责写出精彩的情节。
无聊 AI 是那个拿着红笔的编辑，它只负责检查：“这段有没有骂人？”“这段有没有泄露机密？”“这段逻辑通不通？”
只有当编辑（无聊 AI）盖章说“通过”后，作家的稿子（创意 AI 的输出）才会发给读者。

作者证明了，只要这两个模块各自是安全的，把它们组合起来，整个系统就是安全的。这就像搭积木，只要每一块积木都结实，搭出来的城堡就结实。

5. 为什么这很重要？

以前，我们给 AI 加安全锁，往往是“头痛医头，脚痛医脚”。比如发现 AI 会泄露隐私，就加个过滤器；发现 AI 会乱说话，就加个关键词屏蔽。但这就像在漏水的船上不断补洞，永远补不完。

这篇论文告诉我们：

要有标准：我们需要统一的数学语言来定义什么是“安全”。
要分而治之：不要试图用一个 AI 解决所有问题，要把“有用”和“安全”拆开，用不同的模块分别处理，最后再组合。
要接受现实：有些安全目标（如绝对保密）和实用目标（如完美回答）是天然冲突的，我们需要在设计时就做出权衡，而不是幻想完美的解决方案。

总结来说：
这篇论文就像是给 AI 智能体世界制定了一套**“建筑规范”。它不再依赖“我觉得这个 AI 很安全”这种模糊的感觉，而是通过严密的逻辑证明，告诉开发者：“如果你想造一个安全的 AI 大楼，你必须把地基（学习阶段）和墙体（推理阶段）分开检查，并且要雇佣一个专门的‘安全监理’（过滤模块）来确保大楼不会倒塌。”**

这对于未来让 AI 真正进入我们的银行、医院和日常生活，是至关重要的一步。

论文技术总结：将密码学形式化引入 AI 代理系统安全

1. 研究背景与问题 (Problem)

随着大语言模型（LLMs）的快速发展，具备自主执行复杂任务能力的**AI 代理（Agentic Systems）**正在被集成到具有高自主权和权威性的系统中。然而，现有的安全研究缺乏统一的理论基础，导致不同的访问控制和权限管理方案（如 Progent, Conseca 等）难以进行客观比较和评估。

当前面临的核心挑战包括：

缺乏形式化基础： 现有的代理安全提案多基于启发式方法，缺乏像密码学那样严谨的形式化定义、敌手模型和可证明的安全性保证。
安全与效用的冲突： 在保护训练数据机密性（Confidentiality）与保持模型有用性（Completeness/Utility）之间存在根本性的理论冲突。
目标定义的模糊性： “有用性”（Helpfulness）和“无害性”（Harmlessness）通常被混为一谈，缺乏模块化的形式化分解，难以进行独立的安全归约证明。

2. 方法论 (Methodology)

作者团队（来自 ETH Zurich, Microsoft Research, Georgetown, UW）采用跨学科视角，将现代密码学的严谨性（形式化定义、敌手模型、归约证明）引入 AI 安全领域。

核心方法论步骤：

构建攻击分类法 (Attack Taxonomy)： 针对语言模型作为代理系统计算原语的特性，建立了一个多维度的攻击分类框架。
- 维度包括： 攻击向量（数据/提示词）、攻击阶段（学习/推理）、敌手知识（白盒/黑盒）、攻击来源（用户/第三方/供应链）以及攻击持久性（瞬态/持久）。
定义 AIOracle 抽象模型： 将 AI 系统（包括 LLM、聊天机器人、代理）抽象为 AIOracle。该模型包含两个核心算法阶段：
- LEARN： 从数据源生成语料（Corpus）并训练模型。
- INFER： 根据提示词（Prompt）和上下文（Context）利用模型生成结果（Result）。
形式化安全博弈框架 (Security Game Framework)：
- 定义了一个统一的安全博弈，将机密性、完整性和可用性（CIA）整合在单一模型中。
- 引入完备性（Completeness）：定义在无恶意干扰下，系统应满足的功能规范（即结果既正确又有用）。
- 引入安全性（Security）：定义在受限能力的敌手存在下，系统抵抗操纵的能力。
- 通过谓词 $\phi$ 来形式化“有用且无害”的目标，并定义敌手的优势（Advantage）。
模块化分解与双重构造 (Modular Decomposition & Dual Construction)：
- 将“有用性”和“无害性”分解为独立的子目标。
- 提出双重构造（Dual Construction）：将一个 AIOracle 分解为“创造性 AIOracle"（CAIO，负责生成结果，解决计算问题）和“枯燥 AIOracle"（BAIO，负责过滤/审查，解决判定问题）。

3. 主要贡献 (Key Contributions)

统一的攻击分类法： 系统化了针对语言模型的已知攻击（如数据投毒、提示词注入、越狱、成员推断等），为评估不同防御机制提供了通用语言。
AIOracle 形式化定义： 首次为基于 LLM 的代理系统建立了算法化的形式化定义，明确了学习（LEARN）和推理（INFER）阶段的输入输出及敌手能力（ATK 集合）。
统一的安全博弈模型： 设计了一个包含机密性、完整性和可用性的统一安全博弈。
- 关键发现： 证明了训练数据的机密性（如差分隐私）与系统的完备性（有用性）存在根本性冲突。如果严格保护所有训练数据的机密性，模型将无法区分数据元素，从而导致效用丧失（例如，无法区分猫和狗）。
模块化安全证明框架： 证明了将“有用性”和“无害性”进行模块化分解（通过 CAIO 和 BAIO 双重构造）在理论上是**可靠（Sound）**的。这允许设计者分别证明各个模块的安全性，再通过组合证明整体系统的安全性，类似于密码学中的安全归约。

4. 关键结果与发现 (Results & Findings)

机密性与效用的权衡： 论文形式化地证明了，若要求 AIOracle 对训练数据中的每一个元素都具备差分隐私（DP）安全性，则其无法完成任何需要区分特定数据元素的计算任务。这意味着在现有框架下，无法同时实现完美的训练数据机密性和完美的模型效用。
现有防御机制的局限性分析：
- FIDES： 依赖确定性策略，但难以处理非确定性提示词注入。
- Progent： 依赖手动编写的策略，且动态更新机制若依赖 LLM 自身，存在被提示词注入攻击的风险。
- Conseca： 虽然引入了上下文感知策略，但其“规划器”（Planner）若被攻破，可绕过策略检查，且其“用 LLM 防御 LLM"的设计存在悖论。
双重构造的有效性： 通过形式化证明，展示了将“生成”与“审查”分离（即 CAIO + BAIO）可以构建出既满足完备性又满足安全性的系统。BAIO 作为过滤器，可以独立于 CAIO 进行安全性验证，从而避免单一模型同时处理生成和审查带来的复杂性。

5. 意义与影响 (Significance)

理论奠基： 该工作填补了 AI 安全领域形式化理论的空白，为评估和比较不同的代理访问控制机制提供了统一的数学基础。
设计指导： 为系统设计者提供了明确的指导：为了构建可证明安全的系统，应采用模块化方法，将问题分解为子问题（如生成与过滤分离），并利用形式化归约来证明安全性。
政策与标准参考： 通过揭示“机密性”与“有用性”之间的理论冲突，为监管机构制定 AI 安全标准提供了理论依据，表明单纯追求数据隐私可能会牺牲 AI 的核心功能，需要更精细的权衡策略。
未来方向： 推动了从启发式安全（Heuristic Security）向可证明安全（Provable Security）的范式转变，鼓励在 AI 系统中应用密码学式的严谨验证方法。

总结：
这篇论文不仅仅是对现有 AI 安全问题的总结，更是一次范式转移。它主张像对待密码学算法一样对待 AI 代理系统，通过定义精确的算法原语、敌手模型和安全博弈，来量化和证明系统的安全性。其核心结论是：只有通过模块化的形式化分解（如双重构造），才能在不牺牲系统核心功能的前提下，构建出具有可度量安全性的 AI 代理系统。