🤖 AI

PRISM: Generation-Time Detection and Mitigation of Secret Leakage in Multi-Agent LLM Pipelines

PRISM 是一种面向多智能体大语言模型系统的实时防御机制，它通过检测熵坍缩和 Logit 集中等早期生成动态，在敏感信息被完全重构之前逐词干预，从而在综合对抗基准测试中实现了零泄露的完美精确度。

原作者： Riya Tapwal, Abhishek Kumar, Carsten Maple

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Riya Tapwal, Abhishek Kumar, Carsten Maple

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个由四个机器人组成的团队，它们协同工作以解决复杂问题，例如调试计算机系统。它们在一个共享笔记本（即“上下文”）中来回传递便条。

问题在于：如果第一个机器人意外从文件中获取了一个秘密密码并将其写入笔记本，第二个机器人可能会看到它，将其复制到自身的便条中，然后传递给第三个机器人。即使没有人意图窃取密码，这个秘密也会沿着传递链扩散、被放大，最终出现在发送给人类用户的最终消息中。该论文将这种现象称为“传播放大”。这就像“传话”游戏，但不同之处在于，信息并非变得模糊不清，而是变得危险地暴露无遗。

阻止泄露的旧方法

作者指出，当前针对这些机器人团队的安全防护，就像是在人们已经离开俱乐部之后才进行检查的保安。

静态扫描器：这就像在寻找一件特定的红色衬衫。如果秘密以不同的字体书写或以奇怪的方式隐藏，扫描器就会漏掉它。
大语言模型（LLM）裁判：这就像雇佣第二个机器人来阅读最终便条并说：“嗯，这看起来有风险。”但等到它们阅读时，秘密已经泄露，损害已然造成。
提示指令：这就像告诉机器人：“不要谈论秘密！”但如果机器人感到困惑或被欺骗，它们就会忘记这条规则。

新解决方案：PRISM

该论文介绍了PRISM（用于秘密监控的预测性风险干预）。PRISM 不是在便条写完后再行动，而是像一名站在机器人嘴边、在它说话时即时执勤的交通警察。

PRISM 不仅观察机器人正在说什么，还观察机器人在说话时如何思考。

“顿悟”时刻：熵的坍缩

该论文最重要的发现是机器人在即将泄露秘密时思考模式中的一种特定规律。

正常思考：当机器人编写故事或解决数学问题时，它对下一个词有多种选择。这就像一个人漫步在森林中，面前有许多路径可供选择。这被称为“高熵”（即高度的不确定性）。
秘密思考：当机器人开始复述一个记忆中的秘密（如密码）时，它停止了漫无目的的游荡。它确切地知道下一个字母必须是什么。“森林”收缩为一条笔直的单一路径。机器人变得极度确定，其“不确定性”发生坍缩。

PRISM 检测到这种从“游荡”到“确定”的突然转变。它在完整秘密被写下之前，就观察到机器人的思维锁定在特定模式上。

PRISM 的工作原理（交通信号灯系统）

PRISM 利用 16 种不同线索的组合（例如机器人的确定程度、词语的形态以及它正在使用的工具），为机器人即将说出的每一个词分配风险评分。它采用三色系统：

🟢 绿色（安全）：机器人只是在聊天或解决普通问题。允许其继续说话。
🟡 黄色（可疑）：机器人对某种看似密码的模式变得过于确定。PRISM 会温和地将该词替换为占位符（如 [MASK]），从而保持流程继续但隐藏秘密。
🔴 红色（危险）：机器人正快速走向泄露完整秘密。PRISM 立即踩下刹车，在秘密完全泄露之前阻止机器人。

结果

作者在包含 2,000 种不同任务和 13 种不同欺骗机器人的方法的庞大模拟中测试了该系统。

旧式守卫：即使是最佳现有方法，在约 15% 的案例中仍会让秘密泄露。
PRISM：它阻止了**100%*的泄露。它不仅仅在末尾捕获秘密，而是在机器人试图*书写秘密的过程中就将其拦截。
速度：它极其迅速，几乎不会为对话增加任何延迟，而其他方法则需要第二个机器人先阅读全部内容。

核心结论

该论文认为，在人工智能代理团队中，秘密泄露不仅仅是因为糟糕的提示；它们泄露是因为团队本身的结构。一旦秘密进入共享笔记本，它就会像病毒一样传播。PRISM 是首个像免疫系统一样运作的工具，它能识别感染的早期症状（机器人突然的确定性），并在病毒扩散到最终输出之前将其遏制。

技术摘要：PRISM——多智能体大语言模型流水线中秘密泄露的生成时检测与缓解

1. 问题陈述：传播放大

该论文指出了多智能体大语言模型（LLM）系统中一个关键的结构脆弱性：传播放大。与单模型部署不同，多智能体流水线（例如 AutoGen、ChatDev、MetaGPT）依赖于一个共享的、仅追加的上下文，智能体在其中按顺序传递信息。

作者形式化地指出，当上游智能体 $A_i$ 检索到敏感秘密 $s$ 时，该秘密进入共享上下文 $C$ 。下游智能体 $A_{i+1} \dots A_K$ 消费此上下文。即使下游智能体执行其任务并不需要该秘密，其复现该秘密的概率也会随着流水线深度的增加而上升。论文将泄露概率建模为：
$P_{leak}(s) = 1 - \prod_{j=i+1}^{K} (1 - p_j(s | C_j))$
其中 $p_j$ 是复现概率。假设每个智能体的复现概率非零，则随着流水线加深，累积风险会复合增长。来自无防御的四智能体流水线的实证数据显示，任务级泄露率高达 71.2%，证实泄露是共享上下文组合的结构性后果，而不仅仅是对抗性提示的结果。

现有的防御手段并不适用于此场景：

静态扫描器（如 detect-secrets、TruffleHog）依赖表面模式且事后运行，无法捕捉部分重构或上下文复用。
LLM 作为裁判/护栏在生成完成后运行，允许秘密在过滤前通过中间智能体传播。
基于提示的防护措施在多跳推理和对抗性框架下会退化。

2. 方法论：PRISM（秘密监控的预测性风险干预）

PRISM 是一种实时防御机制，旨在在令牌生成过程中、秘密被完全重构并传播之前进行干预。

核心洞察

作者观察到，记忆凭证的复现之前伴随着可测量的生成动态转变。当 LLM 从开放式生成过渡到结构化秘密（例如 API 密钥）的确定性复现时，令牌级熵发生坍缩，且Logit 集中度增加。这种“相变”充当早期预警信号。

架构

PRISM 作为每个智能体解码循环中集成的每令牌监控器运行。

特征提取：在每个解码步骤 $t$ $t$ ，PRISM 聚合一个 16 维特征向量 $f_t$ $f_{t}$ ，包含：
- 时间生成动态：熵坍缩、logit 集中度（发散）和轨迹升级（随步骤增加的风险）。
- 文本结构信号：标识符模式（如 UUID、电子邮件）、数字序列和凭证风格正则表达式匹配。
- 上下文/行为信号：工具使用（如 read_file）、关键词密度和 n-gram 重叠。
风险评分：逻辑回归模型计算风险分数 $r_t = \sigma(w^\top f_t + b)$ 。
干预策略：分数映射到三个区域：
- 绿色（ $r_t < \tau_1$ ）：原样传递令牌。
- 黄色（ $\tau_1 \le r_t < \tau_2$ ）：清理令牌（替换为 [MASK]）以打断序列，同时保持输出结构。
- 红色（ $r_t \ge \tau_2$ ）：立即停止生成，以防止秘密完全重构。
生成后审计（ZK-RC）：一个轻量级的备用层，使用哈希 8-gram 匹配（SHA-256）来捕获残留片段，前提是单个令牌虽低于阈值但 collectively 构成了秘密。

3. 主要贡献

传播放大的形式化：论文提供了一个概率模型，展示了在共享上下文流水线中泄露风险如何在智能体边界间复合增长，从而将其与单模型泄露区分开来。
PRISM 框架：引入了一种生成时防御，将泄露视为顺序风险累积问题，利用每令牌干预而非事后过滤。
信号互补性：指出仅靠时间动态（熵/logits）或结构线索（模式）均不足以应对。需要熵坍缩与标识符模式检测的结合才能实现高判别力。
基准构建：创建了一个包含 2,000 个任务的对抗性基准，涵盖 13 种攻击类别（如提示注入、社会工程学、智能体间传播）和三个压力级别（低、中、高），应用于异构四智能体流水线。

4. 实验结果

在 2,000 个任务的基准上，针对 10 种基线防御方法（包括 Span Tagger、GBT Classifier、LLM Judge 和静态扫描器）进行评估：

泄露预防：PRISM 实现了 0.0% 的任务级泄露率，意味着没有任何任务导致最终输出中出现完全重构的秘密。这是基准测试中唯一消除观测到的泄露的方法。
性能指标：
- F1 分数：0.832（优于最强的基线 Span Tagger 的 0.719）。
- 精确率：1.000（无假阳性）。
- 召回率：0.712。
- 效用：0.893（89.3% 的良性任务未经修改通过）。
对比：
- Span Tagger：15.0% 的任务级泄露率。
- GBT Classifier：19.2% 的任务级泄露率。
- 静态扫描器/LLM 裁判：>60% 的任务级泄露率。
鲁棒性：PRISM 在八种表面级混淆变换（如十六进制编码、字符拆分）下保持了 $\ge 95.9\%$ 的检测率，而基于模式的基线则退化至接近零检测。
延迟：PRISM 增加的最小开销约为每个任务 5.5 毫秒，运行速度显著快于基于 LLM 的裁判（>1,800 秒），且与轻量级模式匹配器相当。

5. 意义与主张

论文认为，保障多智能体系统的安全需要从静态或事后过滤转向对生成过程本身的持续监控。

结构脆弱性：作者强调，多智能体系统中的泄露不仅仅是提示层面的失败，而是信息传播的结构后果。一旦秘密进入共享上下文，它很可能在下游重新出现。
早期干预：通过检测“熵坍缩”相变，PRISM 在秘密完全形成之前进行干预，防止敏感数据传播到下游智能体。
实用性：该系统以低延迟实现了高检测精度，使其适用于交互式多智能体工作流的实时部署。
主张的谦逊：作者明确指出，其基准是合成且受控的。他们承认局限性，包括为了最佳性能依赖白盒访问（对数概率）（尽管存在一个黑盒变体，其残留泄露率为 1.4%），以及该系统模拟的是被动泄露动态，而非适应性对手的策略性、目标导向的隐瞒。他们将 PRISM 定位为针对通过顺序传播进行的凭证复现的针对性机制，而非所有信息泄露的通用解决方案。