💻 computer science

BodhiPromptShield: Pre-Inference Prompt Mediation for Suppressing Privacy Propagation in LLM/VLM Agents

本文提出了 BodhiPromptShield 框架，通过策略感知的提示调解机制，在检索、记忆和工具调用等跨阶段流程中检测并延迟恢复敏感信息，从而有效抑制 LLM/VLM 代理中的隐私传播风险。

原作者： Bo Ma, Jinsong Wu, Weiqi Yan

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Bo Ma, Jinsong Wu, Weiqi Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 BodhiPromptShield（菩提提示盾）的新系统，它的核心任务是保护我们在与 AI 助手对话时的隐私。

为了让你更容易理解，我们可以把现在的 AI 系统想象成一个繁忙的跨国物流公司，而用户的提示词（Prompt）就是寄送的包裹。

1. 现在的痛点：包裹在运输途中“泄露”了

以前，我们以为只要把包裹上的寄件人名字涂黑（传统的隐私保护），就安全了。但在这个 AI 物流系统中，问题比这复杂得多：

传统做法的漏洞：传统的隐私保护就像是在包裹刚出厂时涂黑名字。但是，这个包裹在送到最终目的地之前，要经过很多中转站：
- 检索站（Retrieval）：AI 会拿着包裹里的信息去查资料库。
- 记忆站（Memory）：AI 会把包裹里的信息记在笔记本上。
- 工具站（Tools）：AI 可能会调用外部工具（比如查汇率、订机票）。
- 日志站（Logs）：所有的操作都会被记录下来。

问题在于：如果包裹里的敏感信息（比如你的身份证号、家庭住址）在“出厂”时只是简单涂黑，但 AI 在中转站（检索、记忆、工具调用）里又把涂黑的部分还原或者复制到了新的地方，那么隐私就泄露了。就像你涂黑了信封上的地址，但快递员在分拣时把地址抄在了自己的小本子上，或者把包裹里的信纸复印了一份传给第三方。

2. BodhiPromptShield 的解决方案：智能“安检与伪装”系统

BodhiPromptShield 就像是一个超级智能的安检与伪装中心，它不仅仅是在包裹出厂时涂黑名字，而是在包裹进入物流网络之前，就进行精心的处理：

识别敏感物：它先扫描包裹，精准识别出哪些是“危险品”（敏感信息，如姓名、银行卡号、医疗记录）。
三种伪装策略（根据情况灵活选择）：
1. 贴标签（Typed Placeholders）：把“张三”换成 <人名_1>，把"138 开头的手机号”换成 <电话_1>。这样 AI 知道这里有个人，但不知道是谁。
2. 模糊化（Semantic Abstraction）：把“住在北京市朝阳区某小区”模糊成“住在北京市的一个居民区”。保留了位置的大致概念，方便 AI 做决策，但隐藏了具体门牌。
3. 加密代号（Secure Symbolic Mapping）：把敏感信息变成一个只有授权人员（在特定环节）才能解开的乱码代号。
关键创新：延迟解密（Delayed Restoration）：
这是最厉害的一点。以前，AI 可能刚把名字涂黑，转头为了查资料又把名字还原了。BodhiPromptShield 规定：只有到了最后必须执行具体任务（比如真的要去银行转账）
这就好比：包裹在仓库、分拣中心、运输车上时，里面的东西永远是“加密”或“模糊”的；只有到了最终签收台，经过严格授权，才允许打开看真东西。

3. 效果如何？（用数据说话）

论文在一个叫 CPPB 的模拟测试场里做了实验：

泄露率大幅下降：在没有保护的情况下，敏感信息在物流链条（检索、记忆、工具）中的泄露率高达 10.7%。用了 BodhiPromptShield 后，这个泄露率降到了 7.1%。
业务不受影响：最重要的是，这种保护没有让 AI 变笨。AI 依然能准确回答问题（准确率 94%），任务也能成功完成（成功率 92%）。就像包裹被伪装后，快递员依然知道要把货送到哪个城市，只是不知道具体是谁收的。

4. 为什么这很重要？（比喻总结）

想象一下，你去医院看病，医生（AI 助手）需要帮你查医保、记病历、开药方。

以前的做法：医生在病历本上把你的名字涂黑，但在查医保系统、记电子病历、开药单时，又把名字写出来了。结果，你的隐私在医院的各个科室、各个系统里到处“裸奔”。
BodhiPromptShield 的做法：
- 在病历本上，你的名字被替换成“患者 A"。
- 在查医保系统时，系统只看到“患者 A"，查不到你的真实身份。
- 在记电子病历时，只记录“患者 A 有高血压”。
- 只有到了药房发药、或者最后生成正式发票的那一瞬间，经过严格授权，系统才把“患者 A"还原成你的名字。

5. 总结

这篇论文的核心思想是：隐私保护不能只靠“涂黑”，而要靠“控制传播”。

BodhiPromptShield 就像给 AI 系统装了一个智能的“防扩散阀门”。它确保敏感信息在 AI 的“大脑”（记忆）、“眼睛”（检索）和“手脚”（工具调用）里传播时，始终保持伪装状态，直到最后不得不使用真实信息的时刻才解密。

一句话概括：它让 AI 在帮你办事时，“只知其事，不知其人”，直到最后必须知道你是谁的时候，才告诉你“哦，原来是你”。

BodhiPromptShield 技术总结

1. 研究背景与问题定义

背景：
大型语言模型（LLM）和视觉语言模型（VLM）驱动的交互式助手及工具型智能体（Agent）系统日益普及。在这些系统中，用户提示（Prompt）往往包含敏感信息（如个人身份信息、财务数据、医疗记录或图像中的隐私文本）。

核心问题：
现有的隐私保护方案（如训练时的差分隐私或文档边界的脱敏）无法解决推理时（Inference-time）的隐私传播问题。

传播路径： 原始用户提示中的敏感内容不仅会被模型处理，还会进一步传播到检索查询（Retrieval）、记忆写入（Memory）、工具调用（Tool Calls）和系统日志中。
现有缺陷： 传统的文档级脱敏（Redaction）仅关注输入边界，一旦敏感片段被复制到中间状态（如检索索引或内存缓存），即使后续步骤进行了部分保护，隐私泄露风险依然存在。
研究目标： 如何在智能体工作流中，在提示进入下游模型、检索、记忆或工具阶段之前，有效抑制敏感内容的跨阶段传播，同时保留足够的语义结构以支持下游任务的正确执行。

2. 方法论：BodhiPromptShield 框架

BodhiPromptShield 是一个**策略感知（Policy-Aware）**的预推理提示调解框架，旨在在用户输入和下游智能体组件之间建立隐私中介层。

2.1 核心流程

敏感片段提取： 结合规则识别器、命名实体识别（NER）、上下文隐私判断及 OCR（针对图像输入），识别提示中的敏感片段 $S(x)$ ，并标注类别 $c_i$ 和置信度 $p_i$ 。
策略驱动的调解（Mediation）： 根据部署策略（ $\pi$ $π$ ），将敏感片段转换为受保护的代理（Surrogates）。系统提供三种主要模式：
- 类型化占位符（Typed Placeholders）： 如将人名替换为 <PERSON_1>，保留实体类型信息。
- 语义抽象（Semantic Abstraction）： 如将具体地址抽象为“奥克兰的一个住宅地址”，保留上下文语义。
- 安全符号映射（Secure Symbolic Mapping）： 将敏感值替换为不透明但内部一致的令牌，关联到受控的本地映射表 $K$ ，仅在授权边界恢复。
受控恢复（Controlled Restoration）： 延迟敏感信息的恢复，直到到达授权的执行边界（如最终的工具调用），防止其在检索或记忆阶段泄露。
下游推理： 将清洗后的提示 $\tilde{x}$ 发送给下游 LLM/VLM 进行推理。

2.2 策略选择机制

系统引入路由状态 $z_i$ （包含隐私类别、置信度、风险等级、下游是否需精确值等），通过优化目标函数选择最佳清洗模式：
$\min_{\pi, \rho} L_{direct} + \gamma R_{prop} + \lambda L_{utility}$

$L_{direct}$ ：直接暴露风险（Privacy Exposure Rate, PER）。
$R_{prop}$ ：跨边界传播风险（Stage-wise Propagation Exposure, SPE）。
$L_{utility}$ ：下游任务效用损失（Answer Consistency, AC; Task Success Rate, TSR）。

3. 关键贡献

问题重构： 将提示隐私重新定义为传播控制问题而非单一文档掩码问题，明确了智能体各阶段（检索、记忆、工具）间的保护缺口。
策略感知调解机制： 提出了一种结合敏感检测、模式选择和受控恢复的机制，将“恢复时机”作为显式的安全变量，而非事后处理。
传播感知评估协议： 定义了受控提示隐私基准（CPPB），不仅测量直接暴露，还测量跨阶段传播（SPE）、效用保留（AC/TSR）及恢复边界行为。
明确的证据范围： 区分了基于记录的核心结果与受控支持切片，明确了形式化隐私范围（如可选的局部差分隐私分析）与实证结果的边界。

4. 实验结果

在受控提示隐私基准（CPPB）上的评估显示：

传播抑制效果显著：
- 在无保护情况下，敏感内容在检索、记忆和工具阶段的传播暴露率（SPE）均为 100%。
- 使用 BodhiPromptShield（边界恢复策略）后，SPE 从检索阶段的 10.7% 降至工具调用阶段的 7.1%。
- 相比之下，仅使用正则表达式（Regex-only）的基线在工具阶段仍有 59.8% 的暴露率。
隐私与效用的平衡：
- 隐私暴露率（PER）： 提出的效用约束策略 PER 为 9.3%，优于通用脱敏（12.4%），略高于企业级分阶段脱敏（8.1%），但后者无法处理复杂语义。
- 任务成功率（TSR）： 提出的方法 TSR 达到 0.92，显著优于通用脱敏（0.71），且优于企业级分阶段脱敏（0.90）。
- 答案一致性（AC）： 达到 0.94，表明在保护隐私的同时有效保留了下游推理能力。
对抗鲁棒性：
- 针对 Unicode 混淆字符（Homoglyph）攻击，系统通过归一化处理将暴露率从基线的 94.1% 降低至 43.9%。
- 针对上下文推断攻击，虽然无法完全消除（仍保留约 50% 的推断准确率），但显著降低了直接泄露。
多模态支持： 在包含 OCR 提取的文本 + 图像提示中，系统能有效处理图像中的敏感信息，OCR 片段 F1 分数达到 0.90。
延迟开销： 策略感知的平衡模式平均增加约 41ms 的延迟，处于可接受范围。

5. 意义与局限性

意义：

填补空白： 解决了现有脱敏工具无法应对智能体多阶段传播的痛点，为 LLM/VLM 智能体系统提供了实用的推理时隐私防御层。
实用导向： 不依赖复杂的密码学或端到端差分隐私，而是通过架构设计和策略控制，在现有 Agent 栈中实现隐私与效用的最佳平衡。
可部署性： 提供了明确的策略配置（宽松、平衡、严格），适应不同风险场景（如医疗、法律、企业助手）。

局限性：

上下文依赖： 某些高度依赖上下文的敏感片段难以被准确分类，可能导致过度清洗或漏检。
形式化保证有限： 系统主要提供工程层面的传播抑制，而非严格的密码学隐私保证；对提示注入攻击和映射表泄露的防御仍依赖部署卫生。
基准范围： 目前的评估主要基于受控基准（CPPB），在更广泛的公共基准和真实世界复杂场景中的泛化能力仍需进一步验证。

总结：
BodhiPromptShield 提出了一种创新的预推理调解框架，通过策略驱动的敏感内容替换和受控恢复机制，有效抑制了敏感信息在 LLM/VLM 智能体工作流中的跨阶段传播，同时最大程度地保留了任务效用，为构建隐私安全的 AI 代理系统提供了重要的技术路径。