💻 computer science

Dependency-Aware Privacy for Multi-turn Agents

RootGuard 是一种新颖的多轮大语言模型智能体隐私框架，它一次性清洗私有根值并确定性推导后续输出，从而防止跨轮次隐私退化，并相较于现有的独立加噪方法实现了显著更优的隐私 - 效用权衡。

原作者： Divyam Anshumaan, Sarthak Choudhary, Nils Palumbo, Somesh Jha

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Divyam Anshumaan, Sarthak Choudhary, Nils Palumbo, Somesh Jha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名患者，正在访问一位数字健康助手（一个"LLM 智能体”）。你需要分享敏感的个人数据，例如血压、体重或化验结果，以便助手计算诊断或风险评分。然而，该助手所调用的服务（即“对抗性服务”）可能并不可信。它们可能是黑客，可能受到法律命令的胁迫，或者仅仅出于好奇，试图将你分享的数据拼凑起来以还原你的真实身份。

问题：独立噪声的“漏桶”

目前，大多数隐私工具的工作原理就像一个漏桶。每次助手向服务发送一个数值时，它都会添加一点“杂音”（噪声）来掩盖真实值。这被称为独立加噪。

这里的缺陷在于：

第 1 轮： 你分享身高。助手添加杂音。
第 2 轮： 你分享体重。助手添加新的、不同的杂音。
第 3 轮： 服务询问你的 BMI（身体质量指数）。助手根据你的含噪身高和体重计算出 BMI，然后在发送结果前再添加更多杂音。

对攻击者而言，这就像一场寻宝游戏。他们获得了同一底层真相的多次独立 glimpses（瞥见）。如果他们两次询问同一件事，或者在询问了组成部分（身高/体重）后询问派生值（如 BMI），他们就可以对杂音进行平均。这就像试图通过墙壁听清一个秘密数字；如果你听到它被三种不同的背景杂音分别低声说了三次，你最终就能推断出真实的数字。攻击者迫使的轮次越多，他们获得的“泄漏”就越多，你的隐私就越少。

解决方案：RootGuard（“主蓝图”）

论文提出了一种名为RootGuard的新系统。RootGuard 不再每次发送数值时都添加噪声，而是彻底改变了策略。

类比：主蓝图
想象你有一份秘密食谱（你的私人数据）。

旧方法（独立加噪）： 每次你把食谱副本送给一位厨师时，你都在纸上乱写一些随机笔记，撕掉一个角，并弄脏墨水。如果你把它送给 10 位厨师，你就有了 10 个不同的模糊版本。一个聪明的观察者可以比较这 10 个版本来猜测原始食谱。
RootGuard 方法： 你拿出秘密食谱，仅一次在原始主副本上乱写笔记。然后，你将这份“含噪主副本”锁进保险箱。
- 当厨师 A 询问食材时，你给他们一份含噪主副本的复印件。
- 当厨师 B 询问最终菜肴时，你使用含噪主副本进行计算，并将结果给他们。
- 如果厨师 A 再次询问，你给他们完全相同的复印件。

因为攻击者看到的每一条信息都来自那一份含噪主副本，所以他们无法通过提出更多问题来获知任何新内容。无论他们问 1 次还是 1,000 次，他们看到的都只是同一张充满杂音的图像。隐私保障在最初那一刻就被锁定。

“双重不对称”优势

论文强调了一个有趣的转折，称为双重不对称：

对攻击者而言（独立加噪）： 他们每多问一个问题，工作就变得更容易。他们获得更多数据点来平均掉噪声。他们猜测你真实数据的能力随着每一轮而增强。
对你而言（RootGuard）： 攻击者每多问一个问题，实际上会让系统对你更好（在效用方面）。由于攻击者迫使系统使用更大的总“隐私预算”（允许更多的噪声），RootGuard 可以将这个更大的预算分散到你的数据根节点上。这意味着每个根节点的噪声可以更低，从而使医疗计算更准确，同时你的隐私保持不变。

简而言之： 攻击者越是试图窥探，在 RootGuard 下你的医疗结果就越准确，而他们猜测你秘密的能力却保持不变。在旧方法下，他们越是窥探，学到的就越多。

利用“领域知识”变得更智能

RootGuard 不仅仅是一个静态锁；它是一个智能锁，能够理解你数据之间的关系。

第 1 级（依赖性）： 如果你知道 BMI 仅仅是基于身高和体重的数学公式，RootGuard 就会意识到不需要单独为 BMI 添加噪声。它只需从含噪的身高和体重计算 BMI。这节省了“隐私预算”（即允许添加多少噪声的额度），以便将其用在最关键的地方。
第 2 级（敏感性）： 某些数值对特定诊断比其他数值更重要。RootGuard 查看医疗公式（例如“肝纤维化评分”），并问道：“哪个输入对结果的影响最大？”然后，它给予敏感输入更多的隐私预算（更多噪声），而对那些不那么重要的输入给予更少的预算。这既保持了最终诊断的准确性，又保护了最关键的秘密。

结果：论文发现了什么

作者使用来自 CDC 的真实健康数据，在8 种不同的医疗场景（如计算肝病风险、心脏病风险或贫血）上测试了该方法。

准确性： 与旧的“独立噪声”方法相比，RootGuard 在生成正确医疗诊断方面的准确性高出 2.6 到 3.8 倍。
隐私性： 当攻击者试图通过提出许多问题来重建你的真实数据时，旧方法彻底失败（他们的猜测随着每个问题而大幅改善）。RootGuard 则保持完全不变；攻击者在问了 16 个问题后学到的内容，与问第一个问题时学到的完全一样。
现实世界测试： 他们甚至通过一个真实的 AI 智能体（GPT-5.4 nano）进行工具调用来运行此测试。结果完全成立，证明这不仅仅是理论——它在实时的多轮对话中行之有效。

核心结论

RootGuard 将你的私人数据视为单一事实来源，仅在根节点处进行一次保护。其他所有内容都只是从该受保护源派生出的计算结果。这防止了攻击者通过以不同方式提出相同问题来“破解密码”，确保你的隐私不会仅仅因为你需要与数字助手进行长时间对话而退化。

技术摘要：面向多轮大语言模型代理的依赖感知隐私保护

问题陈述

将大语言模型（LLM）代理集成到敏感领域（医疗、金融、法律）中，创造了一个新的隐私攻击面。用户将任务委托给通过模型上下文协议（MCP）等协议与多个外部服务交互的代理。在多轮工作流中，攻击者可以结合独立的数据发布来重构用户的私有属性。

现有的清洗方法，如 Prϵmpt 和 CAPE，依赖于度量差分隐私（mDP），但将每次数据发布视为独立事件。这种独立性假设在多轮场景中失效：

良性泄露：跨平台冗余（向两个服务发送相同的根值）或结构冗余（分别发送根值和派生值）导致隐私预算随服务数量或派生函数数量线性增长。
恶意泄露：攻击者可以强制重复查询以平均化噪声（ $1/\sqrt{q}$ ），或请求任意派生函数。对于医疗和金融工作流中常见的非线性函数（例如 BMI、FIB-4），对派生值进行独立加噪会通过函数的 Lipschitz 常数（ $L$ ）放大底层根值的可区分性，可能使名义隐私参数超出数个数量级。

核心问题在于，如果不追踪发布之间的依赖关系，无论泄露是良性的还是恶意的，每一次额外的交互都会使用户的隐私超出名义预算而恶化。

方法论：RootGuard

作者提出了 RootGuard，这是一种专为多轮代理交互设计的依赖感知隐私机制。其核心原则是仅对私有“根”值进行一次清洗，并基于这些加噪后的根值确定性计算所有后续发布。

系统架构

初始化：用户代理识别敏感根值（ $X$ ），并使用差分隐私机制（ $M_\epsilon$ ）对其进行一次性清洗。这些加噪值（ $\hat{X}$ ）存储在清洗缓存中。
每轮操作：当攻击者请求一个值时：
- 如果请求的是根值，则返回缓存中的加噪值。
- 如果请求的是派生值，则根据缓存中的加噪根值确定性计算得出。
- 初始化后不再抽取新的噪声。
信任边界：攻击者仅与清洗缓存交互。根据差分隐私的后处理定理，无论交互轮数（ $t$ ）或请求的函数（ $f$ ）如何，攻击者的视图都不会比初始根值清洗包含更多信息。

利用结构知识

RootGuard 利用公共领域知识来优化隐私与效用的权衡，而不削弱保证：

第 1 级（根间依赖）：如果声明的根值是其他值的确定性函数（例如由身高和体重计算 BMI），代理将识别出真正的独立根值。依赖根值从加噪的父值重新计算，以零边际成本继承隐私（定理 3）。
第 2 级（目标敏感性）：如果已知中间目标函数 $g$ （例如临床公式 FIB-4），代理会根据根值对目标的敏感性分配隐私预算 $\epsilon_i$ 。分配遵循敏感性加权规则： $\epsilon_i \propto (|h_i| \cdot D_i)^{1/2}$ ，其中 $h_i$ 是目标函数关于根 $i$ 的偏导数， $D_i$ 是定义域宽度。这最小化了最终临床决策中的预期误差。

理论保证

定理 1（DAG 隐私保证）：隐私保证仅取决于根值清洗参数，与攻击者选择的函数或交互轮数无关。
定理 2（可区分性放大）：证明对派生值进行独立加噪会通过函数的 Lipschitz 常数 $L$ 放大父根值的可区分性。
定理 3（隐含隐私）：证明对根值加噪并后处理以派生值，提供的隐私保护至少与直接对派生值加噪一样强。

主要贡献

多轮代理隐私的形式化：本文形式化了多轮交互的隐私博弈，并证明 RootGuard 的保证与攻击者的查询次数和函数选择无关。
放大与继承的证明：证明了独立对派生值加噪会放大隐私损失（定理 2），而协调的根值加噪允许派生值免费继承隐私（定理 3）。
敏感性加权分配：一种基于目标函数敏感性分配隐私预算的方法，在保持形式化保证的同时最小化目标误差。
实证验证：在 8 个医疗诊断模板（源自 NHANES 数据）和完整的端到端 LLM 部署（GPT-5.4 nano）上进行了广泛实验，验证了该机制。

实验结果

评估将 RootGuard 配置（M-Roots, M-Opt）与独立加噪（M-All）在三个研究问题下进行了比较：

RQ1：目标效用

指标：加权平均绝对百分比误差（wMAPE）和风险类别误差（RCE）。
发现：RootGuard 显著优于独立加噪。在 $\epsilon = 0.1$ 且预算为 $B = (2k+1)\epsilon$ 时，与 M-All 相比，M-Opt 实现了 2.6 倍更低的 wMAPE（7.8% 对比 20.3%）和 2.2 倍更低的风险类别误差（7.0% 对比 15.7%）。
双重不对称性：随着攻击者强制更多轮次（ $t$ ），RootGuard 的效用提升（每个根值可用的预算更多），而 M-All 的隐私恶化（独立观测的累积）。

RQ2：重构攻击

指标：在最大后验（MAP）攻击者下的重构 wMAPE。
发现：在 M-All 下，随着查询次数（ $q$ ）增加，重构误差降低（例如，在 $\epsilon_r=0.1$ 时，随着 $q$ 从 1 增加到 16，误差从 10.2% 下降到 3.2%）。在 RootGuard 下，重构误差对 $q$ 保持不变，因为重复查询返回相同的缓存值。

RQ3：结构分析

发现：RootGuard 的优势在“压缩”公式（如 FIB-4、HOMA）中最为明显，其中目标函数会衰减根噪声。预算分配遵循预测的幂律 $\epsilon_i \propto (|h_i| \cdot D_i)^{0.5}$ ，证实了敏感性加权策略。

RQ4：端到端部署

设置：使用 GPT-5.4 nano 代理在 21,600 个会话中进行真实世界模拟。
发现：机制层面的发现转移到了 LLM 部署中。性能排序（M-Opt > M-Roots > M-All）保持不变，且零会话级合规失败（无解析错误或格式错误的响应）。

意义与主张

本文主张 RootGuard 从根本上改变了多轮代理交互中的隐私 - 效用权衡。通过从无状态的独立清洗转变为有状态的依赖感知方法，RootGuard 确保：

隐私恒定：无论攻击者强制多少轮次或计算什么函数，他们都不会获得额外信息。
效用随轮次提升：额外的交互轮次允许将更大的总隐私预算分配给根值，从而在不增加隐私风险的情况下提高准确性。
鲁棒性：即使存在对抗性提示注入或恶意服务设计，该方法依然有效，因为所有发布都是初始加噪根值的后处理。

作者得出结论，独立加噪对于涉及相关私有值的多轮工作流根本不足，而依赖感知清洗是在高风险领域部署 LLM 代理的必要防御。该工作假设完美的命名实体识别（NER）用于根值识别，并专注于结构化数值数据，将自由文本和含噪 NER 集成留作未来工作。