💬 NLP

Privacy-Preserving Text Sanitization for Distributed Agents Collaboration via Disentangled Representations

本文介绍了 DiSan，这是一个用于分布式智能体协作的隐私保护框架，该框架利用解耦表示来有效地去除识别来源的风格特征，同时保留任务语义，在降低文体属性归属和个人可识别信息（PII）暴露方面，显著优于传统的标记掩码方法。

原作者： Xuan Liu, Hefeng Zhou, Sicheng Chen, Chao Yang, Xingcheng Xu, Jingjing Qu, Jiong Lou, Jie LI, Xia Hu

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Xuan Liu, Hefeng Zhou, Sicheng Chen, Chao Yang, Xingcheng Xu, Jingjing Qu, Jiong Lou, Jie LI, Xia Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

问题所在：文本中的“暗号”

想象一下，你是A银行的一名会计，需要向B银行的一位同事询问一些财务数据，以协助处理客户业务。你发送了一条消息：“我们的客户史密斯先生在小摩银行有一笔500万美元的贷款。”

如果你只是把“史密斯先生”和“小摩银行”删掉，你可能认为自己已经安全了。但论文指出，事实并非如此。为什么？因为你的写作风格就像是一个**“秘密握手”**（暗号）。

即使没有名字，你的信息仍可能通过以下方式泄露你的身份：

你的格式习惯： 你是喜欢用项目符号，还是喜欢写长段落？
你的词汇选择： 你是否经常使用“流动性”或“现金流”之类的词汇？
你的句式结构： 你是否总是以“根据我们的记录……”作为句子的开头？

这些被称为**“分布特征”**（Distributional Signatures）。这就像一位厨师在烹饪结束时总会撒上一撮盐。即使隐藏了厨师的名字，菜肴的味道也会暴露他的身份。

解决方案：DiSan（“隐私翻译官”）

上海人工智能实验室的研究人员开发了一个名为 DiSan（解耦净化，Disentangled Sanitization）的工具。你可以将 DiSan 想象成一个超级聪明的翻译官，它不仅仅是隐藏名字，而是重新改写信息，使其听起来像是由一个通用的、匿名的来源生成的，同时保留重要的事实。

以下是它的工作原理，使用果昔（Smoothie）类比：

1. 将水果与果汁分离（解耦）

想象每一条文本信息都是由两种东西组成的果昔：

水果（角色/内容）： 实际的事实、数字和含义（例如：“贷款金额为500万美元”）。
果汁（风格）： 味道、质感以及识别制作者的秘密配方（例如：“A银行特有的写作方式”）。

旧的方法（如简单的掩码处理）只是试图从杯子里把水果捞出来，但它们留下了果汁，而这股果汁尝起来仍然像是在A银行制作的。

DiSan 使用一种特殊的机器（双流编码器）将果昔分离成两个独立的流：

流 A（角色/内容）： 只包含纯粹的事实。这是发送给对方的内容。
流 B（风格）： 包含“味道”和秘密配方。这被锁在本地计算机中，绝不发送。

2. 小组项目（联邦学习）

通常，要教会计算机完成这项任务，你需要将所有私密的银行文档发送到一个中央服务器。这非常危险。

相反，DiSan 使用了联邦学习。想象 7 家不同的银行正试图学习如何编写“通用型”报告：

它们不会向中央老师发送自己的秘密配方。
相反，它们发送的是关于“通用事实”看起来是什么样的微小的、抽象的**“粘土模型”（称为原型**，Prototypes）。
中央服务器将这些粘土模型混合，创造出一个“主模具”，然后将其发回。
每家银行都利用这个模具来更新自己的机器。

通过这种方式，各家银行可以在互不查看彼此原始私密文档的情况下，学会说同一种“通用语言”。

3. “反身份”训练（对抗性正则化）

为了确保粘土模型不会意外泄露它是哪家银行制作的，系统玩了一场“捉迷藏”游戏：

判别器（一个侦探 AI）试图猜出某个粘土模型来自哪家银行。
净化器（那个翻译官）则试图通过让模型看起来尽可能通用来欺骗侦探。
随着时间的推移，净化器变得越来越擅长隐藏来源，以至于侦探只能进行随机猜测。

结果：效果如何？

论文将此方法与简单的“涂黑”（掩码）或要求大型 AI 重写文本等方法进行了对比测试。

旧方法（掩码处理）： 如果你隐藏了 19% 的词汇（名字、日期），“侦探”仍有 67% 的概率能猜出是谁写的。其中的“味道”依然存在。
DiSan 方法：
- 隐私性： 它将猜测来源的能力降低了 73%。现在几乎不可能辨别出是谁写的信息。
- 实用性： 它保留了 83% 的原始含义。事实依然足够准确，可以回答问题。
- 个人隐私信息（PII）暴露： 与标准方法相比，它将意外泄露个人信息的风险降低了 20 倍。

核心结论

DiSan 是不同组织之间安全共享信息的一种新方式。它不仅仅是划掉名字（这会留下组织的“声音”），而是通过完全重写文本，在保留“故事”的同时，剥离掉独特的“声音”。它允许代理进行协作，而无需泄露各自的秘密配方。

技术摘要：DiSan (解耦净化)

1. 问题陈述

本文探讨了在跨组织分布式智能体协作（特别是在检索增强生成 (RAG) 和多智能体问答系统中）中面临的关键隐私挑战。当智能体跨越组织边界交换文本证据时，会发生两个层面的隐私泄露：

显式标识符： 传统的个人身份信息 (PII)，如姓名、账号和地址。
分布特征： 通过格式规范、词汇选择和句法模式实现的隐式泄露，这些模式编码了发起方的内部实践（即“组织指纹”）。

作者认为，现有的解决方案是不充分的，因为它们将隐私视为标识符层面的问题，而非表示层面的问题。基于规则的掩码虽然移除了显式 PII，但保留了分布特征；而基于大语言模型 (LLM) 的改写则缺乏确保输出分布在统计上具有来源不变性的机制。此外，标准的联邦学习 (FL) 虽然实现了模型训练的去中心化，但并未解决在下游任务中共享数据本身的问题。

2. 方法论：DiSan

提出的解决方案是 DiSan (Disentangled Sanitization，解耦净化)，这是一个集成在 Intern-Shannon 多智能体操作系统中的隐私保护框架。它通过角色-风格分解 (role–style factorization) 方法运行，将与任务相关的语义与与来源相关的变体进行分离。

核心架构

双流编码器： DiSan 利用预训练编码器 (LongT5-TGlobal-Base) 将输入文本投影到两个正交的子空间：
- 角色子空间 ( $Z_r$ )： 编码旨在共享的、与来源无关的任务语义（实体、关系、事件）。
- 风格子空间 ( $Z_s$ )： 编码智能体特有的变体（措辞、格式、组织风格）。该流严格保持本地化，并在解码后被丢弃。
融合与解码： 两路流在本地进行融合以生成净化后的文本 ( $\tilde{d}$ )。解码器经过训练，旨在保留角色事实，同时抑制标识符和来源特定的用词。只有净化后的文本 $\tilde{d}$ 能够跨越隐私边界。

联邦训练机制

为了在不集中原始文本的情况下训练净化器，DiSan 采用了包含三个关键组件的联邦优化策略：

原型对齐 (Prototype Alignment)： 为了防止角色空间在非独立同分布 (non-IID) 的智能体之间发生漂移，智能体交换紧凑的角色原型（批次角色质心的指数移动平均值，EMA）。这些原型在单位超球面上进行对齐，以确保在不共享原始证据的情况下实现全局一致性。
对抗正则化 (Adversarial Regularization)： 对上传的原型应用带有梯度反转层 (GRL) 的判别器。这迫使角色表示降低对源智能体的预测能力，从而抑制超出公开能力标签之外的持久分布特征。
正交约束 (Orthogonality Constraint)： 一个损失项 ( $L_{orth}$ ) 强制执行均值池化后的角色向量与风格向量之间的余弦正交性，确保任务语义与来源身份的分离。

部署

在多智能体 RAG 流水线中，请求智能体根据公开的能力标签将查询路由给辅助智能体。辅助智能体检索本地片段，通过 DiSan 进行净化，然后传输净化后的文本。请求者聚合这些净化后的证据以生成最终答案。

3. 核心贡献

本文概述了四个主要贡献：

解耦净化公式化： 它将跨智能体文本净化重新定义为角色-风格分解问题，将任务语义与来源相关的变体分离。
联邦角色对齐： 它引入了轻量级原型对齐，以在不集中原始文本的情况下稳定非 IID 智能体的角色空间，并结合对抗训练来移除来源特定的原型特征。
隐私诊断： 它从三个维度评估隐私：输出文本（文体学）、学习到的表示（嵌入归因）以及上传的原型，从而区分应用阶段的泄露与训练阶段的伪影。
实证验证： 它证明了 DiSan 在降低来源归因方面显著优于标识符层面的掩码和 LLM 改写，同时保持了高可用性。

4. 实验结果

实验在合成的多语言金融语料库（模拟 7 种不同的智能体类型）和用于文体学验证的 Enron 电子邮件语料库上进行。

隐私性能：
- PII 暴露： 与未受保护的共享相比，DiSan 将答案层面的 PII 暴露降低了 20 倍（0.6% vs. 11.8%）。
- 文体学归因： 在 Enron 数据集上，DiSan 将 TF-IDF 文体学归因降低了 73.2%，将神经探针 (neural probe) 归因降低了 70.6%。相比之下，即使使用强力 PII 检测器掩码 19.2% 的 Token，也仅将 TF-IDF 归因降低了 18.6%。
- 原型泄露： 上传的原型达到了近乎随机的归因准确率 (F1 $\approx$ 0.09)，表明成功抑制了来源指纹。
可用性性能：
- 忠实度 (Faithfulness)： 在分布式 RAG 基准测试中，DiSan 保持了 83.17% 的答案忠实度，接近于未受保护共享的 86.10% 基准。
- 对比： 在所有基准方案（包括占位符掩码、LLM 改写和策略门控）中，DiSan 实现了最理想的隐私-可用性权衡。
消融实验：
- 移除正交约束 ( $L_{orth}$ ) 会导致 PII 暴露增加 7.3 倍，证实了风格隔离对于隐私的重要性。
- 移除原型对齐会导致角色空间漂移，从而降低了可用性（ChunkHit@3 下降 3.6 个百分点）和隐私性。

5. 重要性与主张

论文声称，标识符层面的匿名化对于实现来源不变的文本共享是不充分的，因为私密的组织信息通常是文本的一种分布属性，而非一组局部的标识符。

实践路径： DiSan 通过强制执行角色-风格正交性和联邦角色对齐，为更安全的文本共享提供了切实可行的路径。它允许智能体在分享任务相关证据的同时，不泄露可能暴露内部实践或专有文档结构的“组织指纹”。
局限性与范围： 作者明确指出 DiSan 并不提供形式化的差分隐私 (DP) 保证。他们认为，将 DP 应用于序列到序列的生成会带来极高的可用性代价（造成 30–50% 的连贯性损失），且其方法依赖于针对“诚实但好奇”型对手的实证验证。其威胁模型不包括恶意服务器、投毒攻击和共谋行为。
未来工作： 论文建议未来的研究方向包括研究更强的自适应对手、重复查询设置以及更广泛的跨领域部署。

总之，DiSan 代表了从表面掩码向表示层面解耦的转变，实现了在有效抑制来源特定分布特征的同时，保持数据可用性的多智能体协作。