💬 NLP

Exploring Cross-Client Memorization of Training Data in Large Language Models for Federated Learning

本文提出了一种新颖框架，通过借鉴集中式学习中的细粒度跨样本测量技术，量化联邦学习中的客户端内与客户端间训练数据记忆现象，揭示出联邦学习模型存在显著的记忆风险，且该风险受特定训练和推理因素的影响。

原作者： Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Tinnakit Udsa, Can Udomcharoenchaikit, Patomporn Payoungkhamdee, Sarana Nutanong, Norrathep Rattanavipanon

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一群朋友想要共同学习如何烹饪一道复杂的菜肴，但他们太害羞而不愿分享各自的秘密家庭食谱。他们不是将实际食谱发送到中央厨房，而是在各自的家中厨房训练自己的菜肴版本，仅将“学到的经验”（即“权重”或调整）发送给一位中央厨师。这就是联邦学习（FL）。这是一种在不共享原始食材（即你的私有数据）的情况下进行协作学习的方法。

然而，这里隐藏着一个危险：即使你不分享食谱，厨师也可能无意中记住你的特定食材，并在被要求烹饪其他菜肴时将其吐露出来。这被称为记忆。

本文就像一位新的“隐私侦探”，调查这种意外记忆是否发生在联邦学习中，以及它与旧的学习方式（即所有人确实将食谱共享到一个大锅中）有何不同。

以下是他们利用简单类比进行的调查分解：

1. 旧侦探与新侦探

旧方法（集中式学习）： 此前，研究人员通过询问“如果我给你这个特定的句子（提示），你会吐出这个确切的句子（答案）吗？”来检查模型是否记住了数据。他们假设提示和答案必须来自同一份原始食谱。
新问题（联邦学习）： 在“害羞朋友”的场景中，一位朋友可能会基于他们自己的食谱向厨师提问，而厨师可能会无意中吐出另一位朋友秘密食谱中的细节。旧侦探错过了这一点，因为他们一次只查看一份食谱。
新框架： 作者构建了一个新工具，用于检查跨客户端记忆。他们问道：“如果朋友 A 给出一个提示，模型是否会无意中泄露朋友 B 的秘密？”

2. 调查：他们发现了什么？

研究人员设置了四个不同的“烹饪任务”（摘要、聊天、回答问题、分类）和三个拥有不同数据集的“朋友”（客户端）进行模拟。他们使用了一个“抄袭检测器”（一种检查文本是否被复制、改写或仅具有相同想法的工具），以查看模型是否泄露了秘密。

关键发现 A：“自家”偏差
模型向同一位朋友泄露其自身秘密（客户端内）的可能性，远大于将朋友 A 的秘密泄露给朋友 B（客户端间）。

类比： 如果你向厨师询问你自己的家庭食谱，他们可能会无意中复述你自己笔记中的细节。但如果你询问你的食谱，他们不太可能无意中泄露邻居食谱中的秘密。然而，邻居的秘密确实被泄露了，只是频率较低。

关键发现 B：“短提示”陷阱
他们发现问题的长度（即“前缀”）非常重要。

类比： 如果你给厨师一个非常简短、模糊的提示（例如“告诉我关于汤的事”），模型更有可能从训练数据中抓取随机的、被记忆的细节来填补空白。如果你给出一个长而详细的提示，模型就有更多的上下文可供利用，从而减少对记忆片段的依赖。
结果： 提示越短 = 记忆越多。

关键发现 C：“烹饪风格”很重要
模型“决定”下一个词说什么的方式（解码策略）改变了结果。

类比： 有些烹饪风格更具“创造性”且风险更高。使用某些方法（如"top-p"或"top-k"解码）会使模型更有可能吐出被记忆的秘密，这就像一位试图过于发挥创造性的厨师，可能会无意中使用了邻居储藏室里的食材。

关键发现 D：“食谱”类型很重要
他们注意到，某些类型的任务是安全的，而另一些则具有风险。

安全区： 在“分类”任务中（答案只是一个单词，如“是”或“否”），模型没有记住任何东西。
为什么？ “抄袭检测器”需要一定量的文本才能工作。如果模型只生成一个单词，检测器就无法找到匹配项。这就像试图抓捕一个只偷了一粒米的窃贼；安全摄像头（检测器）的灵敏度不足以看到它。

关键发现 E：“算法”选择
他们测试了朋友们分享经验的两种不同方式（FedAvg 与 FedProx）。

结果： 一种方法（FedProx）导致模型记住了更多秘密，而不是另一种方法。这就像一组朋友更积极地分享笔记，从而导致更多的意外泄露。

3. 他们未发现的内容

模型规模： 让厨师变得更聪明（使用更大的模型）并没有明确地使其记住更多或更少的内容。
练习轮次： 让朋友们练习更多次数（更多的通信轮次）并没有显示出记忆增加或减少的明确模式。

结论

该论文得出结论：联邦学习并非抵御记忆的魔法盾牌。 即使原始数据未被共享，模型仍然学会了“记住”训练数据中的特定细节。

它记住你自己的数据多于记住他人的数据，但它确实也记住了他人的数据。
简短的问题和某些“创造性”设置会使这种泄露更加严重。
朋友们分享经验的方式（算法）会改变泄露的程度。

作者警告说，我们需要小心：仅仅因为我们没有共享原始数据，并不意味着模型没有保留我们的秘密。他们已发布了他们的“侦探工具”（代码），以便其他人可以在自己的系统中检查这些泄露。

技术摘要：探索联邦学习中大型语言模型的训练数据跨客户端记忆

问题陈述

联邦学习（FL）能够在不共享原始数据的情况下实现大型语言模型（LLM）的协同训练，旨在保护隐私。然而，联邦学习并不能消除记忆（memorization）的风险，即模型无意中编码并复现敏感的训练数据。现有的联邦学习检测技术主要依赖金丝雀注入（嵌入分布外短语）或专注于单个样本内的逐字记忆。这些方法未能捕捉跨样本记忆，即模型在接收到来自不同样本的前缀提示时，可能会复现来自另一个训练样本的后缀。在联邦学习背景下，这种风险延伸至跨客户端记忆，即一个客户端的前缀可能触发生成另一个客户端的私有后缀。目前用于衡量集中式学习（CL）中跨样本记忆的方法假设数据是集中访问的，因此无法直接应用于去中心化的联邦学习设置。

方法论

作者提出了一种框架，通过调整集中式学习中的细粒度跨样本测量技术，来量化联邦学习中的客户端内（同一客户端内）和客户端间（不同客户端之间）记忆。

框架设计

记忆的定义：本文将分布内记忆的定义推广至联邦学习。如果来自客户端 $C_j$ 的前缀 $p_j$ 导致模型 $M(p_j)$ 生成的文本与来自客户端 $C_k$ 的后缀 $s_k$ 足够相似（由判别函数 $F$ 确定），则 $p_j$ 诱导了对客户端 $C_k$ 数据的记忆。
成对测量：该框架计算成对记忆比率（ $MR_{j \to k}$ $M R_{j \to k}$ ），表示来自 $C_j$ $C_{j}$ 的前缀中触发 $C_k$ $C_{k}$ 后缀记忆的比例。
- 客户端内（ $MR_{Intra}$ ）：当 $j=k$ 时的平均比率。
- 客户端间（ $MR_{Inter}$ ）：当 $j \neq k$ 时的平均比率。
估计过程：
- 采样：从各客户端采样前缀的小子集（ $\tilde{P}_j$ ）和后缀的小子集（ $\tilde{S}_k$ ）。
- 生成：模型为每个采样的前缀生成文本 $M(\tilde{p})$ 。
- 检索：使用 Elasticsearch 将生成的文本在 $\tilde{S}_k$ 后缀集中进行查询，检索最相似的 top- $n'$ 个后缀。
- 相似性检测：使用 PAN2014 剽窃检测器作为判别函数 $F$ 。它在三个粒度上评估相似性：逐字、改写和思想层面。
- 计算：如果任何 top- $n'$ 后缀在任意粒度下与生成的文本匹配，则该前缀被计为诱导了记忆。

实验设置

数据集：评估了四个任务：摘要（ArxivAbstract）、对话（MedDialog）、问答（PubMedQA）和分类（PubMed 200k RCT）。数据在每个任务中按非独立同分布（Non-IID）方式划分给三个客户端。
模型：主要实验使用 Qwen2.5-3B，并补充了 Llama3.2-3B 和 GPT-2 的结果。
变量：研究分析了以下因素的影响：解码策略（温度、top-k、top-p）、前缀长度（10、30、50、100 个 token）、联邦算法（FedAvg、FedProx）、模型大小以及通信轮次。

主要贡献

问题表述：作者通过调整集中式学习的评估方法，构建了检测联邦学习中微妙跨样本记忆的挑战框架。
新颖框架：他们设计了一个能够测量联邦学习中客户端内和客户端间记忆的框架，从而实现了对跨客户端隐私泄露的量化。
实证洞察：通过广泛的消融研究，该论文确定了影响联邦学习设置中记忆率的具体因素。

结果与发现

记忆的存在：联邦学习模型确实会记忆训练数据。至关重要的是，在所有评估任务（摘要、对话、问答）中，客户端内记忆（ $MR_{Intra}$ ）始终高于客户端间记忆（ $MR_{Inter}$ ）。
任务特定行为：分类任务在客户端内和客户端间场景中均显示出 0.000% 的记忆率。分析表明，这是由于分类任务中生成的输出长度较短，往往低于 PAN2014 检测器所需的最小匹配阈值（50 个字符）。
联邦学习 vs. 集中式学习：与一些先前认为联邦学习能减少记忆的研究相反，本研究发现，在测量分布内数据时，没有明确的趋势表明联邦学习比集中式学习导致更低的记忆率。集中式学习和联邦学习设置下的总记忆比率（$MRTotal$）是可比的。
影响因素：
- 解码策略：与温度解码相比，复杂的策略如 top-k 和 top-p 解码倾向于增加记忆。
- 前缀长度：较短的前缀通常诱导更高的记忆率。
- 联邦算法：FedProx 导致的记忆率高于 FedAvg，并且是唯一在分类任务中诱导记忆的算法。
- 后缀特征：某些数据集组（例如对话任务中的第 3 组）比其他组更容易受到记忆的影响，表明数据集属性起着作用。
- 模型大小与轮次：未观察到模型大小或通信轮次与记忆率之间存在明确的相关性。

意义与主张

该论文声称通过提供一种测量跨客户端泄露的方法，弥合了集中式记忆评估与联邦学习之间的差距。其主要意义在于证明联邦学习本身并不能消除记忆风险；模型仍然会编码私有数据，特别是在同一客户端的分布内。

作者强调，虽然客户端间泄露是直接的隐私侵犯，但如果前缀是公开的，客户端内泄露（暴露危害）也构成风险。研究结果表明，联邦学习中的隐私保护机制必须考虑分布内跨样本记忆，而不仅仅是逐字提取。研究结论指出，解码策略、前缀长度和联邦算法的选择等因素会显著影响记忆，因此在去中心化大型语言模型训练中需要仔细配置以减轻隐私风险。

作者谦逊地指出了局限性，包括对 PAN2014 检测器的依赖（可能会错误分类不连贯的输出）以及仅限于英文文本。他们还指出，解释为何客户端内记忆超过客户端间记忆的理论原因将是未来研究的方向。