💬 NLP

Knowledge Beyond Language: Bridging the Gap in Multilingual Machine Unlearning Evaluation

本文通过提出知识可分离性得分（KSS）和知识持久性得分（KPS）两项新指标，以解决现有跨语言机器遗忘（MMU）评估的局限性，从而更有效地评估跨语言信息移除并深入揭示 MMU 现象。

原作者： Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho, Nojun Kwak

发布于 2026-05-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Kyomin Hwang, Hyeonjin Kim, Sangyeon Cho, Nojun Kwak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《超越语言的知识：弥合多语言机器遗忘评估中的差距》的通俗解释，辅以生动的类比。

核心问题：“回声室”效应

想象你有一位非常聪明、精通多种语言的图书管理员（即人工智能），他读过数百万本英语、西班牙语、中文以及其他多种语言的书籍。有一天，你发现这位管理员记住了关于某位特定人物“维罗妮卡·鲍曼”的一个秘密，出于隐私原因，你希望将这个秘密从他的脑海中彻底抹去。

过去，研究人员试图通过仅用英语与管理员交流，让他忘记这个秘密。他们会说：“忘掉关于维罗妮卡·鲍曼的一切。”

关键问题： 论文指出，这种方法就像试图只擦拭房间的英语角落来清洁整个房间。因为管理员是通过多种语言学习到这个秘密的，信息可能像谣言一样“扩散”开来。即使管理员在英语中忘记了这个秘密，当你用西班牙语或斯瓦希里语询问时，他可能仍然记得清清楚楚。这个秘密已经“跨越边界”，进入了管理员大脑中的其他语言区域。

旧有的测试方式（有缺陷的镜子）

以前，为了检查管理员是否忘记了秘密，研究人员会一次只用一种语言提问。

用英语问： “你认识维罗妮卡吗？” -> 管理员：“不认识。”（成功！）
用西班牙语问： “你认识维罗妮卡吗？” -> 管理员：“认识。”（失败！）

旧方法只会查看英语的回答，并宣称：“干得好，秘密消失了！”论文指出这是具有误导性的。这就像只检查船的前甲板是否干燥，就断定漏水的船是干的，而船尾仍在进水。

新解决方案：两个新的“温度计”

为了解决这个问题，作者们提出了一种测试管理员的新方法，并设计了两个新的“温度计”（指标），用来衡量遗忘效果在所有语言中的实际表现。

1. “知识可分离性分数”（KSS）

类比： 想象你有一袋红大理石（你想要遗忘的秘密）和蓝大理石（你想要保留的安全信息）。

目标： 你希望管理员能够完美地区分红大理石和蓝大理石。
KSS 衡量什么： 它检查管理员能否在所有语言中清晰地区分“需要遗忘的事物”和“需要保留的事物”。如果管理员感到困惑，误将一些蓝大理石当作红大理石（遗忘了安全信息），或将一些红大理石当作蓝大理石（保留了秘密），分数就会下降。
论文发现： 他们发现某些方法（如“剪枝”，即切除管理员大脑的部分）在总体上能较好地分离大理石，但它们很混乱，意外地丢弃了一些安全的蓝大理石。

2. “知识持久性分数”（KPS）

类比： 这是“谣言测试”。

场景： 你告诉管理员用英语忘记这个秘密。
测试： 随后，你用一种管理员未用来学习该秘密的语言（即“保留”语言）向他提问。
KPS 衡量什么： 它衡量这个秘密在多大程度上“持久”存在或泄露到了这种新语言中。如果管理员在新语言中仍然知道这个秘密，分数就高（这是坏事）。如果他们确实在所有地方都忘记了，分数就低（这是好事）。
论文发现： 他们发现，即使管理员在训练语言中似乎忘记了秘密，该秘密往往在其他语言中仍然“持久”存在。秘密已经跨越了语言边界，并继续隐藏在那里。

实验是如何进行的

为了证明这一点，作者们没有使用真实人物的秘密（那是不道德的），而是建立了一个巨大的虚构图书馆：

创建 200 个虚构人物： 他们发明了 200 个虚构角色，拥有虚构的姓名、生日和爱好。
翻译所有内容： 他们用10 种不同的语言编写了关于这些虚构人物的问答（包括英语和中文等大语种，以及阿尔巴尼亚语和孟加拉语等小语种）。
“遗忘”游戏： 他们用这些虚构数据训练了一个人工智能，然后尝试使用不同的技术让它忘记特定的人物。
测试： 他们使用两个新的“温度计”（KSS 和 KPS）来观察人工智能是否在所有 10 种语言中都真正忘记了这些虚构人物。

主要结论

语言并非孤立存在： 人工智能中的信息不会停留在一种语言中。如果你用英语教给人工智能一个秘密，它通常会自动学会西班牙语、法语以及其他语言中的该秘密。
旧测试在欺骗我们： 仅检查人工智能是否忘记了某种语言中的某事是不够的。你必须检查所有语言，以确保秘密真正消失。
“保留”的危险： 论文发现，秘密经常隐藏在人工智能未被明确训练去遗忘的语言中。即使你用英语彻底清除了记忆，该秘密的“回声”仍可能在其他语言中被听到。

结论

论文总结道，我们需要停止将语言视为独立的房间，而应将其视为一个巨大的、相互连接的房屋。为了真正保护人工智能中的隐私，我们需要新的工具（如 KSS 和 KPS），这些工具检查的是整个房屋，而不仅仅是其中一个房间，以确保秘密确实已经消失。

技术摘要：超越语言的知识：弥合多语言机器遗忘评估的差距

1. 问题陈述

在多元语料库上训练的大语言模型（LLMs）带来了隐私风险，因此需要多语言机器遗忘（MMU）来移除跨多种语言的敏感信息。虽然现有的机器遗忘（MU）研究主要集中在以英语为中心的数据集上，但近期研究强调，多语言环境下的遗忘因跨语言传播而变得复杂，即一种语言中习得的知识会持续存在或传播到其他语言。

当前的 MMU 评估协议存在不足，因为它们：

孤立地评估语言：它们按语言评估遗忘性能（例如，检查“Veronica Bowman"在英语中是否被遗忘），而未验证相同知识在其他语言（例如阿尔巴尼亚语或南非荷兰语）中是否仍可访问。
未能捕捉分布：它们未考虑到 MMU 中的知识是跨语言分布的，且是通过直接记忆（在特定语言对上训练）和间接跨语言传播获得的。
夸大有效性：模型可能在被评估的语言中看似成功遗忘了信息，而底层信息在另一种语言中仍可检索，从而导致关于隐私安全性的误导性结论。

2. 方法论

数据集构建

为了解决标准化评估数据缺乏的问题，作者构建了一个大规模的多语言平行数据集：

规模：涵盖 10 种语言的 3,800 个合成问答对（19 个属性 × 200 个档案）。
语言：包括 5 种高资源语言（英语、中文、德语、俄语、西班牙语）和 5 种低资源语言（孟加拉语、希伯来语、泰米尔语、南非荷兰语、阿尔巴尼亚语）。
生成流程：使用 Faker 生成合成档案，利用大语言模型将其转换为英语问答对，并翻译成其他 9 种语言。通过回译验证流程（使用 Google 翻译和大语言模型）确保了所有语言间的语义等价性。
实验设置：数据集被划分为训练语言（用于记忆和遗忘）和保留语言（专门用于评估，以模拟跨语言传播）。

提出的指标

本文引入了两种旨在评估遗忘多语言特性的新颖指标：

知识可分性分数（KSS）：
- 目的：通过区分目标知识（需遗忘）和非目标知识（需保留）在所有语言中的表现，来衡量遗忘的整体质量。
- 机制：它基于概率方法和生成方法（语义等价性），聚合每个知识实例在所有语言中的“遗忘分数”（ $S_i$ ）。
- 组成部分：
  - KSS-ROC：接收者操作特征曲线下面积，衡量遗忘集与保留集之间的一般可分性。
  - KSS-PR：精确率 - 召回率曲线下面积，专门解决类别不平衡问题，其中遗忘集通常远小于保留集。
知识持久性分数（KPS）：
- 目的：量化在“基础语言”中成功遗忘的目标知识在其他语言中持续存在（仍可检索）的程度。
- 机制：对于基础语言 $l_1$ 和比较语言 $L_2$ ，计算样本中模型在 $l_1$ 中已遗忘该知识（语义等价性 = 0）但在 $l_2$ 中仍保留该知识（语义等价性 = 1）的比例。
- 解释：较低的 KPS 表示更好的遗忘性能（跨语言持久性更少）。

实验配置

作者在 Llama3.1-8B-Instruct 模型上评估了各种基于优化的遗忘方法（梯度上升、GAGDR、GAKLR、NPO）以及一种基于剪枝的方法。实验在不同遗忘集比例（1%、3%、5%）下进行，并分别针对训练语言集和保留语言集进行分析。

3. 主要结果

保留语言中的遗忘难度

性能差异：与训练语言（案例 2）相比，在保留语言（案例 1）中的遗忘显著更困难。
证据：保留语言的 KSS-ROC 分数始终较低（例如，最佳方法在训练语言中为 0.99，而在保留语言中最高仅为 0.76），这表明当知识是通过跨语言传播而非直接训练获得时，区分目标知识与非目标知识更加困难。

遗忘比例的影响

退化：随着遗忘比例的增加（从 1% 到 5%），遗忘性能下降。目标知识与非目标知识之间的界限变得越来越模糊，使得模型难以区分需要遗忘的内容。
持久性：KPS 分数随着遗忘比例的增加而显著上升，表明更大的遗忘集会导致更严重的跨语言持久性。

特定方法的发现

优化与剪枝：虽然基于剪枝的方法实现了较高的 KSS-ROC 分数（良好的全局可分性），但其KSS-PR分数却不成比例地低。遗忘分数（ $S_i$ ）的可视化显示，剪枝方法将高遗忘分数分配给了大量非目标知识，导致分布重叠，而基于优化的方法则避免了这种情况。
跨语言持久性：即使在训练语言中成功遗忘，目标知识在保留语言中依然存在（所有方法的 KPS > 0），证实了跨语言信息泄露的风险。

4. 主要贡献

全面的 MMU 场景：将 MMU 中的知识定义为跨多种语言表达的实例，这些实例是通过直接记忆和跨语言传播获得的。
大规模数据集：构建了一个涵盖 10 种语言的 3,800 个实例的多语言平行问答数据集，并实施了严格的质量控制。
新颖的评估指标：提出了 KSS 和 KPS，分别用于全面评估遗忘质量和衡量跨语言一致性。
实证见解：证明了现有的逐语言评估协议不足，且遗忘性能在训练语言和保留语言之间存在显著差异。

5. 意义与局限性

意义：
本文认为，可靠的 MMU 评估需要能够在所有语言中一致地验证信息不可访问性的指标。提出的 KSS 和 KPS 指标为评估 MMU 提供了新范式，揭示了独特的现象，例如在保留语言中遗忘的困难，以及基于剪枝的方法在多语言环境中的特定失败模式。

局限性：

语言多样性：保留语言仅限于印欧语系（南非荷兰语和西班牙语），限制了研究发现在不同语言结构间的普遍性。
模型规模：受计算限制，实验仅限于 80 亿参数模型；更大的模型可能会表现出不同的遗忘动态。
指标范围：虽然 KSS 和 KPS 解决了基于知识的测量问题，但作者承认可能存在替代或更多样化的评估方法。

作者总结道，未来的 MMU 研究必须明确考虑多语言特征，并旨在跨语言遗忘知识，而不是将语言视为孤立的实体。