💻 computer science

CURE:Circuit-Aware Unlearning for LLM-based Recommendation

本文提出了 CURE 框架，通过识别并解耦大语言模型推荐系统中的功能电路，将模型模块划分为遗忘特定、保留特定和任务共享三类并实施差异化更新，从而有效缓解梯度冲突，在保障隐私的同时维持了模型效用。

原作者： Ziheng Chen, Jiali Cheng, Zezhong Fan, Hadi Amiri, Yunzhi Yao, Xiangguo Sun, Yang Zhang

发布于 2026-04-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziheng Chen, Jiali Cheng, Zezhong Fan, Hadi Amiri, Yunzhi Yao, Xiangguo Sun, Yang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 CURE 的新方法，专门用来解决大语言模型（LLM）在推荐系统中的一个棘手问题：如何安全地“忘记”某些用户数据，同时又不让模型变笨。

为了让你更容易理解，我们可以把整个故事想象成经营一家超级智能的“图书推荐店”。

1. 背景：聪明的书店与隐私危机

想象你开了一家由超级 AI 管理的书店（这就是 LLM 推荐系统）。这个 AI 非常聪明，它读过所有的书，也记得你读过什么、喜欢什么，所以它能给你推荐最完美的书。

但是，现在隐私法规变严了。比如，用户 A 突然说：“我想彻底删除我在你这里的阅读记录，并且希望你的 AI 彻底‘忘记’我。”

传统做法（重训）： 把 AI 的脑子清空，重新用剩下的所有数据训练一遍。这就像为了删掉一个人的名字，把整个图书馆的目录全烧了重做。太慢、太贵，不现实。
现有方法（近似遗忘）： 就像在目录上涂改液。试图告诉 AI：“别管用户 A 了，但还要记得其他人。”但问题是，AI 的“记忆”是交织在一起的。当你试图擦除 A 的信息时，往往会不小心把 B 和 C 的信息也擦掉了，或者把 A 的信息没擦干净。这就好比你想从一张复杂的网里剪掉一根线，结果把整张网都剪破了。

2. 核心问题：为什么现有的方法会失败？

现有的方法就像是一个笨拙的清洁工。

他手里拿着两把刷子：一把叫“遗忘刷”（用来擦掉用户 A 的数据），一把叫“保留刷”（用来保护其他用户的数据）。
他试图同时用这两把刷子刷同一个地方。结果发现，这两把刷子的方向是完全相反的（梯度冲突）。
你想往左擦（遗忘），它却往右推（保留）。结果就是：要么没擦干净（隐私泄露），要么把墙皮都刷坏了（推荐变差）。而且，没人知道具体是哪块墙皮出了问题，整个过程像个黑盒子。

3. CURE 的解决方案：像外科医生一样精准手术

CURE 的作者提出了一种全新的思路：不要盲目地刷墙，先搞清楚墙里的“电路”是怎么连接的。

他们把 AI 模型看作一个由无数条电路组成的复杂城市。

关键发现： 并不是所有的电路都在做同一件事。有些电路专门负责“记住用户 A 喜欢科幻书”，有些电路负责“记住用户 B 喜欢历史书”，还有些是公用的（比如“书要有封面”这种通用知识）。
CURE 的做法（三步走）：

第一步：绘制“电路图”（定位电路）
CURE 像侦探一样，通过一种叫“激活干预”的技术，去追踪 AI 内部的信息流。
- 比喻： 就像给 AI 的神经元做“核磁共振”。它发现，当用户 A 提到“科幻”时，电流主要流经了特定的几条小路（电路）。它把这些小路精准地画了出来。
第二步：给电路“分家”（分类模块）
根据画好的图，CURE 把 AI 内部的模块分成三组：
1. 遗忘专用组： 只负责处理用户 A 的数据。
2. 保留专用组： 只负责处理其他用户的数据。
3. 共享组： 大家都用的公共知识（比如“书是纸做的”）。
第三步：精准更新（选择性手术）
现在，清洁工不再乱刷了，而是变成了外科医生：
- 对“遗忘专用组”：只动手术，彻底切断用户 A 的记忆。
- 对“保留专用组”：完全不动，保护其他用户的数据。
- 对“共享组”：如果两边打架（梯度冲突），CURE 会像交通指挥员一样，巧妙地调整方向，确保两边都能通行，互不干扰。

4. 结果：又快又好

通过这种“电路感知”的方法，CURE 取得了惊人的效果：

忘得更干净： 用户 A 的数据被彻底抹去，AI 再也想不起来他。
记得更牢： 其他用户的推荐质量几乎没有下降，甚至更好了。
速度快： 比传统的重训方法快了 3.5 倍，比现有的其他遗忘方法也快很多。

总结

简单来说，以前的遗忘方法像是在大扫除时试图只擦掉一个指纹，结果把整张桌子都擦花了。
而 CURE 就像是拿着显微镜和手术刀，精准地找到了存储那个指纹的特定细胞，把它移除，同时完美保护了周围健康的组织。

这就让基于大模型的推荐系统，既能满足严格的隐私保护要求，又能保持聪明和高效，真正做到了“透明”和“可信”。

这篇论文提出了一种名为 CURE (Circuit-Aware Unlearning) 的框架，旨在解决基于大语言模型（LLM）的推荐系统（LLMRec）在面临隐私法规收紧时，如何高效、透明地执行“机器遗忘”（Unlearning）的问题。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：LLM 凭借其强大的语义理解和推理能力，被广泛应用于推荐系统（LLMRec）。然而，将用户行为数据（如购买记录）直接融入 LLM 带来了严重的隐私风险。
核心挑战：
1. 梯度冲突 (Gradient Conflicts)：现有的遗忘方法通常将遗忘（Forget）和保留（Retain）目标建模为加权损失函数的和。由于这两个目标在优化方向上往往相反（即梯度冲突），导致优化过程不稳定，结果往往是遗忘不彻底或模型效用（Utility）严重下降。
2. 黑盒操作 (Black-box Nature)：现有方法通常全局更新模型参数，缺乏对模型内部哪些模块（如注意力头、MLP 层）编码了特定信息的透明认知，导致不可解释且不可信。
3. 效率问题：完全重新训练（Retraining）成本过高，而现有的近似遗忘方法在效率和效果之间难以取得平衡。

2. 方法论 (Methodology)

CURE 的核心思想是利用机械可解释性 (Mechanistic Interpretability) 中的“电路（Circuit）”概念，将模型解耦为功能不同的子集，并针对这些子集进行选择性更新。整个框架分为两个阶段：

第一阶段：定位关键电路 (Locating Circuits)

为了识别负责特定推荐行为（遗忘集或保留集）的计算子图，CURE 提出了两种基于梯度的电路提取方法：

激活干预 (Activation Intervention, CURE-AI)：
- 通过线性泰勒展开近似计算，直接干预边（Edge）上的信息流（将消息置零），评估其对输出概率变化的影响。
- 优点：计算高效，能提取粗粒度的电路。
激活修补 (Activation Patching, CURE-AP)：
- 构建“破坏性样本”（Corrupt Sample），通过对比原始输入和破坏性输入在特定边上的激活差异来定位关键模块。
- 创新点：针对 LLMRec 输入长、构造困难的问题，利用用户 - 物品图 (User-Item Graph) 和 个性化 PageRank (PPR) 算法，智能地选择最相关的历史物品进行替换，从而高效构造对抗样本。
- 优点：定位更精准。

第二阶段：选择性电路更新 (Selective Circuits Updating)

基于提取的电路，CURE 将模型参数（神经元）分为三类，并应用不同的更新策略以消除梯度冲突：

遗忘特定神经元 ( $\Theta_f$ )：仅存在于遗忘电路 ( $C_f$ $C_{f}$ ) 中。
- 策略：仅使用遗忘损失 ( $L_F$ ) 进行更新，专注于移除敏感信息。
保留特定神经元 ( $\Theta_r$ )：仅存在于保留电路 ( $C_r$ $C_{r}$ ) 中。
- 策略：仅使用保留损失 ( $L_R$ ) 进行更新，专注于维持模型效用。
功能共享神经元 ( $\Theta_{sh}$ )：同时存在于 $C_f$ $C_{f}$ 和 $C_r$ $C_{r}$ 中。
- 策略：采用基于投影 (Projection) 的梯度手术策略。当两个目标的梯度冲突时（点积为负），将其中一个梯度投影到另一个梯度的正交平面上，移除破坏性分量，从而在优化过程中缓解冲突。

3. 主要贡献 (Key Contributions)

视角创新：首次从“电路感知”的角度分析 LLMRec 中的梯度冲突问题，提出通过解耦冲突电路来实现透明化的遗忘。
方法创新：提出了 CURE 框架，结合图结构信息高效定位电路，并根据功能角色（遗忘/保留/共享）对模块进行选择性更新。该方法与模型无关，可应用于多种 LLM 骨干。
理论保证：提供了理论分析，证明在特定条件下，CURE 的单步梯度更新能比传统梯度下降获得更低的联合损失。
性能提升：实验表明，CURE 在遗忘效率和模型效用上均显著优于现有基线。

4. 实验结果 (Results)

实验在 MovieLens-1M 和 GoodReads 数据集上，使用 GPT-2 和 Llama-2 (7B) 作为骨干模型进行验证。

遗忘效果与效用平衡：
- CURE 在保持高推荐性能（AUC, ACC）的同时，实现了最低的遗忘数据分布差异（JSD）。
- 相比基线方法（如 E2URec, RecEraser, ROME, WISE），CURE 在遗忘效率上提升了 18%，在模型效用上提升了 6%。
效率：
- CURE 的遗忘速度比 E2URec 快 3.5 倍，且远快于完全重新训练（Retrain）。
- 在 Llama-2 (7B) 上，CURE 的遗忘时间约为 10,000 秒左右，而重新训练需要 128,000 秒以上。
梯度冲突缓解：
- 实验显示，CURE 将严重冲突的梯度对（ $\cos \psi \in [-1, -0.02)$ ）比例降低了 55% 至 76%，显著优于 PCGrad 和 ROME 等方法。
可解释性：
- 通过可视化电路，CURE 能够清晰地展示哪些模块（如特定的 MLP 层）负责处理特定类型的物品（如特定类型的电影），实现了透明的遗忘过程。

5. 意义与价值 (Significance)

解决隐私合规难题：为 LLM 推荐系统提供了一种高效、可落地的隐私保护方案，满足 GDPR 等法规中“被遗忘权”的要求。
提升可解释性与信任度：打破了传统遗忘方法的“黑盒”状态，通过电路层面的干预，让开发者清楚知道模型是如何“忘记”特定数据的，增强了系统的可信度。
优化范式：将多任务学习中的梯度冲突问题，从全局参数层面下沉到局部电路层面解决，为未来处理复杂 LLM 的精细化控制提供了新的思路。

总结来说，CURE 通过“解剖”LLM 的内部计算电路，实现了“精准打击”式的遗忘，既彻底移除了敏感数据的影响，又最大程度地保留了模型对剩余数据的推荐能力，同时大幅提升了计算效率。