🤖 machine learning

Shapley Neuron Values for Continual Learning: Which Neurons Matter Most?

本文介绍了沙普利神经元估值（SNV），这是一种博弈论框架，通过识别并冻结关键神经元，实现在无需架构扩展的情况下进行有效的无缓冲持续学习，并在 ImageNet-1k 上取得了显著优于现有方法的准确率提升。

原作者： Mohammad Ali Vahedifar, Abhisek Ray, Qi Zhang

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Ali Vahedifar, Abhisek Ray, Qi Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《用于持续学习的沙普利神经元值》的解释。

核心难题：人工智能的“金鱼记忆”

想象你正在教导一名学生（一个神经网络）学习一系列科目：先学数学，再学历史，最后学生物。

目标：你希望学生学会生物，同时不忘记数学或历史。
现实：在传统人工智能中，学习生物往往会导致学生“覆盖”掉他们的数学笔记。这被称为灾难性遗忘。他们学得越多，就越容易忘记之前学过的内容。

为了解决这个问题，目前大多数方法采用以下两种技巧之一：

“笔记本”法（基于记忆）：学生在学生物时，会保留一本记录旧数学题的实体笔记本以供复习。问题：这本笔记本会变得巨大，占用空间，且可能包含你被禁止保留的隐私信息。
“背包”法（动态架构）：学生每学一个新科目，就买一个更大的背包。问题：最终，背包会变得如此沉重和庞大，以至于根本无法携带。

论文提出的解决方案：“沙普利神经元值”（SNV）

这篇论文提出了第三种方式：“智能储物柜”系统。

学生不再购买更大的背包或携带沉重的笔记本，而是使用他们最初拥有的同一个背包。其中的诀窍在于精确找出背包中哪些物品对哪个科目至关重要，并将它们锁定，防止丢失，同时让其他物品保持自由，以便用于新科目。

具体做法如下：

1. “工人团队”类比（博弈论）

在人工智能的大脑内部，有成千上万个被称为神经元的微小“工人”。当人工智能解决问题时，这些工人会协同工作。

问题：谁是对这项特定任务最重要的工人？
工具：作者使用了来自合作博弈论的一个数学概念，称为沙普利值。
隐喻：想象一群人试图建造一座房子。有些人砌砖，有些人粉刷，还有些人只是站着。沙普利值是一种公平计算每个人对最终房屋贡献多少的方法。
- 如果你移除某个特定工人，房子就倒塌了，那么该工人的价值很高。
- 如果你移除某个工人，房子看起来没有任何变化，那么该工人的价值为零。

2. “冻结”策略

一旦人工智能学会了某项任务（如数学），SNV 系统就会运行快速计算，以确定哪些神经元是数学的“明星球员”。

行动：系统会给这些特定的明星神经元加上冻结锁。它们现在被“冻结”了，无法改变。
结果：当人工智能学习历史时，它只能使用未冻结的神经元。数学神经元安全地锁在它们的储物柜里，因此数学知识得以保留。
优势：人工智能既不需要存储旧数据（无需笔记本），也不需要变大（无需新背包）。它只是重新排列并锁定其现有大脑的部分。

3. 为何这比其他方法更好

论文将这种“智能储物柜”系统与其他方法进行了比较：

对比“笔记本”（基于记忆的方法）：SNV 不需要存储旧照片或数据。这对隐私（无数据泄露）很有好处，并节省了存储空间。
对比“背包”（动态架构）：SNV 不会向大脑添加新部件。它将所有内容都容纳在原始尺寸内。
对比“盲目冻结”（其他无缓冲方法）：其他一些方法只是随机冻结大脑的部分，或基于简单的猜测进行冻结。SNV 利用“沙普利值”数学来实现精确判断。它确切地知道哪些神经元最重要，因此不会意外冻结对新任务至关重要的神经元。

结果：“记得住的金鱼”

研究人员在巨大的图像数据集（如包含数千种图片的 ImageNet）上测试了这种方法。

结果：SNV 始终优于其他不使用“笔记本”的方法。
得分：在一次测试中，与同样不使用笔记本的第二名方法相比，SNV 将准确率提高了近6.5%。
“零遗忘”声明：在人工智能知道自己在做什么任务的测试中（任务增量学习），SNV 实现了零遗忘。它在学习新事物的同时没有丢失任何旧事物，且无需存储任何旧图像。

代价（局限性）

论文承认存在一个小成本。计算“沙普利值”（找出谁是明星工人）需要额外的计算机时间和能量。

权衡：这就像在旅行前多花 10 分钟详细清点你的背包。虽然前期多花了一点时间，但能确保你以后不会弄丢钥匙。论文认为，为了避免存储数据或构建更大模型所带来的巨大成本，这点时间成本是值得的。

总结

可以将沙普利神经元值视为人工智能大脑的智能图书管理员。
图书管理员不会扔掉旧书（遗忘），也不会购买新图书馆（扩展），而是识别出当前主题最重要的书籍，将它们锁在保险柜中，并让人工智能在空白处写下新笔记。这样，图书馆保持原有规模，但知识永远不会丢失。

技术摘要：用于持续学习的 Shapley 神经元值

1. 问题陈述

持续学习（CL）旨在使神经网络能够学习序列任务，同时不遗忘先前获得的知识。然而，标准神经网络遭受灾难性遗忘的困扰，即学习新任务会损害在早期任务上的性能。现有解决方案面临显著局限：

基于记忆的方法（例如 iCaRL、DER++）存储并重放过去的样本，违反了过去数据无法访问的严格持续学习设定，并引发隐私担忧（例如 GDPR）。
动态架构方法（例如 PNN、DyTox）随时间推移扩展模型规模，导致参数无限制增长，计算上不可行。
基于正则化的方法（例如 EWC、SI）通常难以应对高度异构的任务，并可能需要辅助模块或特定任务的约束。

本文解决的核心挑战是在固定容量的骨干网络内实现抗遗忘的持续学习，无需重访过去数据，也无需扩展架构。

2. 方法论：Shapley 神经元值（SNV）

作者提出了Shapley 神经元值（SNV），这是一个无缓冲框架，利用现代神经网络固有的过参数化特性。该方法基于合作博弈论原理，识别并保留每个任务的“专家子网络”。

核心机制

神经元定义：在卷积网络中，“神经元”被定义为卷积滤波器（核）。
Shapley 估值：每个神经元的重要性使用Shapley 值进行量化，该值根据神经元对网络不同子集的边际贡献，公平地分配模型的性能指标 $V(M)$ $V (M)$ 。
- 该估值满足四个公理：效率性、零贡献、对称性和线性。
- 神经元 $i$ 的 Shapley 值 $\phi_i$ 计算如下：
  $\phi_i = \sum_{S \subseteq M \setminus \{i\}} \frac{|S|!(|M| - |S| - 1)!}{|M|!} [V(S \cup \{i\}) - V(S)]$
- 此处， $V(S)$ 表示当 $M \setminus S$ 中的神经元被其平均激活值替换（掩蔽）时的模型性能，在不重新训练的情况下保留了信号统计特性。
近似策略：由于精确的 Shapley 计算呈指数级增长，SNV 采用三种近似方法：
- 蒙特卡洛估计：采样神经元的排列以估计边际贡献。
- 截断：跳过性能下降低于阈值的小子集的边际计算（假设模型此时已无法工作）。
- 多臂老虎机（MAB）：将采样精力集中在置信区间与 top- $k$ 估计值重叠的神经元上，以高效识别最重要的神经元。
冻结与可塑性：
- 对于每个任务 $t$ ，选择 Shapley 值最高的前 $c \cdot N$ 个神经元（其中 $c$ 为稀疏率， $N$ 为神经元总数）。
- 维护一个累积二进制掩码 $B_t$ ，标记任务 1 到 $t$ 中所有被选中的神经元。
- 在训练任务 $t+1$ 时，阻断 $B_t$ 中所有神经元的梯度（冻结），而更新剩余的“可塑性”神经元。这确保了过往任务知识的稳定保留，同时为新任务提供灵活性。

3. 主要贡献

原则性神经元选择：引入博弈论框架（Shapley 值）来识别特定任务最关键神经元，超越了启发式或二值重要性评分。
无缓冲与固定容量：证明了固定容量网络可以通过选择性冻结重要神经元来无限期地学习序列任务，消除了对重放缓冲区或架构扩展的需求。
稳定性 - 可塑性权衡：明确将知识保留（通过冻结的稳定神经元）与新任务学习（通过可塑性神经元）解耦，减少了跨任务干扰。
高效估计：提出了一套实用的流程（蒙特卡洛 + 截断 + MAB），使 Shapley 值估计在持续学习中在计算上可行。

4. 实验结果

实验在 CIFAR-100、Tiny-ImageNet 和 ImageNet-1k 上使用 ResNet-18 进行，涵盖了**类增量学习（CIL）和任务增量学习（TIL）**场景。

性能亮点

ImageNet-1k（CIL）：SNV 在 10 个任务上达到 41.30% 的准确率，在 20 个任务上达到 34.20%，在 50 个任务上达到 25.60%。它始终优于所有无缓冲基线方法（例如 NFL+、DCNet），甚至在 10 个任务的场景中超越了存储了 20,000 个样本的基于记忆的方法 DyTox。
ImageNet-1k（TIL）：SNV 达到 57.82% 的准确率，且反向迁移（BWT）为 0.0，优于所有无缓冲方法，并匹配或超过了不存储任何数据的基于记忆的方法。
与基线比较：
- 在 CIL 中，SNV 在 10 个任务上比第二好的无缓冲方法（NFL+）提高了 +2.88% 的准确率，在 50 个任务上差距扩大到 +3.20%。
- 在 TIL 中，SNV 在 CIFAR-100 上（当 $c=0.5$ 时）比 WSN（Winning SubNetwork）高出 15.76%，证明了原则性的 Shapley 选择优于二值启发式选择。
参数效率：剪枝分析表明，SNV 比 PEC 或 EWC 等方法更有效地利用参数。SNV 在崩溃前能维持更高的准确率，表明冗余更少，关键参数利用率更高。
计算成本：虽然 SNV 比轻量级正则化方法（如 EWC）需要更多的 FLOPs，但开销适度（约为 NFL+ 的 1.24 倍）。它仍然比基于记忆的方法（如 DyTox）高效得多，后者需要约 2.8 倍的 FLOPs 和 2.1 倍的 GPU 显存。

5. 意义与主张

本文主张 SNV 提供了一种原则性的、无缓冲的解决方案来解决灾难性遗忘问题，非常适合资源受限和隐私敏感的环境。

隐私：通过消除存储过去数据的需求，SNV 避免了与数据保留法规（如 GDPR）相关的隐私风险。
可扩展性：它避免了动态架构方法中无限制的内存增长。
有效性：作者认为，简单地存储并重放样本可能不是最佳策略；相反，在固定网络内识别并保留“正确”的神经元是严格持续学习中更稳健的方法。
局限性：作者承认，任务后的 Shapley 估计步骤增加了计算成本，这可能成为非常大模型的瓶颈。未来的工作旨在在线近似这些值，以消除单独的估计阶段。

该工作将 SNV 定位为基于记忆方法的有力替代方案，证明了在不违反严格数据访问限制的情况下，持续学习的高性能是可以实现的。