GraphKeeper: Graph Domain-Incremental Learning via Knowledge Disentanglement and Preservation

本文提出了 GraphKeeper，一种通过知识解耦与保留机制解决图领域增量学习中嵌入偏移和决策边界偏差问题的新方法，在实现 negligible 遗忘的同时显著提升了现有图基础模型在多领域场景下的性能。

要点

这篇论文介绍了一个名为 GraphKeeper 的新系统，它的核心任务是教计算机如何像人类一样“终身学习”处理各种复杂的网络数据（比如社交网络、引文网络、交通网络等），同时不会忘记以前学过的东西。

为了让你更容易理解，我们可以把整个故事想象成一位**“超级图书管理员”**的进修故事。

1. 背景：图书管理员的困境

想象你是一位图书管理员（这就是图神经网络模型）。

• 以前的情况（传统学习）： 你只在一个图书馆工作，每天只处理同一类书（比如全是科幻小说）。这时候，你只需要把书按顺序放好就行。
• 现在的挑战（领域增量学习 Domain-IL）： 现在，你的工作变了。你不仅要处理科幻小说，还要处理历史书、生物书、法律书……而且这些书是一批一批送来的。
  • 问题在于： 当你开始学习“法律书”时，你脑子里关于“科幻小说”的分类逻辑可能会乱套。你可能会把法律条文当成科幻情节，或者把以前记住的科幻小说分类规则全忘了。这就是机器学习中可怕的**“灾难性遗忘”**（Catastrophic Forgetting）。

2. 核心痛点：为什么以前的方法不行？

以前的方法（比如 SSM 等）就像是一个**“死记硬背的学生”**。

• 当新任务（新领域的书）来了，学生为了适应新内容，会疯狂修改自己脑子里的所有笔记。
• 结果： 笔记改得太乱，以前记好的“科幻小说”分类法被擦掉了，或者被新内容污染了。这就好比你在学微积分时，把以前背的乘法口诀表给忘了。

3. GraphKeeper 的解决方案：三位一体的“超级管理员”

GraphKeeper 提出了一套聪明的策略，由三个“助手”组成，分别解决三个问题：

助手一：专属的“定制笔记本” (Domain-specific PEFT)

• 比喻： 以前，管理员只有一本通用的笔记本，写满所有知识，改一处乱一处。GraphKeeper 给每个领域的书都发了一本专属的、薄薄的“定制笔记本”（基于 LoRA 技术）。
• 作用： 当新领域的书（比如法律书）来了，管理员只在那本“法律笔记本”上写字，完全不动之前的“科幻小说笔记本”。
• 效果： 以前学的知识被完美封存，不会受到新知识的干扰。

助手二：严格的“分区隔离墙” (Disentanglement)

• 比喻： 即使有专属笔记本，如果管理员脑子里的概念混在一起（比如把“法律”和“科幻”搞混），还是不行。GraphKeeper 在管理员的脑海里建起了透明的隔离墙。
• 作用：
  • 墙内（域内）： 确保同一类书里的不同章节（比如法律里的民法和刑法）分得清清楚楚。
  • 墙外（域间）： 确保“法律区”和“科幻区”的书架距离足够远，互不干扰。
• 效果： 即使书再多，脑子里的地图依然井井有条，不会张冠李戴。

助手三：稳定的“分类标签机” (Deviation-Free Knowledge Preservation)

• 比喻： 以前，管理员每学一种新书，就要把整个图书馆的分类标签牌（决策边界）重新挂一遍。结果挂得太急，把旧标签也弄歪了。
• 作用： GraphKeeper 把“理解书的内容”（编码）和“给书贴标签”（分类）分开。它使用一种**数学公式（岭回归）**来自动计算标签，而不是靠死记硬背去改标签。
• 效果： 无论进来多少新书，旧的标签牌永远稳稳当当，不会歪掉。

4. 特殊技能：识别“神秘访客” (Domain-aware Distribution Discrimination)

• 场景： 有时候，会有一批新书送进来，但没有标签，管理员不知道这是属于“历史”还是“地理”。
• GraphKeeper 的做法： 它有一个**“高维雷达”。它先把这些书的内容投射到一个更高维度的空间（就像把平面的地图变成 3D 立体模型），在这个空间里，不同种类的书原本混在一起，现在变得泾渭分明**。
• 结果： 管理员能一眼看出：“哦，这个神秘访客其实和‘历史区’的书架最像”，然后把它归到正确的地方。

5. 最终成果：为什么它这么强？

实验证明，GraphKeeper 就像一位**“过目不忘且逻辑严密”**的超级管理员：

• 成绩顶尖： 它的准确率比第二名高出 6.5% 到 16.6%（这在 AI 领域是巨大的飞跃）。
• 几乎不遗忘： 它的“遗忘率”几乎为零。
• 通用性强： 它不仅能自己工作，还能无缝安装到各种现有的“大模型”（Graph Foundation Models）上，给它们装上“终身学习”的超能力。

总结

简单来说，GraphKeeper 就是给 AI 装上了**“分门别类的专属笔记本”、“清晰的隔离墙”和“稳定的分类系统”。它让 AI 在面对源源不断的新领域数据时，既能快速学习新知识**，又能牢牢守住旧知识，彻底解决了“学了新、忘了旧”的难题。这对于未来构建能不断进化的通用图模型（Graph Foundation Models）具有非常重要的意义。

技术摘要

GraphKeeper 技术总结

1. 研究背景与问题定义

背景：
图增量学习（Graph Incremental Learning, GIL）旨在通过顺序获取新知识来持续更新图模型。现有的 GIL 方法主要集中在**任务增量（Task-IL）和类别增量（Class-IL）**场景，即所有数据来自同一个域（Domain）。然而，随着图基础模型（Graph Foundation Models, GFMs）的发展，模型需要整合来自多个不同领域（如社交网络、引文网络、生物网络等）的图数据。

核心问题：图域增量学习（Domain-IL）
本文关注的是Domain-IL场景，即模型需要按顺序学习来自不同域的图数据。

• 挑战： 现有的 GIL 方法在 Domain-IL 场景下表现不佳，面临严重的**灾难性遗忘（Catastrophic Forgetting）**问题。
• 原因分析： 当模型适应新域时，参数的大幅调整会导致两个主要问题：
  1. 嵌入偏移（Embedding Shifts）： 之前学习过的图在嵌入空间中的表示发生漂移，导致不同域之间的语义混淆。
  2. 决策边界偏差（Decision Boundary Deviations）： 分类器的决策边界发生剧烈变化，导致对旧域知识的遗忘。
• 现有局限： 传统的正则化、回放或参数隔离方法难以应对跨域巨大的结构和语义差异，且往往无法有效维持决策边界的稳定性。

2. 方法论：GraphKeeper

为了解决上述问题，作者提出了 GraphKeeper，一个基于**知识解耦（Disentanglement）和知识保持（Preservation）**的图域增量学习框架。其核心思想是将灾难性遗忘分解为“嵌入偏移”和“决策边界偏差”两个维度分别解决。

2.1 多域图解耦（Multi-domain Graph Disentanglement）

旨在解决嵌入偏移和语义混淆问题。

• 特定域图参数高效微调（Domain-specific Graph PEFT）：
  • 基于预训练的 GNN，为每个增量域引入一个独立的 LoRA（Low-Rank Adaptation） 模块。
  • 机制： 学习新域时，冻结旧域的 LoRA 参数，仅训练当前域的 LoRA。这确保了旧域在嵌入空间中的表示保持稳定，不会因新域的参数更新而发生偏移。
• 域内与域间解耦目标（Intra- and Inter-domain Disentanglement）：
  • 域内解耦： 利用对比学习（Contrastive Learning），拉近同一域内同类节点的嵌入，推远不同类节点的嵌入，增强类间区分度。
  • 域间解耦： 引入基于表示散射（Representation Scattering）的目标函数。通过聚类获取旧域的嵌入原型（Embedding Prototypes），强制当前域的样本远离所有旧域的原型，从而在嵌入空间中清晰分离不同域的语义，防止跨域混淆。

2.2 无偏差知识保持（Deviation-Free Knowledge Preservation）

旨在解决决策边界偏差问题。

• 解耦分类器与嵌入模型： 将特征提取（Embedding）与分类（Classification）分离。
• 岭回归（Ridge Regression）解析解：
  • 不使用端到端的反向传播更新分类器，而是利用岭回归的解析解来拟合分类权重。
  • 递归更新： 由于无法访问历史数据，作者推导了基于矩阵求逆引理（Matrix Inversion Lemma）的递归更新公式（Eq. 10 & 11）。这使得模型仅利用当前域的数据即可精确更新包含所有历史域知识的分类器参数，而无需存储历史数据或进行梯度回传，从而保证决策边界的稳定性。

2.3 域感知分布判别（Domain-aware Distribution Discrimination）

旨在处理测试阶段域标签不可见的问题。

• 高维随机映射： 使用随机初始化的 GNN 将特征映射到高维空间，利用高维空间的距离特性增加不同域原型之间的可分性。
• 原型匹配： 在推理阶段，计算测试图与历史各域原型的距离，选择最接近的域作为其所属域，进而调用对应的特定域 PEFT 模块进行嵌入和预测。

3. 主要贡献

1. 首创性探索： 首次系统地探索并解决了图增量学习中的Domain-IL场景，填补了该领域的空白。
2. 新框架设计： 提出了 GraphKeeper 框架，通过多域图解耦（PEFT + 对比/散射损失）和无偏差知识保持（岭回归递归更新）机制，有效解决了嵌入偏移和决策边界偏差问题。
3. 卓越性能： 在 15 个真实世界数据集的实验中，GraphKeeper 相比次优方法（Runner-up）提升了 6.5% ~ 16.6% 的平均准确率，且遗忘率（Forgetting）几乎为零。
4. 通用性与集成性： 证明了 GraphKeeper 可以无缝集成到现有的图基础模型（如 GCOPE, MDGPT）中，显著增强了 GFMs 的持续学习能力，同时避免了显式回放带来的内存爆炸问题。

4. 实验结果

• 基准测试： 在 6 组不同域组合的增量序列上进行了测试。GraphKeeper 在平均准确率（AA）上显著优于 EWC、MAS、GEM、SSM、DeLoMe 等现有 SOTA 方法。
• 对比分析：
  • 现有方法（如 SSM）在 Class-IL 表现良好，但在 Domain-IL 中性能大幅下降。
  • GraphKeeper 甚至优于使用所有历史数据联合训练（Joint Training）的基线，证明了参数隔离和稳定表示的有效性。
  • 消融实验表明，移除 PEFT、解耦目标或知识保持模块都会导致性能显著下降，验证了各模块的必要性。
• 可视化： t-SNE 可视化显示，GraphKeeper 生成的嵌入在不同域之间具有清晰的边界，且随着学习进程保持高可分性，而对比方法（如 PDGNNs）的嵌入随时间推移逐渐纠缠。
• 与 GFMs 结合： 将 GraphKeeper 集成到 GCOPE 和 MDGPT 后，GFMs 在少样本 Domain-IL 场景下的性能大幅提升，且几乎无遗忘。

5. 意义与价值

• 理论意义： 深入剖析了图增量学习中跨域遗忘的机理（嵌入偏移与决策边界偏差），并提出了针对性的解耦与保持策略，为后续研究提供了新的理论视角。
• 应用价值：
  • 图基础模型进化： 为构建能够持续学习、适应多源异构图数据的“活”的图基础模型提供了关键技术路径。
  • 实际部署： 无需存储大量历史数据（无回放），降低了存储和计算成本，适合隐私敏感或数据流式到达的实际应用场景。
  • 广泛适用性： 框架设计不依赖特定的 GNN 骨干网络，具有广泛的适用性和集成潜力。

综上所述，GraphKeeper 通过解耦参数更新与决策边界优化，成功解决了图领域增量学习中的核心难题，为构建下一代持续进化的图智能系统奠定了坚实基础。