CoPeP: Benchmarking Continual Pretraining for Protein Language Models

本文提出了 CoPeP 基准，旨在评估蛋白质语言模型在持续预训练中的表现，通过利用 UniProt 十年间数据的时序元信息，证明了该方法在 31 项任务中不仅能显著降低困惑度，还能在大规模场景下超越简单的持续预训练策略。

要点

这篇论文介绍了一个名为 CoPeP 的新项目，它的核心目的是给“蛋白质语言模型”（一种能读懂蛋白质序列的 AI）建立一个持续学习的考试系统。

为了让你轻松理解，我们可以把这篇论文的故事想象成**“一位不断进化的蛋白质翻译官”**的进修之路。

1. 背景：蛋白质是生命的“乐高”，AI 是“翻译官”

• 蛋白质：你可以把它们想象成由 20 种不同颜色的积木（氨基酸）搭成的复杂结构。这些结构决定了生命如何运作。
• 蛋白质语言模型 (pLM)：这是一种 AI，它把蛋白质序列当作“语言”来学习。就像我们学中文一样，它通过阅读海量的蛋白质“书籍”（数据库），学会了积木的排列规律，从而能预测蛋白质的功能，甚至设计新的蛋白质来治病（药物研发）。
• 问题：这些“书籍”（数据库，比如 UniProt）不是静止的。生物学家每年都在里面添加新发现的蛋白质，也会剔除那些被证明是错误、重复或无用的数据。
  • 比喻：想象你在读一本不断更新的百科全书。如果 AI 只读 2015 年的版本，到了 2024 年，它读到的知识就过时了，而且里面还夹杂着很多后来被证实是错的“谣言”。
  • 传统做法：每次数据库更新，就把 AI 扔了，重新用所有新数据从头训练一次。这就像为了更新一本字典，把整个图书馆烧了重盖，太慢、太贵、太浪费。

2. 解决方案：CoPeP 基准测试

作者们提出了 CoPeP（Continual Pretraining of Protein Language Models），这就像是为 AI 设计的一套**“终身学习”的模拟考场**。

• 考什么？
  他们收集了从 2015 年到 2024 年，每年更新的蛋白质数据库快照。

  • 比喻：这就像给 AI 安排了一场为期 10 年的连续考试。每年发一套新卷子（新数据），AI 不能把去年的知识全忘了，也不能只学今年的，它要一边学新东西，一边保留旧知识，还要学会分辨哪些是“真知识”（长期保留的），哪些是“假知识”（后来被剔除的）。

• 怎么考？
  他们设计了三个维度的挑战：

  1. 自然分布测试：看 AI 是否还能读懂当前最主流的蛋白质“方言”。
  2. 突变预测 (ProteinGym)：如果积木换了一块（基因突变），蛋白质还能工作吗？
  3. 多功能理解 (PEER & DGEB)：看 AI 能否理解蛋白质的功能、位置和结构等复杂概念。

3. 核心发现：时间就是智慧

论文中最有趣的发现是：“时间”本身就是一种宝贵的信息。

• 旧数据 vs. 新数据：
  在数据库里，有些蛋白质序列从 2015 年一直保留到 2024 年，而有些只出现了一两年就被删掉了。
  • 比喻：就像在人群中，那些几十年都还在的“老居民”通常更靠谱；而那些刚来就消失的“过客”，可能是误入的或者不稳定的。
  • AI 的顿悟：研究发现，如果 AI 能利用这种“时间元数据”（即：这个序列存在了多久？），它就能学得更好。
  • 结果：利用这种“时间智慧”的 AI，比那些只是简单地把所有年份数据混在一起训练的 AI，表现好了 7%。这就像是一个聪明的学生，不仅读了书，还知道哪些书是经典常读，哪些是过期的八卦。

4. 各种“学习方法”的较量

作者测试了 6 种不同的“学习策略”（也就是让 AI 持续学习的算法），看看谁最聪明：

1. 死记硬背 (Naive)：每年只学当年的，不管以前学的。结果：忘性大，学新忘旧。
2. 温故知新 (Replay)：学新东西时，偶尔复习一下旧数据。
   • 亮点：他们改进了一种叫**“时间回放”的方法，优先复习那些“长期存在”的蛋白质。结果在理解自然语言（UniProt 验证集）上大获全胜**。
3. 保持弹性 (Plasticity)：比如“兔子与乌龟”法（Hare and Tortoise），让模型保持一部分“慢速”记忆，一部分“快速”学习。
   • 亮点：这种方法在预测突变效果（ProteinGym）时表现最好。
4. 主动遗忘 (Unlearning)：比如“梯度上升”法，主动把那些后来被数据库剔除的“错误数据”从脑子里擦除。
   • 亮点：这种方法在理解复杂功能（DGEB）时表现优异。

5. 总结与意义

这篇论文告诉我们：

• 不要重头再来：在药物研发中，我们不需要每次都把 AI 推倒重来。通过持续学习，AI 可以像人类专家一样，随着科学进步不断进化。
• 时间是有价值的：数据在时间轴上的“留存率”是一个巨大的信号。能利用这个信号的 AI，能更精准地理解生命的语言。
• 没有万能药：不同的任务需要不同的学习策略。有的擅长记“常识”，有的擅长应对“突变”，有的擅长“纠错”。

一句话总结：
CoPeP 就像是一个蛋白质 AI 的“终身教育学院”，它证明了让 AI 随着时间推移，利用数据的“历史沉淀”来不断自我更新，比单纯地堆砌数据或重新训练要高效得多，这将为未来加速新药研发打开大门。

技术摘要

CoPeP：蛋白质语言模型持续预训练基准技术总结

1. 研究背景与问题定义

背景：
蛋白质语言模型（Protein Language Models, pLMs）通过利用进化统计信息，在揭示序列、结构和功能之间的关系方面取得了显著进展，极大地加速了药物发现。然而，pLMs 的训练数据（如 UniProt Knowledgebase）具有高度动态性：每年社区会提交数百万新序列，同时通过自动化流程或人工审查剔除数百万旧序列（如假基因或冗余序列）。

核心问题：

1. 数据动态性与重训练成本： 每次数据更新都从头重新训练模型是计算上不可行的（计算成本过高）。
2. 持续学习（Continual Learning, CL）的挑战： 现有的持续学习基准（如 CIFAR-10, MNIST）通常规模较小且基于合成分布偏移，无法反映真实世界中大规模蛋白质数据的复杂性和时间演化特性。
3. 时间元信息的利用： 蛋白质数据库的演化过程本身包含了宝贵的“时间元信息”（Temporal Meta-information）：长期保留的序列通常代表高质量的功能性蛋白，而被剔除的序列可能代表非功能性或冗余数据。目前的 pLM 训练往往忽略了这种时间维度的信号。

目标：
提出一个名为 CoPeP (Continual Pretraining of Protein Language Models) 的新基准，用于在大规模真实世界数据上评估持续学习策略，并探索如何利用时间元信息来提升模型性能。

---

2. 方法论 (Methodology)

2.1 CoPeP 基准构建

• 数据集来源： 基于 UniRef100（UniProtKB 的非冗余聚类版本）从 2015 年到 2024 年 的 10 个年度发布版本。
• 任务定义： 将每年的 UniRef100 发布视为一个独立的持续学习任务（$D_1, ..., D_{10}$）。
• 数据规模： 覆盖约 5.8 亿个唯一条目，反映了蛋白质序列数据的非线性增长和整理习惯的变迁。
• 数据分布特性： 数据分布随时间发生系统性漂移（Distribution Shift）。研究发现，新序列与验证集的序列同一性（Sequence Identity）逐年降低，表明数据分布正在向更发散的方向演化。

2.2 评估体系

为了全面评估模型性能，CoPeP 设计了三个维度的评估任务：

1. UniProt 验证集 (Validation Set)： 包含 1 万个经过实验验证的高质量蛋白，用于评估模型对自然蛋白质分布的拟合能力（指标：困惑度 Perplexity, 序列恢复率 Sequence Recovery）。
2. ProteinGym： 包含 217 个深度突变扫描（DMS）实验，用于评估模型预测**突变适应性（Fitness）**的能力（指标：Spearman 相关系数）。
3. 多任务理解基准 (PEER & DGEB)： 评估模型在功能预测、亚细胞定位、结构属性及基因组嵌入等广泛任务上的泛化能力。

2.3 实验设置

• 基座模型： 采用双向 AMPLIFY 120M 模型。
• 训练策略： 每个任务训练 10 万步，使用 Warmup-Stable-Decay (WSD) 学习率调度以缓解持续训练中的重预热问题。
• 对比基线：
  • Joint Training： 在 2015-2024 所有累积数据上联合训练（理想上限）。
  • Naive Sequential： 简单的顺序微调，无特殊干预。
  • Single Year： 仅训练单一年份数据（增量版和匹配步数版）。

2.4 评估的持续学习方法

研究评估了 6 种来自持续学习文献的方法，分为三类：

1. 标准持续学习 (Standard CL)：
   • Temporal Replay (时间回放)： 利用历史数据，根据序列在历年中出现的**频次（Multiplicity）**进行重要性采样。出现次数越多的序列，被回放采样的概率越高。
2. 可塑性保持 (Plasticity-preserving)：
   • Shrink and Perturb： 定期缩小网络权重并注入噪声，防止模型僵化。
   • Hare and Tortoise： 维护快慢两套权重，慢权重作为快权重的指数移动平均，定期重置快权重。
3. 遗忘/去学习 (Unlearning)：
   • Gradient Ascent： 对“遗忘集”（当前任务中不存在但在上一任务中存在的序列）执行梯度上升，主动擦除旧知识。
   • Random Labels： 将遗忘集的标签替换为随机 Token，训练模型预测噪声以覆盖旧知识。

---

3. 关键贡献 (Key Contributions)

1. 首个大规模蛋白质持续预训练基准 (CoPeP)： 填补了现有持续学习基准缺乏真实世界、大规模、时间演化数据的空白。
2. 大规模方法评估： 首次将多种持续学习方法（如 Hare & Tortoise, Shrink & Perturb 等）应用于蛋白质语言模型的大规模预训练场景（1.2 亿参数，10 年数据）。
3. 揭示时间元信息的价值： 证明了利用蛋白质在数据库中**持久性（Persistence）**作为信号，可以显著提升模型性能，甚至优于在全部数据上联合训练的模型。

---

4. 主要结果 (Results)

4.1 整体性能

• 超越联合训练： 令人惊讶的是，多种持续学习方法在验证集上的表现优于在 2015-2024 所有数据上联合训练的模型（Joint Training）。
  • 原因分析： 联合训练模型被迫学习了大量后来被剔除的序列（如假基因、冗余序列），这些“噪声”损害了模型对真实蛋白质分布的拟合。而持续学习方法通过自然的时间过滤，隐式地剔除了这些低质量数据。
• 超越简单基线： 所有持续学习方法均优于简单的顺序微调（Naive Sequential）和单一年份训练基线。

4.2 不同方法的表现差异

• Temporal Replay (时间回放)： 在 UniProt 验证集（自然分布拟合）上表现最佳，困惑度降低最多。这证明了利用序列持久性作为高质量信号的有效性。
• Gradient Ascent & Hare & Tortoise： 在 ProteinGym（突变适应性预测）上表现最佳。这些方法可能更好地保留了模型对局部突变敏感性的可塑性，避免了过度拟合历史序列。
• Shrink & Perturb & Random Labels： 在 PEER 和 DGEB（多任务泛化）上表现优异，分别取得了最高的胜率。

4.3 时间元信息的量化收益

• 实验表明，仅利用 2022 和 2024 数据的交集（仅包含 64% 的数据量，但均为高质量持久序列）训练的模型，其困惑度比使用 2024 全量数据训练的模型降低了 2.5%。
• 在对比所有方法时，利用时间元信息的策略（如 Replay）相比仅使用当前年份数据，困惑度提升了高达 7%。

---

5. 意义与展望 (Significance)

1. 药物发现的可持续性： CoPeP 证明了无需昂贵的全量重训练，通过持续学习即可保持 pLMs 处于最先进（SOTA）水平，这对于资源受限的药物研发至关重要。
2. 数据质量的新视角： 研究揭示了“时间”本身是数据质量的重要指标。在生物数据库中，长期存在的序列往往比新提交的序列更可靠。
3. 任务特定的策略选择： 没有一种“万能”的持续学习方法。
   • 若目标是理解自然蛋白质分布（如从头设计），应优先使用**回放（Replay）**策略。
   • 若目标是预测突变效应或零样本泛化，可塑性保持或去学习策略可能更有效。
4. 未来方向： 未来的工作可以探索如何结合这些正交的方法（例如，结合回放与可塑性保持），以开发在药物发现全流程中均表现优异的通用蛋白质模型。

总结： CoPeP 不仅是一个基准，更是一个强有力的证据，表明在生物序列建模中，利用数据的时间演化特性（Temporal Meta-information）是提升模型性能、实现高效持续学习的关键途径。