🧬 biology

Controlling Repetition in Protein Language Models

本文介绍了 UCCS，这是一种新颖的推理时引导方法，通过构建效用控制的对比数据集，有效地减少了蛋白质语言模型中的病理性重复，从而在不损害结构可折叠性或需要模型重训练的情况下，提高了生成的可靠性。

原作者： Jiahao Zhang, Zeqing Zhang, Di Wang, Lijie Hu

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiahao Zhang, Zeqing Zhang, Di Wang, Lijie Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

想象一下，你拥有一位非常有才华的大厨（一个蛋白质语言模型），他读遍了世界上所有的食谱。这位大厨非常擅长发明新食谱（设计新蛋白质），这些蛋白质有可能治愈疾病或构建新材料。

然而，出现了一个故障。有时，当你要求大厨写一份新食谱时，他们会陷入循环。他们不再编写包含多样化食材的复杂菜肴，而是开始一遍又一遍地重复同一句话：“加盐，加盐，加盐，加盐……” 或者 “切洋葱，切洋葱，切洋葱……”

在普通的文本故事中，这只是让人烦恼且难以阅读。但在蛋白质的世界里，这是一场灾难。蛋白质就像是微小的折叠折纸机器。如果食谱只是一长串重复的同一种食材，这台机器就无法正确折叠。它会坍塌成一个无用的、黏糊糊的团块，从而无法发挥作用。

这篇题为**《控制蛋白质语言模型中的重复现象》**（Controlling Repetition in Protein Language Models）的论文，正是针对这一问题提出了解决方案。以下是其解决方案的简单拆解：

问题所在：“破唱片”效应

作者注意到，这些 AI 大厨经常遭受“病理性重复”之苦。他们会陷入两种坏习惯：

循环（The Loop）： 重复短语，如“ABC-ABC-ABC”。
单调（The Monotone）： 永远重复同一个字母，如“AAAAAA”。

论文指出，仅仅告诉 AI “要更随机一点”（一种常见的文本生成技巧）在这里并不奏效。如果你强迫 AI 变得随机，它可能会停止重复，但也可能开始写出完全无法折叠成形状的乱码。这就像告诉大厨“不要再用盐了”，结果他们却不小心连任何调料都不用了，导致食物变得很难吃。

解决方案：UCCS（“智能编辑师”）

团队创建了一种名为 UCCS（效用控制对比引导） 的新方法。与其将其看作是你给大厨的一个规则，不如把它看作是在厨房柜台上安装的一个导轨。

他们是如何构建这个导轨的：

训练营： 他们收集了两组食谱。
- A 组（优秀的食谱）： 天然蛋白质，具有多样性且能完美折叠。
- B 组（糟糕的食谱）： AI 生成的、陷入循环的蛋白质。
“效用”过滤器： 这是聪明之处。通常情况下，坏食谱（循环）也无法很好地折叠。团队仔细过滤了他们的分组，使得“坏”组仍然保留了像“好”组一样的某些折叠潜力。他们确保两组之间的主要区别仅在于重复性，而非折叠能力。
寻找“重复向量”： 他们观察了 AI 的大脑内部（其内部数学逻辑），以寻找“重复”所存在的特定方向。由于他们对分组进行了如此精细的匹配，他们找到了一个纯粹的“重复信号”，这个信号并没有与“折叠质量差”混杂在一起。
引导（Steering）： 当 AI 尝试生成新蛋白质时，这种方法会轻轻地将它的内部思维推离那个“重复方向”。这就像是一个微妙的提醒，说：“嘿，你又要说‘AAAA’了；让我们试试别的吧。”

结果：一位更好的大厨

作者在几种不同的 AI 大厨（如 ESM-3 和 ProtGPT2 模型）以及不同的食谱库（数据集）上测试了该方法。

之前： AI 经常产生黏糊糊的、重复性的团块，无法折叠。
之后（使用 UCCS）： AI 产生了多样化、复杂的序列，并且依然能够完美折叠。

至关重要的是，他们的方法优于旧有的技巧（比如仅仅调高“随机性”旋钮）。旧技巧要么无法停止重复，要么会让蛋白质无法折叠。UCCS 成功地在不破坏蛋白质工作能力的前提下，停止了重复。

大局观

这篇论文首次系统性地指出：“嘿，重复是蛋白质 AI 的一个主要失效模式，而这里有精确的方法来衡量并修复它。”

他们不仅仅是在说“停止重复”。他们弄清楚了如何在 AI 的大脑内部将“重复”的概念与“结构质量”分离，从而实现了在不破坏其中一个的前提下修复另一个。这是一种引导这些强大工具的新方式，让它们能够设计出真实的、工作的生物机器，而不是仅仅循环播放文本。

技术摘要：控制蛋白质语言模型中的重复现象

1. 问题定义

蛋白质语言模型（PLMs）在结构预测和从头设计（de novo design）方面取得了显著进展，但也面临着一个特定的失效模式：病理性重复（pathological repetition）。与自然语言中重复主要降低可读性不同，在蛋白质领域，重复会导致序列缺乏结构多样性、折叠不稳定以及生物学功能失效。

本文识别了两种典型的失效形式：

基元级重复（Motif-level repetition）： 短的 $n$ -gram 片段（例如二肽或三肽）循环出现（例如 AGAGAG）。
同质多聚体重复（Homopolymer repetition）： 单个氨基酸残基延伸成长链（例如 AAAAAA）。

来自自然语言处理（NLP）的现有解决方案（如解码启发式方法：温度缩放、top- $p$ 采样、重复惩罚）在蛋白质领域往往表现不佳。这些方法倾向于以牺牲**结构效用（structural utility）**为代价来减少重复，从而导致 AlphaFold 置信度评分（pLDDT, pTM）下降，使生成的蛋白质在生物学上变得不可行。此外，在 PLMs 中，重复与结构效用是紧密纠缠在一起的，这使得在不进行重新训练的情况下将两者解耦变得十分困难。

2. 方法论：效用控制的对比转向（UCCS）

作者提出了 UCCS，这是一种表示层面的干预手段，通过注入特定的转向向量来引导生成，而无需重新训练或修改解码启发式算法。该方法基于这样一个前提：如果转向向量是从重复现象与结构效用已解耦的数据中提取的，那么就可以通过注入这些向量来控制重复。

2.1 量化重复与效用

为了形式化这一问题，论文引入了两个互补的指标：

重复得分（ $R(x)$ ）： 一个综合指标，聚合了：
- Token 级熵（ $H_{norm}$ ）： 衡量全局氨基酸不平衡度。
- Distinct- $n$ （ $n=2,3$ ）： 衡量局部基元多样性。
- 同质多聚体多样性（ $R_{hpoly}$ ）： 惩罚超过特定阈值（默认 $k=4$ ）的相同残基连续运行。
效用得分（ $U(x)$ ）： 源自结构代理指标，具体为 AlphaFold 的 pLDDT（局部置信度）和 pTM（全局拓扑置信度）的平均值。

2.2 对比数据集构建

核心挑战在于高重复序列通常与低结构效用相关联。为了解决这个问题，UCCS 构建了对比数据集（ $D^+$ 和 $D^-$ ），旨在最大化重复差异（ $\Delta R$ ），同时严格限制效用差异（ $\Delta U \le \epsilon$ ）。

正向集（ $D^+$ ）： 低重复序列（天然蛋白质或高质量的 PLM 生成序列）。
负向集（ $D^-$ ）： 高重复序列（病理性 PLM 生成序列）。
选择策略： 作者使用基于帕累托前沿（Pareto-based frontier）的选择或复合评分法，以确保所选序列尽管重复程度不同，但具有相当的结构合理性。

2.3 转向向量注入

一旦确定了对比集，即可在特定 Transformer 层 $L$ 计算出转向向量（ $v_L$ ）：
$v_L = \mathbb{E}_{x \in D^+}[\phi_L(x)] - \mathbb{E}_{x \in D^-}[\phi_L(x)]$
其中 $\phi_L(x)$ 是序列级摘要表示（对于掩码语言模型采用均值池化，对于自回归模型采用最后一位 token）。

在推理过程中，将该向量注入隐藏状态：
$\tilde{h}_t^L(x) = h_t^L(x) + \alpha \cdot v_L$
其中 $\alpha$ 是控制转向强度的标量。此操作在抑制病理性重复模式的同时，保留了效用匹配数据集中所编码的结构特征。

3. 主要贡献

系统性表征： 首次系统研究将病理性重复识别为 PLMs 的关键失效模式，并将其分为基元级重复和同质多聚体重复。
指标开发： 引入了统一的重复得分（ $R(x)$ ）和效用得分（ $U(x)$ ）来评估多样性与可折叠性之间的权衡。
UCCS 方法： 一种由数据集引导的转向方法，实现了重复控制与生物效用的解耦，且无需重新训练模型。
全面评估： 在两种模型范式（掩码 LM: ESM-3；自回归 LM: ProtGPT2）、三个数据集（CATH, UniRef50, SCOP）以及两种生成设置（无条件生成和有条件生成）下进行了广泛实验。

4. 实验结果

论文将 UCCS 与包括原始模型、解码启发式方法（温度、top- $p$ 、重复惩罚）以及机制层面干预（神经元失活、探针转向）在内的基线模型进行了对比。

性能： UCCS 始终取得最佳权衡，在保持或略微提升效用得分 $U(x)$ $U (x)$ 的同时，显著提高了重复得分 $R(x)$ $R (x)$ 。
- 在 ESM-3 上，在 CATH 数据集的无条件生成中，UCCS 在保持效用的同时，将 $R(x)$ 提升了高达 55%。
- 在 ProtGPT2 上，相对于温度采样，UCCS 在不违反效用约束的情况下减少了高达 20% 的重复。
与基线对比：
- 解码启发式方法： 虽然能有效增加表面多样性，但始终会降低结构置信度（较低的 pLDDT/pTM）。
- 机制层面基线： 神经元失活和探针转向表现出不稳定的性能，通常无法同时改善这两个指标，或者会降低效用。
消融实验：
- 数据集构建： 结构化选择（帕累托/复合）优于随机采样，特别是在降低方差方面。
- 转向强度（ $\alpha$ ）： 发现最佳性能出现在 $\alpha \approx 1.0 \sim 2.0$ 时。
- 层注入： 有效的转向发生在网络的后期层（对于 ESM-3 为最后几层；对于 ProtGPT2 为最后三分之一层）。
泛化能力： 该方法在 ProGen2（自回归）和 DPLM（扩散模型）上得到了进一步验证，证明了其在不同生成架构下的鲁棒性。

5. 意义与主张

论文声称，将重复控制确立为蛋白质语言模型的一个核心挑战，由于其对结构可行性的直接影响，这与基于文本的重复问题截然不同。

原则性方法： 作者认为，基于数据集引导的对比转向提供了一种处理重复与效用纠缠问题的原则性方法，而解码启发式方法无法解决这一问题。
机制洞察： 通过逐层探测和神经元级相关性分析，论文揭示了重复是一种分布式的表示现象：它在早期阶段出现，在中间层发生纠缠，并在最终层强化为与 Logit 对齐的吸引子状态。研究表明，ESM-3 拥有比 ProtGPT2 更极化的重复相关子空间，这解释了其为何退化更为严重。
可靠性： 这项工作强调，可靠的蛋白质生成需要能够保留折叠能力的干预手段，并将 UCCS 定位为一种即插即用的机制，能够在不承担重新训练计算成本的情况下实现这一目标。

作者总结道，虽然病理性重复是蛋白质建模中一个新发现的问题，但通过表示转向来控制重复，是生成具有生物学可行性的从头设计蛋白质的必要步骤。