💻 computer science

Off-Manifold Collapse in Guided Protein Language Models

本文识别了引导式蛋白质语言模型中的一种失效模式——“流形外崩溃”（off-manifold collapse），即强引导会导致产生低复杂度、无法折叠且能欺骗属性预言机的序列，并提出了一种无需训练的“马哈拉诺比斯过滤”（Mahalanobis filtering）后处理步骤，通过针对自然激活统计特性进行过滤，来检测并剔除这些无效候选序列。

原作者： Shuibai Zhang, Xinchi Liu, Fred Zhangzhi Peng, Zhihan Yang, Shutong Wu, Yingzi Ma, Jiawei Zhang

发布于 2026-08-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shuibai Zhang, Xinchi Liu, Fred Zhangzhi Peng, Zhihan Yang, Shutong Wu, Yingzi Ma, Jiawei Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

蛋白质是构建并运行每一个生命体的分子机器。它们是由被称为氨基酸的构建模块组成的长链，而这些模块的具体排列顺序决定了链条如何折叠成三维形状。正是这种形状让蛋白质能够发挥功能，无论是消化食物、对抗感染，还是传递信号。几十年来，科学家们一直试图从头设计新的蛋白质，但可能的序列空间如此巨大，以至于寻找一个有用的序列就像在大海捞针。近年来，人工智能提供了一种新的途径。大型计算机模型通过对数百万种天然蛋白质的学习，掌握了这些链条行为的隐藏规则。这些模型现在可以生成看起来和作用起来都像天然蛋白质的新序列，成为创造药物和工业酶的强大工具。

然而，一项新研究揭示了目前科学家尝试微调这些人工智能模型以创造特定新特性（如更高的溶解度或更好的耐热性）时的一个关键缺陷。研究人员发现，当他们过度推动人工智能去实现某种期望的特性时，模型会停止产生真实的蛋白质。相反，它会坍塌到一种状态，即生成的序列对于模型自身的内部逻辑而言看起来像是随机噪声，尽管一个单独的评分系统仍将其评为成功。该团队发现了一种简单且快速的方法，可以在人工智能完成工作后识别出这种失败，从而无需重新训练模型或改变其生成序列的方式，即可过滤掉这些损坏的设计。

问题的产生源于研究人员试图引导这些语言模型走向特定目标。想象一个阅读过所有已知蛋白质序列并理解使它们稳定的微妙模式的模型。科学家可以在生成过程中通过向模型的内部计算添加特定的方向来引导它，有效地告诉它：“让这个蛋白质更具溶解性。”这种被称为“激活引导”（activation steering）的技术非常受欢迎，因为它不需要进行复杂且昂贵的整个模型重训过程。但其中隐藏着代价。当引导力过强时，模型会失去对它所学到的自然模式的掌控。它开始产生在统计学上与随机氨基酸字符串无法区分的序列。

研究人员在测试模型的溶解性时清楚地观察到了这种失败。在轻微引导下，人工智能生成的蛋白质折叠良好且具有改善的溶解性。但随着他们增加引导强度，生成的蛋白质质量骤降。模型开始发出几乎完全由单一氨基酸——甘氨酸组成的超长链。这些链条如此简单且重复，以至于无法折叠成具有功能的形状。然而，用于判断溶解性的计算机程序仍然给这些破碎的链条打出了完美的分数。模型被误导，认为一个随机的、坍塌的序列是成功的，因为评分系统捕捉到了一个恰好模拟了该随机噪声的特定信号。人工智能已经脱离了“流形”（manifold，科学家用来描述所有天然、功能性蛋白质所存在的弯曲表面的术语），并跌入了统计随机性的区域。

为了理解为什么会发生这种情况，团队在模型生成这些序列时观察了模型的内部“大脑”。他们检查了模型为每种氨基酸创建的数学表示。在健康的生成过程中，这些表示会保持在模型从天然蛋白质中学习到的特定数值范围内。当引导过于激进时，这些数值会缩小并向平均值坍塌，失去定义真实蛋白质的独特变化。研究人员发现，这种坍塌是一个可靠的警告信号。甚至在蛋白质序列完全形成之前，模型的内部状态就已经显示出失败的迹象，变得与它只是在随机猜测字母时的状态无法区分。

团队提出的解决方案非常简单，且不需要新的训练。他们开发了一个过滤器，作为对人工智能生成的任何蛋白质的最终检查。在模型完成一个序列的创建后，该过滤器会根据该序列的内部表示相对于天然蛋白质的典型程度计算出一个单一分数。如果分数过低，表明序列已坍塌为随机状态，过滤器就会将其丢弃。如果分数足够高，则保留该序列。这个过程极其快速，处理每个蛋白质仅需一小部分秒数，并且占用极少的计算机内存。它并不改变人工智能生成蛋白质的方式，只是从人工智能产生的优劣堆中筛选出好的那一个。

当研究人员将此过滤器应用于他们的实验时，结果令人瞩目。对于相同的引导强度，经过过滤的蛋白质集比未经过滤的集合具有更高的结构质量。这些蛋白质更有可能折叠成稳定的形状，并且仍然保留了研究人员所寻求的改进特性。该过滤器在不同类型的引导（包括使用梯度来推动模型的技术）下同样有效，证明了该问题并非由单一技术引起。团队展示了通过简单地拒绝那些脱离了自然路径的序列，他们就可以找回那些被人工智能意外埋没在统计噪声之下的高质量设计。

这一发现改变了科学家利用人工智能进行蛋白质设计的方式。它表明，最明显的成功标志——来自属性预测器的高分——是不够的。一个序列可以在计算机测试中获得完美分数，但在结构上却是毫无用处的。研究人员证明，模型的内部状态包含了关于一个设计是真实还是虚假的真相。通过倾听那个内部状态，他们可以分辨出信号与噪声。这项工作并不声称已经完全解决了蛋白质设计问题，也不代表取代了对现实世界实验室测试的需求。相反，它提供了一个实用且低成本的工具，以确保人工智能生成的数字设计确实值得在实验室中进行测试，防止研究人员在那些仅仅是数学幻觉的序列上浪费时间。

技术摘要：引导式蛋白质语言模型中的偏离流形坍缩（Off-Manifold Collapse）

问题陈述

蛋白质语言模型（PLMs，如 ESM-2）作为蛋白质序列设计的强大先验，正发挥着重要作用。目前的一个趋势是在推理阶段通过**激活转向（activation steering）**来控制这些模型——即向模型的残差流中添加一个由高、低属性参考序列导出的方向向量——而不是进行微调。然而，这种方法面临一个关键的困境：转向强度必须保持温和以维持自然的激活统计特性，但温和的转向几乎无法有效改变目标属性。相反，强力的转向虽然能成功提升属性得分，却会导致生成的序列发生退化。

本文识别了一种特定的失效模式：偏离流形坍缩（Off-Manifold Collapse）。当转向力度被过度推向以最大化某一属性（例如溶解度或热稳定性）时，模型的内部表示会坍缩至一个在统计上与随机氨基酸输入无法区分的区域。这导致生成低复杂度的序列（例如甘氨酸同质聚合物），而这些序列的折叠效果极差。至关重要的是，用于转向的属性预言机（oracle）往往无法检测到这种坍缩；它可能会继续将这些退化的序列评分为高度成功，从而产生一种“假阳性”现象，即所谓的“优化后”序列在结构上是不可信的。

方法论

诊断：激活坍缩

作者通过分析生成器的隐藏状态而非仅仅分析输出序列来诊断这一失效。他们定义了一个对角马氏距离得分（diagonal Mahalanobis score, $Mahal^2$ ），用以衡量序列激活相对于自然蛋白质的典型程度。

参考统计量： 他们在特定层（ESM-2 650M 的第 17 层）利用 UniRef50 数据集估计了激活值的逐通道均值（ $\mu$ ）和方差（ $\sigma^2$ ）。
指标公式： 对于具有隐藏状态 $h$ 的候选序列，得分计算为标准化偏差平方之和：
$Mahal^2(h) = \frac{1}{L} \sum_{i=1}^{L} \sum_{d=1}^{D} \left( \frac{h_{i,d} - \mu_d}{\sigma_d} \right)^2$
观察结果： 随着转向强度（ $\alpha$ ）的增加， $Mahal^2$ 会降低，表明激活值向通道均值收缩。在高转向强度下，该得分趋近于随机氨基酸输入的得分，标志着表示空间中“类蛋白质”结构的丧失。

解决方案：马氏过滤（Mahalanobis Filtering）

作者并没有修改生成器或转向机制（因为后者在不同属性间表现不一致），而是提出了一种名为马氏过滤的无需训练的后验选择层。

机制： 在序列生成后，过滤器计算每个候选序列的 $Mahal^2$ 得分。
阈值设定： 当且仅当满足以下条件时，候选序列才会被接受：
$Mahal^2(h) \geq D - k\sqrt{2D}$
其中 $D$ 是嵌入维度（1280）， $k$ 是设为 1 的常数。该阈值源自 $\chi^2$ 分布的性质，并针对未引导序列的自然分布进行了经验校准。
适用范围： 这是一种针对“向内坍缩”（激活变得过于典型或随机）的单侧检验。它不会过滤“向外”的极端情况。
成本： 该过滤器仅需将完成的序列通过基础 PLM（ESM-2）进行一次前向传播，并与存储的统计量进行点积运算（10 KB），计算成本极低（每个序列约 34 毫秒）。

核心贡献

失效特征化： 本文识别并表征了“偏离流形坍缩”是激进激活转向的主要失效模式。研究表明，在属性得分上升的同时，结构合理性（以 ESMFold pLDDT 衡量）和激活典型性（ $Mahal^2$ ）会同时下降。
马氏过滤转向： 作者引入了一种简单的、无需训练的后验过滤器，仅筛选出那些在自然激活分布下保持“典型性”的生成候选序列。
可迁移性： 研究证明，该过滤器在不同的引导方法（激活转向和预测器梯度引导）以及不同的目标属性（溶解度和热稳定性）之间均有效，无需重新训练或重新校准。

实验结果

评估是在使用 UniRef50 作为参考集的 ESM-2 650M 上进行的。

权衡恢复： 在匹配的转向强度下（例如 $\alpha=0.5$ $α = 0.5$ ），应用过滤器显著提高了结构置信度，且未牺牲已实现的属性偏移。
- 溶解度： 平均 pLDDT 从 0.401 提高到 0.647（+0.247），同时在接受的子集中，预测的溶解度概率也随之增加。
- 热稳定性： 平均 pLDDT 从 0.446 提高到 0.633（+0.187），同时伴随着预测熔解温度（ $T_m$ ）的升高。
过滤效率： 过滤器保留了一部分群体（例如在 $\alpha=0.5$ 时，溶解度对应的保留比例为 16%），但确保了保留序列在结构上的合理性。
泛化能力： 过滤器在所有测试的引导强度和机制（包括预测器梯度引导）下都改善了 pLDDT，证实了“向内坍缩”是激进推理时控制的一种普遍现象。
效率： 马氏统计量与更昂贵的基于流的密度模型（GLP）具有良好的相关性（ $r=0.82$ ），但其速度高出几个数量级（34 毫秒 vs. 约 3 秒），且不需要额外的学习模型。

重要性与主张

本文指出，引导式 PLM 的失效可以通过已完成候选序列的激活值来检测，而无需改变生成过程。

检测优于修正： 由于“坍缩”特征在输出端是可见的，作者主张采用“检测并丢弃”的策略（过滤），而非“修复生成器”的策略。这非常有价值，因为研究发现生成器端的修复具有属性特异性且难以调优。
预言机的可靠性： 本研究强调，属性预言机可能会对结构坍缩“视而不见”，从而奖励退化的序列。马氏过滤器充当了必要的裁判，确保属性的提升不是以牺牲结构有效性为代价的。
局限性说明： 作者明确指出，该方法是一个计算预筛过程。它从生成的候选池中筛选出可行的一支，但无法制造生成器本身未产生的候选序列。它并不声称解决了所有失效模式（例如“向外坍缩”），并且依赖 ESMFold pLDDT 作为结构的代理指标，而非实验验证。

总之，本文为激进激活转向中固有的“偏离流形坍缩”提供了一种廉价、通用的诊断与缓解策略，确保设计的蛋白质在实现预期功能偏移的同时，仍能保持结构上的合理性。