🧬 biology

A permutation-null artifact drives a conservation–divergence spectrum's signature trend, and phylogeny dominates a protein language model's per-position coupling signal

本文表明，保守性—分歧谱中显著的负向趋势很大程度上是其置换零模型的产物，且蛋白质语言模型的逐位置耦合信号主要由系统发育而非功能机制驱动，从而为针对独立进化证据对黑盒模型进行严谨的交叉检验建立了一个框架。

原作者： Huazhang Shen

发布于 2026-09-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Huazhang Shen

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ⚕️ 这是一篇未经同行评审的预印本的AI生成解释。这不是医疗建议。请勿根据此内容做出健康决定。阅读完整免责声明

蛋白质是维持生命运转的分子机器，其形状和功能由其构建模块（即氨基酸）的精确顺序所决定。几十年来，科学家们一直试图读取这些序列，以寻找决定蛋白质独特功能的特定位点。两种截然不同的方法在解决这一难题时脱颖而出。第一种方法依赖于比较数千个相关的蛋白质，以观察哪些位点在进化过程中保持不变或共同变化；这种方法透明且易于理解，但它只能识别以单个字母形式呈现的模式。第二种方法使用在数百万个序列上训练的人工智能模型来预测蛋白质的行为；这些模型极其强大，能够感知复杂的隐藏模式，但它们常被称为“黑盒”，因为没有人完全确定它们究竟学到了什么，或者它们是否仅仅是在记忆家族树，而非理解机器的工作原理。该领域面临的问题是，这些智能模型是在发现新的生物学真相，还是仅仅在利用进化史中的捷径。

独立研究员华章沈（Huazhang Shen）的一项近期研究将这两种方法面对面地进行测试，以确切了解它们的认知水平。研究人员将重点放在一类被称为G蛋白偶联受体的特定蛋白质上，这类受体充当细胞表面的开关，决定在被激活时发送哪种内部信号。研究的目标是识别出这些蛋白质中决定其选择何种信号的精确位点。该研究将传统的进化方法和人工智能模型视为两个观察同一组蛋白质的独立观察者。一个观察者寻找区分不同信号类型的特定氨基酸变化，而另一个则使用神经网络根据蛋白质序列来猜测信号类型。随后，研究人员将两个观察者生成的关键位点列表进行对比，以观察它们是否达成一致。

对比结果显示出令人惊讶的意见分歧。两种方法指向的重点位点几乎完全不同，它们的排名几乎没有重叠。这种分歧表明，这两个观察者是通过完全不同的视角来审视问题的。为了理解原因，研究人员首先检查了传统的进化方法。该方法此前显示出一个清晰的模式：在进化过程中高度保守的位点往往在不同信号类型之间表现出较低的变异性。虽然这看起来像是一条生物学定律，但研究发现，这种模式在很大程度上是由测试本身的数学特性所制造的幻象。通过对数据进行随机打乱以建立统计基准，研究人员展示了即使在随机噪声中，这种负相关趋势也会出现。真正的生物学信号并非该趋势本身，而是在减去这一数学基准后所剩余的微小额外变异量。这一发现意味着，许多此前声称基于该趋势发现特异性的研究，可能测量的是统计伪影，而非生物学规则。

随后，调查转向人工智能模型，以探究它究竟学到了什么。当模型在没有任何限制的情况下接受测试时，它似乎非常了解蛋白质会选择哪种信号。然而，当研究人员迫使模型证明其理解的是机制而非仅仅是识别进化近亲时，结果发生了剧烈变化。通过在测试期间将相关的蛋白质进行分组，从而使模型无法依赖家族相似性，模型的性能显著下降。研究计算出，模型表现出的约四分之三的知识仅仅是进化相关性的反映，而非蛋白质工作机制的实际理解。只有约四分之一的信号代表了真正的功能性洞察。这为以下批评提供了强有力的定量证据：即这些强大的模型通常只是识别同源性的捷径，而非对生物学功能的真实理解。

尽管存在这些局限性，研究发现人工智能模型在某一特定领域具有优势。当两种方法产生分歧时，模型的预测更有可能与已知3D结构的蛋白质实际接触其内部伴侣的物理位置相一致。然而，这种一致性很弱，表现为数据的整体偏移，而非一份完美的正确答案清单。为了确保方法运行正确，研究人员还在另一类生物学代码过于复杂、以至于任何方法都难以读取的蛋白质家族上对其进行了测试。在这种情况下，两种方法都未能找到正确的位点且彼此产生分歧，这证实了该框架能够区分真实的生物学极限与工具本身的失效。

研究结论提出了一种测试这些“黑盒”模型究竟掌握了什么的全新框架。它表明，在信任模型的预测之前，科学家必须剥离进化历史的影响，并剔除那些可能模拟真实模式的统计基准。虽然人工智能模型确实捕捉到了一些真实的函数信息，但它受到了家族历史的严重污染，而传统的进化方法则容易将统计噪声误解为生物学定律。这项研究并未宣布哪种方法胜出，而是提供了一种严谨的交叉检验方法，以确保未来的蛋白质功能发现是基于真实的生物学信号，而非数学幻象或进化捷径。

技术摘要：蛋白质特异性中进化信号与语言模型信号的交叉检验

问题陈述
识别蛋白质家族中的特异性决定位置（SDPs）是一个长期存在的挑战，目前有两种主流的方法论途径：基于进化位置的方法（例如：保守性-差异谱、互信息）和蛋白质语言模型（PLMs）。进化方法具有可解释性，但无法捕捉分布式、上位效应（epistatic）的信号。PLMs 能够捕捉分布式的上下文信息，但其运作机制如同“黑盒”，且面临一个持久的批评：其单位置信号反映的是系统发育相关性（同源性捷径），而非功能机制。本文（P3）针对这两种方法之间缺乏直接的、逐位置的对比，以及缺乏验证其信号所需的严谨零模型（null-model）约束的问题展开研究。本研究以 G 蛋白偶联受体（GPCR）的耦合特异性（Gs, Gi-o, Gq-11）作为测试案例，并使用视紫红质（opsin）光谱调谐作为“不可读”生物学的负对照。

方法论
研究采用了“两位侦探”框架，对同一数据集（219 个 Class A GPCR，212 个结构等效位置）进行两种不同信号的交叉检验：

物理证据侦探（ $S_{sdp}$ 与 $S_{net}$ ）： 基于伴随预印本（P1, P2）中的保守性–差异谱。
- $S_{sdp}$ ：异常评分，定义为类间 Jensen–Shannon 散度（JSD）减去通过差异性对类内保守性进行线性拟合所预测的值。
- $S_{net}$ ：一种精炼后的评分，其中减去了每个位置的置换零值（permutation-null floor），并以 Gamma 分布尾概率表示，以便进行跨家族比较。
- 零模型约束： 通过在保持氨基酸组成不变的情况下随机打乱耦合标签来构建置换零模型，以确定保守性与差异性之间预期的负相关趋势。
直觉侦探（ $S_{plm}$ ）： 一个基于 ESM-2 嵌入向量（640 维向量）训练的逻辑回归探测器（probe）。
- 该探测器在事先不知道耦合信息的情况下，根据单位置嵌入预测耦合类别。
- 系统发育扣除： 为了将机制从同源性中分离出来，研究对比了随机划分的交叉验证（总信号）与亲缘关系感知的交叉验证（即同时保留相关的受体），两者的差值代表了“纯耦合”信号。

核心贡献

针对进化趋势的零模型约束： 本文确立了观察到的保守性与差异性之间的负相关趋势（常被引用为编码特异性的证据）在很大程度上是置换零模型产生的统计伪影。
PLM 信号的定量分解： 它提供了一个直接的定量衡量标准，用于评估 PLM 的单位置预测能力中有多少归因于系统发育相关性，有多少归因于功能机制。
跨方法验证框架： 引入了一种协议，用于在单个残基分辨率水平上，通过独立进化证据和物理金标准（结构界面）来审计黑盒模型。

关键结果

排名分歧： 两种方法在哪些位置重要的判断上存在显著分歧。两种物理证据评分（ $S_{sdp}$ 与 $S_{net}$ ）高度相关（ $\rho = 0.88$ ），但物理证据与 PLM 探测器之间的相关性很弱（ $\rho = 0.17$ ）。
特征趋势主要源于零模型： 观察到的保守性与差异性之间的负相关性（ $\rho \approx -0.61$ ）主要由置换零模型的形状决定（ $\rho_{null} \approx -0.90$ ）。在四个独立的家族测试中（GPCR、视紫红质、核受体 DBD），零模型解释了 $\ge 100\%$ 的观测趋势。真正的信号是高于此零模型的增量，而非趋势本身。
系统发育主导 PLM 信号： 对于 GPCR 耦合任务，PLM 表观上的单位置知识中，约 74% 可由系统发育相关性解释。“纯耦合”信号（机制）仅占高于随机水平信号的约 24%。这验证了关于 PLMs 常作为同源性捷径的批评。
分歧中的结构对齐： 在两种方法产生分歧之处，PLM（特别是在第 30 层）在真实的结构 G $\alpha$ 耦合界面上显示出显著富集（ $p=0.003$ ），而物理证据方法则未表现出此现象（ $p=0.18$ ）。然而，这属于分布层面的偏移，而非“顶端列表”的胜利（对前 20 个位置进行的 Fisher 精确检验并不显著），且结构界面被承认是一个部分的金标准。
鲁棒性与证伪： 系统发育在 PLM 信号中的主导地位在不同 ESM 层（6, 15, 21, 30）和探测器类型下均保持稳健。然而，关于“纯耦合残差向保守位置偏移”的说法被发现是特定于第 30 层的伪影，并非普遍规律。
负对照（视紫红质）： 在视紫红质光谱调谐（一个因分布式上位效应而被认为是生物学上“不可读”的家族）上，两种方法都无法在顶端列表排名中恢复已知的调谐位点，且两者不相关（ $\rho = 0.005$ ）。这证实了当生物学特性不可读时，独立的检测方法会同时失效。

意义与主张
本文声称提供了一个用于审视黑盒模型的通用框架。其主要意义在于其执行的“零模型约束”：

它证明了进化特征（如保守性–差异性趋势）在被接受为生物学发现之前，必须针对匹配的置换零模型进行测试。
它量化了 PLM 中的“同源性捷径”，表明如果不进行亲缘关系感知的验证，PLM 的性能会显著夸大其对机制性的理解。
它澄清了虽然 PLM 可能捕捉到进化方法所忽略的结构界面信息，但这种信号是微弱且分布式的，而非确定的 SDP 排名列表。

作者明确指出，其贡献并非一种新的评分指标，而是一种交叉检验的方法论。作者提醒道，“纯耦合”残差非常薄弱，且结构界面是一个不完整的金标准，这意味着进化方法的失败并不代表其本身是错误的，而可能意味着它正在读取另一层（例如变构）信号。本文结论认为，这些方法的适用性限制是生物学家族本身的属性（例如信号是分布式的还是局部的），而非检测器本身的缺陷。

技术摘要：蛋白质特异性中进化信号与语言模型信号的交叉检验

类似论文