ProtFinder: An efficient machine learning framework for protein model selection on real data

ProtFinder 技术摘要：一种用于真实数据中蛋白质模型选择的高效机器学习框架

问题陈述
系统发育推断从根本上依赖于为给定的多序列比对（MSA）选择最佳拟合的序列演化模型。传统方法（如 ModelFinder）利用统计信息准则（例如 BIC、AIC）来评估候选模型。虽然这些基于似然的方法非常准确，但其计算成本高昂，需要重复进行最大似然优化，这对于大型数据集来说变得难以承受。此外，信息准则在系统发育学中的适用性也受到了质疑，因为它们可能违反了潜在的假设。

现有的机器学习（ML）方法（如 ModelDetector）虽然提供了速度，但存在显著局限性：它们仅在模拟数据上进行训练，导致在真实生物数据集上的表现不佳，并且缺乏对关键模型组件（如位点间的速率异质性 [RHAS] 和氨基酸频率确定）的支持。

方法论
作者引入了 ProtFinder，这是一个高效的机器学习框架，旨在预测蛋白质演化模型的三个不同组成部分：

1. QFinder： 选择最佳的氨基酸替换矩阵（交换率矩阵）。
2. FFinder： 确定氨基酸频率模型（是将经验频率固定在模型中 [-F]，还是根据输入 MSA 计算出的频率 [+F]）。
3. RHASFinder： 识别位点间的速率异质性（RHAS）模型（None, +I, +G, 或 +I+G）。

数据策略与迁移学习：
为了弥合模拟与现实之间的差距，ProtFinder 采用了三阶段迁移学习策略：

1. 初始训练： 使用由 AliSim 生成的大规模模拟数据集（268,800 个 MSA）进行预训练。模拟参数源自真实数据的经验累积分布函数（EvoNAPS 数据库），以确保真实性。
2. 联合训练： 在结合了模拟数据（13,440 个 MSA）和真实数据（来自 EvoNAPS 的 15,330 个 MSA）的数据集上进行训练。
3. 微调： 仅在真实的 EvoNAPS 数据集上进行最终训练，以提高泛化能力。

特征提取与网络架构：

• QFinder： 使用带有挤压-激励（Squeeze-and-Excitation, SE）模块的卷积神经网络（CNN）。它处理一个 440 维的特征矩阵，该矩阵源自每个比对中随机采样的 625 对序列对，捕捉了替换频率、不变性计数和氨基酸频率。
• FFinder： 利用通过网格搜索优化的超参数的 XGBoost。特征包括观察到的氨基酸频率、Kullback–Leibler 散度和 Jensen–Shannon 散度以及比对统计量。
• RHASFinder： 采用 Transformer 架构。它处理位点特异性特征（相对频率、Shannon 熵、多样性计数和不变性指标）以及全局比对统计量（例如不变位点比例、熵方差）。

训练细节：
该框架通过使用类样本计数的倒数来对损失函数进行加权，从而解决真实数据中的类别不平衡问题。训练使用了 AdamW 优化器、L2 正则化和早停法（early stopping）。

关键结果

• 在模拟数据上的准确性：
  • 替换模型： QFinder 实现了 87.06% 的平均准确率，优于 ModelDetector（48.50%），并接近 ModelFinder（91.75%）。准确率随比对长度和分类群数量的增加而显著提高。
  • 频率模型： FFinder 显著优于 ModelFinder（96.93% vs. 87.73%），尤其是在 ModelFinder 表现挣扎的短比对上。
  • RHAS 模型： RHASFinder 略微优于 ModelFinder（76.75% vs. 74.63%），这种优势在较小的数据集（较少的分类群或较短的序列）上更为明显。
• 在真实数据（HSSP 数据集）上的准确性：
  • ProtFinder 在一个独立的真实数据集（HSSP）上表现出与 ModelFinder 高度的一致性。QFinder 实现了 67% 的 Top-1 一致性和 90.96% 的 Top-2 一致性。
  • FFinder 和 RHASFinder 分别实现了 74.54% 和 73.67% 的 Top-1 一致性，Top-2 一致性超过 99%。
  • 相比之下，ModelDetector 在真实数据上的表现很差（48.76% 的 Top-1 一致性），证实了在真实数据上进行训练的必要性。
• 计算效率：
  • ProtFinder 比 ModelFinder 快达 1,400 倍。
  • 虽然 ModelFinder 的运行时间随分类群数量和比对长度迅速增加，但 ProtFinder 的运行时间几乎保持恒定。对于一个拥有 256 个分类群和 1,000 个位点的比对，ModelFinder 需要约 10 分钟，而 ProtFinder 仅需 1.5 秒。

意义与主张
论文声称，ProtFinder 通过成功地将机器学习应用于真实生物数据中的系统发育模型选择，克服了以往 ML 方法的主要局限性，代表了显著的进步。其主要贡献包括：

1. 全面的范围： 它是第一个能够同时预测替换模型、频率模型和 RHAS 模型的机器学习框架。
2. 现实世界的适用性： 通过迁移学习，它在中大型数据集上实现了与最大似然方法（ModelFinder）相当的准确性，同时速度快了几个数量级。
3. 实际效用： 作者提出了一个两阶段策略，即让 ProtFinder 作为快速预筛选模块，识别出一组高概率的候选模型，然后由 ModelFinder 进行严格评估。这种方法旨在保留基于似然的方法的准确性，同时大幅降低计算成本。

作者指出，虽然 ProtFinder 在速度和整体准确性方面表现出色，但区分高度相关的替换模型（例如 Q.pfam 与 LG）对于 ML 和似理解方法来说仍然具有挑战性，因为它们的氨基酸替换模式非常相似。他们计划将 ProtFinder 集成到 IQ-TREE 软件套件中，以促进这一加速工作流。