🤖 machine learning

OgBench: A Framework for Evaluating Graph Neural Networks on Omics Data

本文介绍了 OgBench，这是首个针对小样本、高节点（ $n \ll p$ ）情形下评估图神经网络在组学数据上表现的基准框架，该框架揭示了标准图神经网络往往无法超越简单基线模型，并挑战了图结构在生物领域内固有提升性能这一假设。

原作者： Louisa Cornelis, Johan Mathe, Louis Van Langendonck, Guillermo Bernárdez, Nina Miolane

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Louisa Cornelis, Johan Mathe, Louis Van Langendonck, Guillermo Bernárdez, Nina Miolane

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文OgBench的通俗解释，辅以生动的类比。

核心难题：错误的地图类型

想象一下，你正在教一名学生如何在一个城市中导航。

旧方法（现有基准测试）： 大多数 AI 研究人员一直在用成千上万张微型地图（例如单个街角的地图）来训练学生，但每张地图只有几个地标。学生通过观察许多不同的小地图来学习。
现实世界（组学数据）： 在生物学（研究基因、蛋白质和疾病）中，情况恰恰相反。你只有极少数患者（可能仅几百人），但对于每位患者，你拥有一张巨大的地图，包含数万个地标（基因和蛋白质）。

该论文指出，这些“学生”（图神经网络，或 GNN）一直在接受错误类型地图的训练。它们擅长在无数条小街道上导航，但当被要求在没有太多向导的情况下导航一座巨大而复杂的城市时，它们却失败了。

什么是 OgBench？

作者构建了OgBench（组学图基准）。你可以将其想象为专为“少数驾驶员，巨大城市”场景设计的新型专业驾驶考试。

在此测试出现之前，没有标准方法来评估 AI 是否真的能处理生物数据。不同的科学家使用不同的混乱方法来准备数据，导致无法判断一个模型是聪明还是仅仅运气好。OgBench 通过提供以下功能解决了这一问题：

干净、标准化的地图： 他们对原始生物数据进行了统一处理，确保对所有人一致。
模块化工具箱： 研究人员可以替换“制图”过程中的不同部分（例如他们如何绘制地标之间的道路），以观察什么效果最好。
公平的排行榜： 一个可以查看哪些 AI 模型在这些特定生物任务上表现优异的地方。

惊人的发现：“简单学生”获胜

作者进行了一项大规模实验，将复杂的 AI 模型（GNN）与简单的、老式的数学模型（如 MLP 和 SVM）进行了对比。

结果： 复杂的“超级智能”图模型并没有 consistently 胜过简单模型。事实上，在几个数据集上，简单模型的表现同样好，甚至更好。

类比：
想象你正在预测天气。

复杂模型（GNN）： 你建造了一台庞大而昂贵的机器，分析风模式、洋流、卫星图像和鸟类迁徙，以绘制出一幅复杂的空气流动地图。
简单模型（MLP）： 你直接查看温度和湿度数值。

该论文发现，对于这些特定的生物“天气”问题，这台巨型机器往往无法提供比直接查看数值更好的预测结果。地图的“结构”（连接基因的道路）似乎并没有比直接观察单个基因本身增加多少价值。

为什么会发生这种情况？

论文提出了几个原因，沿用“少数驾驶员，巨大城市”的类比：

地标太多，驾驶员太少： 面对成千上万个基因（地标）却只有几百名患者（驾驶员），复杂的 AI 会感到困惑。它试图死记硬背噪声，而不是学习真正的规则。
地图可能是错的： AI 假设道路（基因之间的连接）很重要。但如果这些道路是基于猜测绘制的（例如“这两个基因经常同时活跃”），那么 AI 可能是在从一张虚假的地图中学习。
“读取”问题： 论文发现，有时 AI 在甚至查看地图连接之前，就已经承担了所有繁重的工作。它只是学会了读取单个基因数值，完全忽略了“图”的部分。

我们现在该怎么做？

这篇论文并不是说“停止在生物学中使用 AI"。相反，它呼吁诚实和更好的工具。

停止假设结构有帮助： 仅仅因为你能画出一张图，并不意味着这张图就有用。
使用新测试： 如果你想为生物学构建新的 AI，你应该在OgBench上进行测试，而不是在旧的、简单的基准测试上。
关注正确的问题： 我们不应该仅仅制造更大、更复杂的模型，而是需要弄清楚何时以及如何基因之间的连接实际上能帮助我们理解疾病。

总结

OgBench是一个新的、公平的测试平台，它揭示了一个残酷的真相：复杂的 AI 模型并不自动意味着更擅长理解生物学。 在“患者少、基因多”的世界里，简单模型往往能与之抗衡，我们需要停止盲目地应用复杂的图工具，而不检查它们是否真的有效。该论文提供了修复这一问题并找到真正理解生物学的模型的工具体系。

技术摘要：OgBench——用于评估图神经网络在组学数据上表现的框架

问题陈述

图神经网络（GNN）已确立为归纳式图级学习的主导框架。然而，现有基准（如 OGB、TUDataset、LRGB）主要在 $n \gg p$ 模式下运行，即图的数量（ $n$ ）显著超过每个图的节点数（ $p$ ）。这与组学（基因组学、转录组学、蛋白质组学、表观基因组学）领域形成鲜明对比，后者运行在 $n \ll p$ 模式下。在组学中，数据集的特征是大规模图（每个样本包含数万个基因或蛋白质），但由于成本、隐私和临床限制，标记样本（患者或受试者）稀缺。

当前的 GNN 研究面临停滞风险，因为标准基准未能反映这种高维、少样本的现实。在统计学习中， $n \ll p$ 模式容易发生过拟合和不稳定。虽然 GNN 利用结构先验，理论上可受益于这种设置，但近期研究表明，它们在组学任务中往往无法超越更简单的机器学习基线。此外，该领域缺乏标准化流程；性能提升常因上游预处理（如探针到基因的聚合、归一化、协变量调整）的异质性而产生混淆，使得难以区分改进是源于架构创新还是数据处理伪影。

方法论：OgBench 框架

为填补这些空白，作者引入了OgBench，这是首个专为 $n \ll p$ 组学模式下的图级预测设计的基准平台。OgBench 提供了一个模块化的端到端基础设施，将数据预处理、图构建和模型训练解耦。

1. 标准化数据集

该框架整合了四个经过清洗、可直接用于建模的数据集，涵盖三种组学模态：

HERITAGE（蛋白质组学）： 运动响应者的二分类（ $n=654$ ， $p=4977$ 种蛋白质）。
帕金森病（转录组学）： 基于 MoCA 评分的认知状态二分类（ $n=535$ ， $p=21,755$ 个基因）。
AddNeuroMed（转录组学）： 三类临床诊断（阿尔茨海默病 AD、轻度认知障碍 MCI、对照）（ $n=711$ ， $p=17,198$ 个基因）。
BRCA（表观基因组学）： 四类乳腺癌亚型分类（ $n=640$ ， $p=19,049$ 个映射到基因的甲基化区域）。

所有数据集均经过一致的预处理流程，包括探针到基因的聚合、归一化和协变量调整，数据划分固定为 70/15/15（训练/验证/测试）。

2. 模块化图构建

OgBench 将节点选择和边构建视为可互换的模块，以支持受控的消融研究：

节点选择： 策略包括方差过滤、皮尔逊相关、距离相关（用于非线性依赖）和随机子采样。这使得研究人员能够研究特征选择先验对模型性能的影响。
边构建： 支持两种主要策略：
- 数据驱动： 通过成对皮尔逊相关构建共表达图，并采用软阈值化以近似无标度拓扑。
- 生物先验： 源自 STRING 数据库的蛋白质 - 蛋白质相互作用（PPI）网络（中等置信度相互作用）。
- 关键在于，邻接矩阵在所有样本间是固定的（全局拓扑），而节点特征（表达值）保持样本特异性。

3. 模型套件与基线

该框架将多样化的模型与经典基线进行基准测试：

基线： 支持向量机（SVM）和弹性网络（正则化线性模型），这些模型在高维设置中往往具有竞争力。
深度学习基线： 多层感知机（MLP），用于隔离图拓扑对非线性特征转换的贡献。
GNN：
- 经典： GCN、GraphSAGE、GATv2、GIN。
- 可扩展： SAGN（专为大图设计）。
- 组学专用： ChebNet（谱卷积）、MLA-GNN（多级注意力）。
- Transformer： GPS（通用图 Transformer）。

4. 评估协议

实验涉及严格的超参数优化（对学习率、层数等进行网格搜索），并使用Top-K 集成聚合来缓解小样本模式下基于验证集选择的稳定性问题。指标包括宏观 F1、加权 F1、准确率和 AUROC，以及计算效率指标。

关键结果

跨四个数据集的实验评估得出了若干关键见解：

GNN 并未 consistently 超越简单基线： 在 $n \ll p$ 模式下，广泛使用的 GNN（GCN、GAT、GIN）往往无法令人信服地超越简单的 MLP 或经典正则化线性模型（SVM、弹性网络）。在帕金森病和 BRCA 等数据集上，线性基线仍保持竞争力或更优。
结构效用的任务依赖性： 图结构的价值高度依赖于数据集。在 HERITAGE 数据集上，基于图的方法显示出优势，而在其他数据集上则不然。这表明结构归纳偏置在组学中并非普遍有益。
读出机制至关重要： 在 GNN 表现不如基线的数据集（帕金森病、BRCA）中，使用MLP 读出（在不进行消息传递的情况下学习节点嵌入的权重）显著优于朴素池化（均值/求和聚合）。这意味着全局特征整合驱动了性能，而非局部消息传递，表明在这些情况下，图拓扑在节点特征本身之外提供的信号有限。
节点选择至关重要： 节点选择策略的选择与模型性能存在复杂的相互作用。有趣的是，在 HERITAGE 数据集中，随机节点选择有时产生了最佳的基于图的性能，这表明保持网络连接（即使包含预测性较弱的节点）对于消息传递机制至关重要，而基于相关性的选择（选择个体预测性强的节点）可能会破坏图结构。
边源敏感性： 没有单一的边源（PPI 与共表达）能 consistently 超越另一方。最佳选择取决于特定的 GNN 骨干网络和数据集，表明架构与拓扑之间的相互作用比边源本身更为重要。
验证不稳定性： 在 $n \ll p$ 模式下，基于小验证集选择单一最佳模型是不可靠的。集成聚合（对前 K 个配置的预测进行平均）降低了方差，并揭示了单一配置选择往往掩盖的真实模型优势。

意义与主张

本文声称，OgBench 为 GNN 在生物医学中的应用提供了必要的“现实检验”。通过揭示标准 GNN 在数据稀缺、高维的组学设置中往往难以超越更简单的方法，该框架挑战了图结构固有地增加价值的普遍假设。

作者认为，该领域必须超越在标准基准上的渐进式性能提升，转而进行对学习范式的批判性重新评估。结果表明，盲目地将图方法应用于生物数据，而不质疑底层结构的有效性或架构是否适合 $n \ll p$ 模式，可能会导致停滞。OgBench 旨在促进开发专为生物图量身定制的新颖架构，并为社区提供一个可重复的开源生态系统以验证此类创新。代码和数据集已发布，以促进这一过渡。