Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

技术摘要：基于图神经网络的层次感知知识图谱嵌入

问题陈述
知识图谱（KGs）被广泛用于表示结构化领域知识，尤其在生命科学领域，它们富含本体信息。尽管标准的知识图谱嵌入（KGE）方法能有效从观测到的关系三元组中学习，但它们往往未能显式地强制执行源自底层本体的全局语义约束，例如类层次结构（subClassOf）和互斥性（disjointness）。标准图神经网络（GNNs）虽然在聚合局部邻域信息方面功能强大，但本质上并不尊重这些层次结构，可能导致学习到违反已知领域逻辑的表示。本文旨在解决将体积表示（特别是盒嵌入）与 GNN 相结合的挑战，以创建既符合本体约束又对下游定量预测任务有效的“层次感知”嵌入。

方法论
作者提出了一种结合图神经网络与基于盒的嵌入的框架，称为层次感知 GNN。

1. 图构建：该方法将知识图谱视为一组 TBox 风格的公理。类断言（$C(a)$）被重写为包含公理（$\{a\} \sqsubseteq C$），角色断言（$r(a, b)$）被重写为存在限制（$\{a\} \sqsubseteq \exists r.\{b\}$）。这将实例级事实和术语知识统一到一个单一的计算图中，其中节点代表类和专名，边代表逻辑关系。
2. 架构：
   • GNN 骨干网络：模型利用基于 GraphSAGE 架构的异构 GNN。它采用特定于关系的消息传递（SAGEConv 模块），以聚合来自不同边类型的局部邻域信息。
   • 盒嵌入：每个 GNN 层的输出被视为潜在变量 $\theta$，通过一种参数化方法将其转换为轴对齐的超矩形（盒），以确保有效的盒坐标（下界 $\le$ 上界）。
   • 语义损失：为了强制执行本体约束，模型在训练过程中引入了语义损失项。针对包含关系（$C \sqsubseteq D$）评估了两种类型的损失：
     • 距离损失（$L_{distance}$）：惩罚子类盒与其父类盒边界之间的几何距离。
     • 重叠损失（$L_{overlap}$）：基于相对于子类体积的交集体积进行惩罚。
     • 互斥约束（$C \sqcap D \sqsubseteq \bot$）通过相应的负损失（$L^{-}_{distance}$ 或 $L^{-}_{overlap}$）强制执行。
   • 联合训练：总损失函数将特定任务的损失（例如回归任务的均方误差）与加权语义损失及正则化项相结合。这使得模型在遵守类层次结构的同时，能够学习特定任务的特征。

主要贡献

• 层次感知 GNN 框架：一种新颖的架构，将盒嵌入集成到 GNN 中，实现了图结构与本体层次结构的同步学习。
• 语义损失集成：将源自本体公理的语义损失项直接应用于 GNN 的训练，以用于定量预测任务，而不仅仅用于静态本体嵌入。
• 酵母表型预测：构建了一个全面的、富含本体的酿酒酵母（Saccharomyces cerevisiae）知识图谱，整合了来自 SGD、GO、ChEBI、APO 和 BioCyc 的数据。
• 假设生成：一种通过分析训练模型中边对重要性来识别相互作用性状的方法，从而产生经过实验验证的生物学假设。
• 链接评估：提出了一种基于嵌入结果中的距离变化及其对语义损失的影响，对潜在知识图谱修订进行排序的方法。

结果
该方法在预测酵母双基因敲除的细胞生长适应度任务上进行了评估。

• 预测性能：层次感知 GNN 使用先验盒嵌入实现了 0.360 的平均 $R^2$ 分数。引入语义损失（特别是基于距离的损失）后，性能进一步提升至 0.377，显著优于基线模型，包括不带盒嵌入的标准 GNN、基于稀疏表型特征的 LightGBM 以及 ComplEx 嵌入。
• 泛化能力：当在训练数据中未见的三基因敲除数据上进行测试时，该模型展示了泛化能力，使用语义损失达到了 0.415 的 $R^2$，表明学习到的表示捕捉到了稳健的生物学性状。
• 假设验证：模型识别出了肌醇利用与渗透压胁迫抗性之间潜在的相互作用。一项自动化生物学实验证实了这一发现，显示肌醇补充显著挽救了受 NaCl 诱导胁迫的细胞，验证了模型指导发现的能力。
• 嵌入分析：分子功能域二维嵌入的可视化显示，GNN 将先验嵌入进行了转换，以更好地尊重互斥性和包含关系，尽管仍存在一些层次结构违规，这可能是由于领域的复杂性以及嵌入空间的维度所致。
• 链接评估：对图修订排序的初步测试表明，距离度量可以区分某些关系类型的真实边和随机抽取的边，尽管方差较高。

意义与主张
本文声称，通过语义损失引入高层定性知识（类层次结构）可以提高生物领域定量预测的性能。作者认为，这种方法为模型的表示提供了正则化效应和语义基础。

至关重要的是，这项工作证明了经过语义基础训练模型可用于生成可解释的假设，从而推动现实世界的科学发现。肌醇-NaCl 相互作用的成功实验验证，证明了使用计算模型指导生物学实验的概念可行性。作者对链接评估方法持谨慎态度，指出该方法目前尚处于初级阶段，需要进一步研究以在复杂图中有效区分真实边和随机边。他们还承认，当前的设置未利用序列信息，而这可能进一步增强基因表示；同时，将个体简化为盒（而非点）是强制执行层次约束所做出的权衡。