Graph Neural Network based Hierarchy-Aware Embeddings of Knowledge Graphs: Applications to Yeast Phenotype Prediction

技術的概要：GNN による知識グラフの階層認識埋め込み

問題定義
知識グラフ（KG）は、特に生命科学分野において、オントロジー情報で豊かにされた構造化ドメイン知識の表現に広く用いられている。標準的な KG 埋め込み（KGE）手法は、観測された関係性トリプルから効果的に学習するが、サブクラス（subClassOf）や非互換性（disjointness）といった、基盤となるオントロジーに由来するグローバルな意味制約を明示的に強制する点では失敗することが多い。標準的なグラフニューラルネットワーク（GNN）は、局所的な近傍情報の集約には強力であるが、本質的にこれらの階層構造を尊重するものではなく、既知のドメイン論理に違反する表現を学習する可能性がある。本論文は、ボックス埋め込み（box embeddings）という体積表現を GNN と統合し、オントロジー制約と整合性を保ちつつ、下流の定量的予測タスクにおいても効果的な「階層認識」埋め込みを創出する課題に取り組む。

手法
著者は、ボックスベースの埋め込みとグラフニューラルネットワークを組み合わせるフレームワーク、すなわち階層認識 GNNを提案する。

1. グラフ構築: 本手法は、KG を TBox 形式の公理の集合として扱う。クラス宣言（$C(a)$）は包含公理（$\{a\} \sqsubseteq C$）に、役割宣言（$r(a, b)$）は存在制限（$\{a\} \sqsubseteq \exists r.\{b\}$）に書き換えられる。これにより、インスタンスレベルの事実と用語知識が単一の計算グラフに統合され、ノードはクラスと名詞（nominals）を、エッジは論理的関係を表現する。
2. アーキテクチャ:
   • GNN バックボーン: モデルは GraphSAGE アーキテクチャに基づく異種 GNN を利用する。関係固有のメッセージパッシング（SAGEConv モジュール）を用いて、異なるエッジタイプにわたる局所近傍からの情報を集約する。
   • ボックス埋め込み: 各 GNN レイヤーの出力は潜在変数 $\theta$ として扱われ、有効なボックス座標（下限 $\le$ 上限）を確保するパラメータ化を用いて、軸に平行な超長方体（ボックス）に変換される。
   • 意味的損失: オントロジー制約を強制するため、モデルは訓練中に意味的損失項を組み込む。包含（$C \sqsubseteq D$）に対しては、2 種類の損失が評価される。
     • 距離損失（$L_{distance}$）: サブクラスボックスとスーパークラスボックスの境界との幾何学的距離を罰する。
     • 重なり損失（$L_{overlap}$）: サブクラス体積に対する交差部分の体積に基づいて罰する。
     • 非互換性制約（$C \sqcap D \sqsubseteq \bot$）は、対応する負の損失（$L^{-}_{distance}$ または $L^{-}_{overlap}$）を通じて強制される。
   • 共同訓練: 総損失関数は、タスク固有の損失（例えば、回帰のための平均二乗誤差）と、重み付けされた意味的損失および正則化項を組み合わせる。これにより、モデルはクラス階層に準拠しつつ、タスク固有の機能を学習できる。

主要な貢献

• 階層認識 GNN フレームワーク: ボックス埋め込みを GNN に統合する新規アーキテクチャ。グラフ構造とオントロジー階層の同時学習を可能にする。
• 意味的損失の統合: 静的なオントロジー埋め込みだけでなく、定量的予測タスクにおける GNN の訓練に、オントロジー公理に由来する意味的損失項を直接適用する。
• 酵母表現型の予測: SGD、GO、ChEBI、APO、BioCyc からデータを統合した、オントロジーで豊かにされた Saccharomyces cerevisiae（出芽酵母）の包括的な KG の構築。
• 仮説生成: 訓練済みモデルにおけるエッジペアの重要度を分析することで相互作用する形質を特定する手法。これにより、実験的に検証された生物学的仮説が導き出された。
• リンク評価: 結果として得られる埋め込みにおける距離変化と意味的損失への影響に基づき、潜在的な KG 改訂をランク付けする手法の提案。

結果
本手法は、酵母における二重遺伝子ノックアウトの細胞成長適応性を予測するタスクで評価された。

• 予測性能: 階層認識 GNN は、事前のボックス埋め込みを用いて平均 $R^2$ スコア 0.360 を達成した。意味的損失（特に距離ベースの損失）を統合することで、性能はさらに 0.377 に向上し、ボックス埋め込みを持たない標準 GNN、疎な表現型特徴に対する LightGBM、ComplEx 埋め込みを含むベースラインを大幅に上回った。
• 汎化能力: 訓練データに含まれていない三重遺伝子ノックアウトでテストされた際、モデルは汎化能力を示し、意味的損失を用いて $R^2$ 0.415 を達成した。これは、学習された表現が頑健な生物学的形質を捉えていることを示唆する。
• 仮説検証: モデルはイノシトール利用と浸透圧ストレス耐性の間の潜在的な相互作用を特定した。自動化された生物学的実験がこの発見を確認し、イノシトールの補給が NaCl 誘発ストレスから細胞を著しく救済することを示し、モデルが発見を導く能力を有することを検証した。
• 埋め込み分析: 分子機能ドメインの 2 次元埋め込みの可視化は、GNN が事前埋め込みを変換して非互換性と包含をよりよく尊重することを示したが、ドメインの複雑さと埋め込み空間の次元性のせいで、いくつかの階層違反が残存していた。
• リンク評価: グラフ改訂のランク付けに関する初期テストでは、距離指標が特定の関係タイプにおいて真のエッジとランダムに引き出されたエッジを区別できたが、分散は高かった。

意義と主張
本論文は、意味的損失を通じて高レベルの質的知識（クラス階層）を組み込むことが、生物学的ドメインにおける定量的予測性能を向上させると主張する。著者は、このアプローチがモデルの表現に対して正則化効果と意味的基盤を提供すると論じている。

重要なのは、意味的基盤付けを用いて訓練されたモデルが、現実世界の科学的発見につながる解釈可能な仮説を生成するために使用できることを実証している点である。イノシトール -NaCl 相互作用の実験的検証の成功は、計算モデルを用いて生物学的実験を導くことの概念実証（proof of concept）として機能する。著者はリンク評価手法については控えめであり、現時点では初歩的なものであり、複雑なグラフにおいて真のエッジとランダムなエッジを効果的に区別するにはさらなる調査が必要であると指摘している。また、現在の設定は遺伝子表現をさらに強化できる可能性のある配列情報を活用していないこと、および個人を点ではなくボックスとして単純化することは、階層制約を強制するためのトレードオフであることを認めている。