Leveraging Graph Structure in Seq2Seq Models for Knowledge Graph Link Prediction

技術概要：知識グラフリンク予測のためのグラフ拡張シーケンス・ツー・シーケンス（GA-S2S）

問題定義
知識グラフ（KG）は、データ収集の限界、プライバシー上の懸念、統合エラーにより、本質的に不完全です。リンク予測は、これらのグラフ内の欠落した事実（トリプル）を推論することを目的としています。従来の埋め込みベースの方法やグラフニューラルネットワーク（GNN）手法は、構造的パターンを捉えることに優れていますが、非構造化のテキスト情報の処理には苦慮し、大規模な KG における候補のランキング時には高い計算コスト（$O(|E|)$）を伴う傾向があります。一方、最近の生成型シーケンス・ツー・シーケンス（Seq2Seq）アプローチ（例：KGT5、KG-S2S）は、リンク予測をテキスト生成タスクとして扱い、エンティティの数に依存しないスケーラブルな推論を提供します。しかし、これらのモデルは通常、言語化されたテキスト言及のみを依存するか、近傍情報を線形シーケンスに平坦化することに依存しており、KG の本来的なトポロジカル構造やマルチホップ関係パターンを捨象してしまいます。

手法：GA-S2S フレームワーク
著者は、T5-smallエンコーダ・デコーダと関係性グラフアテンションネットワーク（RGAT）を統合したハイブリッドフレームワークであるGA-S2S（Graph-Augmented Sequence-to-Sequence）を提案します。入力を平坦なテキストシーケンスとして扱う先行する Seq2Seq モデルとは異なり、GA-S2S は、クエリエンティティを取り囲むテキスト特徴と完全な$k$-ホップ部分グラフトポロジを共同でエンコードします。

アーキテクチャは、3 つの連続的なコンポーネントで構成されます：

1. 入力表現：クエリ$(e, r, ?)$に対して、モデルは$k$-ホップ部分グラフ$G_{e,k}$をサンプリングします。この部分グラフ内のトリプルは、クエリシーケンス alongside に、テキストシーケンス（例：[CLS] head | relation | tail）として言語化されます。部分グラフの接続性は、ノードインデックスのペアと関係インデックスで表される隣接行列によってエンコードされます。
2. エンコーディングとグラフ強化：
   • テキストエンコーディング：すべてのテキストシーケンス（クエリと部分グラフのトリプル）は、T5 エンコーダに供給され、隠れ状態ベクトルを生成します。
   • エンティティ集約：あるエンティティが複数のトリプルに現れる可能性があるため、その表現は、そのエンティティが関与するすべてのトリプルの [CLS] トークンベクトルを平均化することで集約されます。
   • RGAT 処理：これらの集約されたエンティティ特徴と隣接行列は、RGAT モジュールに渡されます。この関係認識型の GNN は、部分グラフ全体にわたって情報を伝播・集約し、エンティティの埋め込みを更新して、マルチホップ関係パターンを捉えるようにします。
3. デコーディング：デコーダは以下の連結を受け取ります：
   • 生エンコーダ出力からの蒸留ベクトル（重要なトークンを選択するための軽量な自己アテンション層を介して）。
   • RGAT モジュールからのグラフ強化された埋め込み。
     この結合された表現により、T5 デコーダはターゲットエンティティの言語化されたテキスト言及を生成することができます。

このパイプライン全体は、自然言語の事前知識から構造化された KG ドメインへのネガティブ転移を防ぐため、クロスエントロピー損失を最小化するために、事前学習済み重みなしでゼロからエンドツーエンドに訓練されます。

主要な貢献

• ハイブリッドアーキテクチャ：生成型 Seq2Seq バックボーンと関係認識型 GNN をシームレスに融合するフレームワークの導入により、モデルがテキスト記述と局所的なグラフ構造の両方を同時に活用することを可能にします。
• トポロジカルエンコーディング：近傍を線形シーケンスに「平坦化」することを超えて、GA-S2S は RGAT を使用して$k$-ホップ部分グラフトポロジを明示的にエンコードし、モデルにより豊かなマルチホップ関係パターンを捉えることを可能にします。
• 訓練戦略：KG で使用されるテンプレートベースの言語化やグラフ埋め込みに対しては自然言語の構文が最適化されていないという認識から、事前学習済み重みを使用するのではなく、T5 モデルをゼロから初期化するという決定。

実験結果
モデルは、訓練/テストの漏洩を軽減するように設計されたCoDExデータセット（S、M、L のバリエーション）で評価されました。

• 性能：GA-S2S は、競合する Seq2Seq ベースライン（KGT5、KG-S2S、KGT5-context）を上回りました。
  • CoDEx-Sにおいて、2 ホップ近傍を用いた GA-S2S は MRR 0.331を達成し、KGT5-context（0.277）を**19.5%**上回りました。
  • CoDEx-Mにおいて、2 ホップで MRR 0.289を達成し、KGT5-context に対して**6.6%**の向上を示しました。
  • CoDEx-Lにおいて、GA-S2S（1 ホップ）は MRR 0.297を達成し、KGT5-context（0.292）を**1.7%**上回りました。
• 観察：2 ホップ近傍の導入による性能向上は、小さく密度の高いグラフ（CoDEx-S）で最も顕著であり、グラフサイズが大きくなり疎性が強まるにつれて減少しました。著者は、GA-S2S が他の生成型ベースラインを上回る一方で、小規模データセットでは依然として主要な埋め込みベースの方法（例：ComplEx、TuckER）に遅れをとっているが、大規模データセットではその差が縮まっていると指摘しています。

意義と限界
本論文は、GA-S2S が生成型リンク予測モデル内でグラフ構造を明示的にエンコードすることの明確な利点を示しており、競合する Seq2Seq ベースラインに対して最大19% の相対的な精度向上を達成したと主張しています。これは、マルチホップ関係推論を成功裏に活用する基本的なハイブリッドアーキテクチャを確立しています。

しかし、著者は現在の研究の状況について控えめな立場を維持しています：

• スケーラビリティ：モデルは近傍構造の処理により、標準的な Seq2Seq モデルよりも高い計算コストを伴い、非常に大規模な KG に対してスケーラビリティの課題を提示します。
• 入力複雑性：著者は、KGT5-context の性能が一部のデータセットで KGT5 よりも低かったのは、線形化された近傍を単純に付加することがデコーダの入力を扱いにくくしているためだと仮説を立てています。構造化された入力を受け入れる将来のデコーダの再設計が、さらなる向上をもたらす可能性があると示唆しています。
• 将来の方向性：本論文は、オーバーヘッドを管理するためのバランスの取れた近傍サンプリング戦略、スケーラビリティのための階層的トランスフォーマーの使用、エンコーディングとデコーディング全体におけるテキスト情報と構造化情報の統合のための最適技術に関する未解決の問題を特定しています。また、グラフトランスフォーマーが、より深い統合のための有望な方向性を提供しうると示唆しています。