技術要約：ハイパーボリックRAGによるグラフ基盤モデルの汎化

1. 問題提起

グラフ基盤モデル（GFM）は、大規模な事前学習を通じて多様なタスクに対して強力な汎化性能を実現し、グラフ表現学習における支配的なパラダイムとしての地位を確立している。しかし、その性能は本質的に事前学習データの分布に制約されている。推論時に分布シフトが発生した場合、これらのモデル内にパラメータ化された知識はしばしば汎化に失敗し、性能の低下と信頼性の欠如を招く。

これに対処するため、事前学習なしで推論時に外部知識へ動的にアクセスすることを可能にするRetrieval-Augmented Generation（RAG）が導入されている。しかし、既存のグラフ向けRAGフレームワークは、主にユークリッド空間で動作している。著者らは、このアプローチにおける根本的な幾何学的限界を指摘している。すなわち、ユークリッド空間の多項式的な体積成長が、ツリー構造を持つ外部知識ベースの指数関数的な成長と不一致を起こしている点である。この幾何学的なミスマッチは、以下の2つの決定的な問題を引き起こす：

1. 意味的粒度の喪失： ユークリッド空間は、粗い粒度（グローバル）な概念と細かい粒度（ローカル）な概念を区別することに苦慮する。異なる階層の深さにある概念が近接領域に圧縮されるため、モデルはそれらを等しく情報量が多いものとして扱い、意味的な役割を曖昧にしてしまう。
2. ハブネス（Hubness）の出現： 表象能力の限界により、多くのエンティティが埋め込み空間の狭い領域に押し込められる。これにより「ハブネス」が生じ、特定のエンティティが多様なクエリの最近傍集合に頻繁に現れるようになり、検索の多様性とクエリの特異性を低下させる。

2. 手法：HyRAGフレームワーク

著者らは、ハイパーボリック空間の幾何学的特性を活用することでGFMの汎化性能を高めるように設計されたフレームワーク、HyRAG（Hyperbolic Retrieval-Augmented Generation）を提案する。HyRAGは以下の3つのコアモジュールで構成される。

2.1 ハイパーボリック知識インデックス作成（HKI）

このモジュールは、外部知識ベースに対して階層を意識した表現空間を構築する。

• ハイパーボリック投影： エンティティと関係のセマンティック特徴は、まずユークリッド空間（例：SBERT経由）でエンコードされ、その後、学習可能なマッピングネットワークと指数写像を用いてポアンカレ・ボールモデル（$B^d$）へとマッピングされる。
• 階層意識型最適化： モデルは、関係的意味論と階層的含意の両方を保持するための結合目的関数を用いて訓練される。
  • 距離損失（Distance Loss）： 関係条件付きの表現が、テールエンティティと幾何学的に一貫するようにする。階層的関係については、ハイパーボリック含意コーンの制約下での回転戦略を採用する。
  • 角度損失（Angle Loss）： テールエンティティの含意コーンが、ヘッドエンティティの含意コーンの中に幾何学的に含まれるように強制し、半順序を保持する。
  • 正則化： 放射状ノルムが閾値を超える埋め込みに対してペナルティを課し、ポアンカレ・ボールの境界へのドリフトを防ぎ、安定した階層的表現を確保する。

2.2 マルチグラニュラリティ検索（MR）

意味的粒度の喪失に対処するため、HyRAGは2つの異なるレベルで知識を検索する。

• クエリ再構成： 大規模言語モデル（LLM）が、クエリノードのテキスト属性を粗粒度クエリ（核となるテーマの要約）と細粒度クエリ（具体的な詳細の捕捉）へと再構成する。
• 粗粒度検索： ハイパーボリック距離に基づいてトップ-$k$のエンティティを検索する。多様性を確保し冗長性を避けるため、**最大周辺関連性（MMR）**基準を適用して近傍エンティティを選択し、クエリへの関連性と、既に選択された近傍との非類似性のバランスを取る。
• 細粒度検索： ハイパーボリック距離に基づいてトップ-$k$のエンティティを検索する。ここでの近傍拡張は特異性に焦点を当てる。候補は、ハイパーボリック含意コーンから導出される角度違反スコアを用いてフィルタリングされ、選択された近傍が検索されたエンティティの有効な下位概念（hyponym）であることを保証する。
• グラフ構築： 両方の検索プロセスによって生成されたグラフのセット（粗粒度および細粒度）は、クエリ誘導型の近傍集約を通じてコンパクトなグラフレベルの表現へと要約される。

2.3 デュアルパス融合（DF）

このモジュールは、特徴レベルと構造レベルの両方で取得された知識をGFMに統合する。

• 特徴レベルの融合： クエリノードの初期表現は、粗粒度および細粒度の知識表現を集約することによって拡張される。重みは、クエリと検索されたグラフの中心エンティティ間のハイパーボリック距離に基づいて計算される。
• 構造レベルの融合： クエリのエゴグラフに異種エッジを直接導入することを避けるため、2つの補助グラフ（粗粒度および細粒度の属性グラフ）が構築される。GFMエンコーダは、エゴグラフとこれらの補助グラフを独立して処理し、予測ロジットを生成する。
• 不確実性ゲート注入： 補助グラフからの予測は、各ソースの逆エントロピー（信頼度）によって重み付けされ、統一された知識予測へと融合される。この統一された予測は、元の予測のエントロピーによってゲート制御されながら、元のGFM予測へと注入される。元の予測が不確実な場合（高エントロピー）、モデルは検索された知識により強く依存し、確信度が高い場合は、元の予測を維持する。

3. 主な貢献

本論文は以下の貢献を主張している。

1. 限界の特定： 著者らは、既存のユークリッドベースのグラフ用RAGパラダイムにおける2つの固有の限界、すなわち、意味的粒度の喪失と幾何学的ミスマッチによるハブネスの出現を特定し、分析した。
2. HyRAGフレームワーク： グラフ基盤モデルのために設計された初のハイパーボリックRAGフレームワークであるHyRAGを提案する。これは、知識インデックス作成、マルチグラニュラリティ検索、およびデュアルパス融合を包含する、幾何学を意識したRAGパイプラインの再設計を提供する。
3. 実証的検証： 複数のグラフベンチマークを用いた広範な実験により、HyRAGがタスク固有のファインチューニングを必要とせずに、GFMのゼロショット推論性能を一貫して向上させることを示した。

4. 実験結果

著者らは、バックボーンGFMとしてGraphCLIPを用い、学術、Eコマース、Wikipedia、ソーシャルドメイン（Cora, CiteSeer, WikiCS, Instagramなど）にわたる7つのデータセットを用いてHyRAGを評価した。

• ノード分類： ゼロショット設定において、HyRAGはすべてのデータセットで最高の性能を達成し、最先端の自己教師あり学習手法およびグラフ基盤モデルに対して平均**2.02%の向上を示した。特にユークリッドベースのRAG手法（RAGRAPH）と比較した場合、HyR激は平均0.82%**の向上を示した。
• リンク予測： バックボーンとしてAnyGraphを用いたリンク予測タスクの実験では、一貫した向上が見られ、Coraで1.08%、CiteSeerで1.41%の顕著な利得が得られた。
• アブレーション研究：
  • ハイパーボリック知識インデックス作成を標準的なユークリッドインデックスに置き換えると、最大の性能低下（平均1.99%の低下）が生じ、ハイパーボリック幾何学の必要性が検証された。
  • 粗粒度または細粒度のいずれかの検索コンポーネントを除去すると、大幅な性能低下を招き、マルチグラニュラリティ検索の相乗的な価値が確認された。
  • 特徴レベルの融合が汎化の主要な推進力であることが特定された一方で、構造レベルの融合は補完的な利益を提供した。

5. 意義と主張

本論文は、分布シフトによって引き起こされるGFMの汎化のボトルネックに対する解決策としてHyRAGを位置付けている。検索空間の幾何学的特性（ハイパーボリック）を、外部知識の構造的性質（ツリー構造の階層）と整合させることにより、フレームワークは効果的に意味的粒度の喪失とハブネスを軽減する。著者らは、HyRAGがグローバルな意味的アンカーとローカルな意味的ニュアンスの両方を効果的に活用することを可能にし、新しいドメインに対して広範な再学習に依存しない、堅牢で汎用性の高いグラフ基盤モデルを構築するための有望な方向性を提供すると主張している。