Aitchison Embeddings for Learning Compositional Graph Representations

論文「Aitchison Embeddings for Learning Compositional Graph Representations (AICoG)」の詳細な技術的サマリーを以下に示します。

1. 問題定義

グラフ表現学習は、リンク予測やノード分類などのタスクにおいて基礎的です。しかし、既存の手法は解釈性と構造モデリングの観点から、主に 2 つの限界に直面しています。

• 本質的な解釈性の欠如: 標準的なユークリッド埋め込み（Node2Vec、GNN など）は幾何学的に類似性を符号化しますが、潜在次元における意味的意味を持ちません。距離や方向はしばしば恣意的であり、座標の選択に敏感であるため、説明には事後分析が必要です。
• 役割構造の不適切なモデリング: 多くの実世界ネットワークは、ノードが個別の実体ではなく、潜在的な原型要因の混合物である「役割混合（role-mixture）」構造を示します（例：「研究者」としてかつ「学生」として振る舞うユーザー）。
  • 従来の役割ベースモデル（Stochastic Block Model など）は、離散的で軸に沿った役割を仮定します。
  • 混合メンバーシップモデルは重複を許容しますが、しばしば離散的で識別可能な軸に依存しており、役割が連続的・重層的である場合や、絶対的な大きさではなく相対的なトレードオフによって定義される場合には機能しません。
  • 標準的なユークリッド空間は、絶対的なスケールではなく成分間の比率のみが重要である**構成データ（compositional data）**を自然に扱えず、スケール不変性や部分構成の一貫性に問題を生じさせます。

2. 手法：AICoG

著者は、構成データのための標準的な幾何学であるAitchison 幾何学に基づいたフレームワーク、**Aitchison 構成グラフ埋め込み（AICoG）**を提案します。

中核概念

• 構成表現: 各ノード $i$ は、$(K-1)$ 次元単体 $\Delta^{K-1}$ 上の構成 $z_i$ として表現されます。ここで $K$ は潜在的な原型要因の数です。ベクトル $z_i = (z_{i1}, \dots, z_{iK})$ は、各原型がノードに寄与する相対的な割合を表します。
• Aitchison 幾何学: ユークリッド距離の代わりに、類似性は成分間の対数比にのみ依存するAitchison 距離を用いて測定されます。これにより、スケール不変性（絶対的な活動レベルが類似性に影響しない）と部分構成の一貫性（成分のサブセットを除去しても相対的な幾何学が保持される）が保証されます。
• 等距離対数比（ILR）変換: Aitchison 幾何学を保持しつつ、勾配降下法などの標準的なユークリッドツールを用いた最適化を可能にするため、単体上の構成を無制約なユークリッド空間 $\mathbb{R}^{K-1}$ へ ILR 変換を介して写像します：
  $$x_i = \text{ILR}(z_i) = \log(z_i)^\top V$$
  ここで $V$ は対比空間の正規直交基底です。この変換は等距離写像であり、$x_i$ と $x_j$ 間のユークリッド距離は、$z_i$ と $z_j$ 間の Aitchison 距離と完全に一致します。

モデルアーキテクチャ

1. パラメータ化: ノードの構成 $z_i$ は、単体上に存在することを保証するためにソフトマックス関数を通された無制約のログオッズ $\tilde{z}_i$ を介してパラメータ化されます。
2. エッジ尤度: エッジ $(i, j)$ の確率はベルヌーイ分布としてモデル化され、そのログオッズ $\eta_{ij}$ は ILR 距離の単調減少関数となります：
   $$\eta_{ij} = -\|x_i - x_j\|^2 + \gamma_i + \gamma_j$$
   ここで、$\gamma$ はノード固有のバイアス（例：次数の不均一性）を表します。
3. 最適化: モデルは、観測されたエッジに対するベルヌーイ対数尤度を最大化することで訓練されます。
4. 基底の柔軟性: このフレームワークは、解釈性を最適化するために、固定基底（例：ヘルムート基底）と学習可能な基底（埋め込みと共同で訓練される）の両方をサポートします。

3. 主要な貢献

1. AICoG フレームワーク: ノードを潜在的な原型上の構成としてモデル化し、Aitchison 幾何学を用いて比較するグラフ埋め込みフレームワークの導入。
2. 表現力同等性: ILR 座標を介した構成の埋め込みが、標準的な無制約ユークリッド潜在距離モデルと表現力において同等な潜在距離モデルをもたらすことの証明。これは、AICoG が複雑なエッジ確率行列を表現する能力を犠牲にすることなく解釈性を獲得することを意味します。
3. 幾何学的役割: 軸に沿った次元ではなく、安定した相対的トレードオフによって特徴づけられる構成潜在空間内の領域としての「役割」の新たな定義。これにより、連続的かつ重層的な役割構造がサポートされます。
4. 部分構成の一貫性: 枠組みが原理的な成分制限を可能にすることを示す。原型要因のサブセットを除去して再正規化しても、定義された幾何学が保持され、再訓練なしに特定の原型グループが予測にどのように影響するかを分析できます。
5. 本質的な説明可能性: 手法は構築によって説明を提供します。類似性は、座標系の直交再パラメータ化に対して不変である原型間の対数比バランス（トレードオフ）を通じて説明されます。

4. 実験結果

著者は、Citation networks（Cora, Citeseer）、共著ネットワーク（DBLP, AstroPh など）、Social（LastFM）などの各種データセット上で、Node2Vec、Role2Vec、MMSBM、SLIM-RAA などの強力なベースラインに対して AICoG を評価しました。

• リンク予測: AICoG は、強力なベースラインと比較して競争力のある、あるいは優れた AUC-ROC スコアを達成しました。特に、単体上の Aitchison 幾何学をユークリッド幾何学に置き換えた場合（SIMPLEX-EUCLIDEAN）、パフォーマンスが大幅に低下したことは、単なる単体制約ではなく、構成幾何学そのものが決定的に重要であることを証明しました。
• ノード分類: AICoG は、幾何学的に解釈可能な表現を提供しながら、ユークリッド手法と同等の良好な Micro-F1 スコアを達成しました。
• 部分構成評価: 成分を除去した場合（部分選択による次元削減）、AICoG は他の単体ベースのベースライン（MMSBM や HM-LDM など）よりもはるかに優れたパフォーマンスを維持しました。これは、原理的な成分制限下での表現の安定性を確認するものです。
• 解釈性分析: 可視化により、異なる ILR 基底（ヘルムート、学習済み、バリマックス）が一貫したラベル分離をもたらすことが示され、構造が座標系に対して不変であることが確認されました。また、手法は原型間の解釈可能な「トレードオフ経路」を正常に特定しました。

5. 意義と影響

• ギャップの橋渡し: AICoG は、ユークリッド埋め込みに典型的な高い予測性能と、確率的役割モデルに典型的な高い解釈性の間のギャップを埋めます。
• 役割のパラダイムシフト: 離散的で軸に沿った役割から、連続的で相対的なトレードオフへとパラダイムを転換します。これは、多くの実世界ネットワーク（社会、生物、経済など）の性質をよりよく反映しています。
• 原理的な説明可能性: GNNExplainer などの事後説明手法とは異なり、AICoG の説明はモデルの幾何学に内在しています。これにより、研究者は「次元 X の重みは何ですか？」ではなく、「原型 A と B の間のトレードオフがノードの位置にどのように影響しますか？」という問いを立てることができます。
• 将来の方向性: 本論文は、Aitchison 幾何学が、構成ノード状態上で動作するメッセージパッシングニューラルネットワークなど、他のアーキテクチャへの構成誘導バイアスを拡張する基盤となり得ると示唆しています。

要約すると、AICoG は、潜在空間の意味がノード役割の相対的・構成的な性質と明示的に整合しているグラフ表現学習のための、数学的に厳密かつ実用的に効果的なアプローチを提供します。