技術的概要：グラフニューラルネットワークにおける分位点フリーの不確実性定量化

1. 問題提起

グラフニューラルネットワーク（GNN）における不確実性定量化（UQ）は、医療や刑事司法などの高リスク分野において極めて重要であるが、依然として重大な課題となっている。既存の GNN は通常、決定論的な点推定を生成するだけであり、予測の信頼性を捉えることができない。さらに、標準的なメッセージパッシング機構はデータバイアスを伝播・増幅させ、意思決定のリスクを高める可能性がある。

GNN に対する現在の UQ 手法は、以下の 3 つの主要な限界に直面している：

1. ベイズ法：原理的には優れているが、スケーラビリティの問題や事前分布の指定に対する感度が高いという欠点がある。
2. リサンプリングと事後較正：コンフォーマル予測（CP）やアンサンブル手法などの頻度論的アプローチは、反復推論または独立した較正データセットに依存する。これらは計算コストが高く、しばしば交換可能性（i.i.d. として簡略化されることが多い）のような強い仮定に依存しており、ハブや異質性（heterophily）などの構造的依存性により、グラフデータでは頻繁に違反される。
3. 分位点回帰（QR）の限界：標準的な QR は、明示的な分位点レベルの入力（例：$\tau = 0.05$）または各分位点ごとの個別のモデルを必要とする。これを GNN に適用すると、ノード表現が絡み合い、分位点の交差、過剰平滑化、および不適切に較正された区間といった問題を引き起こす。

本論文は、強い仮定を避け、分位点入力や事後処理を不要とし、グラフ構造データに対して計算実用性を維持する頻度論的フレームワークが必要であると主張している。

2. 手法：QpiGNN

著者は、分位点入力、リサンプリング、または事後較正を必要とせず、ノードレベルの回帰に対して較正され、コンパクトな予測区間を生成するように設計された**分位点フリー予測区間 GNN（QpiGNN）**を提案する。

2.1. ダブルヘッドアーキテクチャ

QpiGNN は、ターゲット値の予測と不確実性の推定を分離するためにダブルヘッドアーキテクチャを採用している。

• エンコーダ：標準的な GNN（例：GraphSAGE）が近傍情報を集約し、ノード埋め込み $H$ を生成する。
• 予測ヘッド：線形層がターゲット平均 $\hat{y} = W_{pred}H + b_{pred}$ を予測する。
• 不確実性ヘッド：別の線形層が区間の半幅 $\hat{d} = \text{Softplus}(W_{diff}H + b_{diff})$ を予測する。Softplus 活性化関数は $\hat{d} > 0$ を保証する。
• 出力：ノード $v$ に対する予測区間は $[\hat{y}_v - \hat{d}_v, \hat{y}_v + \hat{d}_v]$ と定義される。

この分離により、精度と不確実性推定間の表現上の競合や勾配の干渉を防ぎ、単一ヘッド GNN で一般的に見られる過剰平滑化の問題を緩和する。

2.2. 分位点フリーの結合損失関数

特定の分位点の最適化を行う代わりに、QpiGNN はカバレッジと区間幅を直接最適化する結合損失関数 $\mathcal{L}_{total}$ を用いてエンドツーエンドで訓練される：

$$\mathcal{L}_{total} = \mathcal{L}_{coverage} + \lambda_{width} \cdot \mathcal{L}_{width}$$

• カバレッジ項（$\mathcal{L}_{coverage}$）：この項は、目標カバレッジ率 $(1-\alpha)$ からの逸脱にペナルティを課す。これには二乗誤差項 $(\hat{c} - (1-\alpha))^2$ と、真のターゲットが予測境界外にある場合に微細なフィードバックを提供する違反損失 $\hat{\ell}_{viol}$ が含まれる。
  • $\hat{c}$ は経験的カバレッジ割合である。
  • $\hat{\ell}_{viol}$ は、$y_v < \hat{y}^{low}_v$ または $y_v > \hat{y}^{up}_v$ である場合に、違反の大きさに応じてペナルティを課す。
• 幅項（$\mathcal{L}_{width}$）：この項は、外れ値に対する安定性を確保する $L_1$ ペナルティを用いて、平均区間幅 $\mathbb{E}[\hat{y}^{up}_v - \hat{y}^{low}_v]$ を最小化する。
• トレードオフ：ハイパーパラメータ $\lambda_{width}$ は、目標カバレッジの維持と区間幅（コンパクト性）の最小化との間のトレードオフを調整する。

この設計により、モデルは明示的な分位点入力や較正データセットを必要とせず、ラベルの監督から直接適応的でノード固有の区間を学習できる。

3. 理論的保証

本論文は、緩やかな仮定（有界なノイズ、ノード間の弱い依存性、予測された平均/幅の収束）の下で QpiGNN に対する理論的根拠を提供する：

• 漸近カバレッジ：大数の弱法則（WLLN）の下、ノード数 $N \to \infty$ となるにつれて、経験的カバレッジ $\hat{c}$ は確率収束して目標レベル $1-\alpha$ に近づく。
• 有限サンプル境界：集中不等式（McDiarmid および Hoeffding）を用いることで、中程度の $N$ において、経験的カバレッジの目標からの逸脱は、グラフ依存性の存在下でも $O(1/\sqrt{N})$ によって有界であることを示している。
• 最適幅：結合損失は、制約付き最適化問題のラグランジュ緩和として解釈される。カバレッジが満たされれば、モデルは幅の縮小を優先し、ほぼ最適な区間幅をもたらす。
• 収束：非凸な結合損失は、標準的な確率的最適化条件の下で定常点に収束することが示されている。

4. 実験結果

著者は、9 つの合成グラフ（例：BA、ER、Grid、Tree）と 10 の実世界ベンチマーク（例：米国郡データ、Twitch、Wikipedia グラフ）を含む19 のデータセットで QpiGNN を評価した。

4.1. 性能指標

主要な指標は**予測区間カバレッジ確率（PICP）と平均予測区間幅（MPIW）**であった。

• カバレッジ：QpiGNN は、競合するベースライン（SQR-GNN、RQRadj.-GNN、CF-GNN、BayesianNN、MC Dropout）よりも平均で22% 高いカバレッジを達成した。
• コンパクト性：QpiGNN は、有効なカバレッジを維持しながら、平均で50% 狭い区間を生成した。
• 比較：
  • BayesianNN はカバレッジを確保したが、過度に広い区間を生成した。
  • MC Dropout は狭い区間を生成したが、深刻なカバレッジ不足に陥った。
  • SQR-GNN および RQRadj.-GNN は、異質グラフにおいて不安定性、分位点の交差、または不適切な較正を示すことが多かった。
  • CF-GNN（コンフォーマライズド）は較正データセットを必要とし、QpiGNN よりも広い区間を生成した。

4.2. 頑健性と一般化

• 摂動：QpiGNN は、特徴量ノイズ、ターゲットノイズ、エッジドロップアウトに対して頑健であり、ベースラインが失敗したり、著しく広い区間を必要としたりする状況でも有効なカバレッジを維持した。
• 構造的シフト：あるグラフタイプで訓練されたモデルを他のタイプでテストする分布外（OOD）テストにおいて、QpiGNN は表現力のあるグラフ（BA、ER）で訓練された場合、良好に一般化した。一方、単純な構造（Tree、Basic）で訓練されたモデルは、複雑なグラフにおけるターゲットのカバレッジに失敗した。
• 交換可能性：QpiGNN は、非交換可能な分割（例：ノード次数やコミュニティによる分割）下でも性能を維持し、i.i.d. 仮定の違反に対する頑健性を示した。

4.3. 効率性

QpiGNN は、SQR-GNN などの軽量ベースラインと同じ計算複雑度 $O(Ed + Nd^2)$ を共有する。複数のフォワードパスを必要とする MC Dropout や、個別の較正モジュールを必要とする CF-GNN と異なり、QpiGNN は推論中に単一パスで不確実性推定を実行する。

5. 主要な貢献

1. 分位点フリー UQ フレームワーク：QpiGNN は、分位点レベルの入力、リサンプリング、または事後処理を必要とせず、GNN において較正され、コンパクトなノードレベルの不確実性定量化を可能にする最初のフレームワークである。
2. アーキテクチャと損失設計：予測と不確実性を分離し、過剰平滑化を緩和して安定した訓練を可能にする、分位点フリーの結合損失と組み合わされたダブルヘッドアーキテクチャの導入。
3. 理論的および実証的検証：緩やかな仮定の下での漸近および有限サンプルのカバレッジに対する理論的保証を提供し、19 の多様なベンチマークにわたる優れた性能を実証。最先端のベースラインと比較して、カバレッジと区間幅の両方で顕著な改善を示した。

6. 意義

本論文は、QpiGNN が、計算効率に優れ、頑健で、仮定に依存しない不確実性定量化手法を提供することで、信頼性の高い GNN 応用における重要なギャップを埋めると主張している。コンフォーマル予測に必要な強い交換可能性の仮定や、ベイズ法の計算オーバーヘッドを回避することで、QpiGNN は信頼性の高い予測区間が不可欠な高リスク分野に対する実用的な解決策を提供する。著者は、現実世界のグラフデータにおいて理論的仮定（対称性や独立性など）が完全に満たされていない場合でも、本手法は頑健であることを指摘している。

著者が提案する将来の作業には、QpiGNN をグラフレベルおよびリンク予測タスクに拡張すること、アレイトリック不確実性とエピステミック不確実性を分離すること、および動的または進化中のグラフへのフレームワークの適用が含まれる。