When does distribution shift break graph neural networks calibration?

技術要約：分布シフトとGNNのキャリブレーション

問題提起
グラフニューラルネットワーク（GNN）は、テスト時のグラフ分布が訓練時の分布と異なる（例：進化するソーシャルネットワーク、再配線されたインフラストラクチャ）動的な環境において、ますます導入が進んでいる。予測精度については頻繁に研究されているが、GNNのキャリブレーション（予測の確信度と実際の精度の合致度）については、このような分布シフト下での理解が極めて不十分である。既存のキャリブレーション手法（例：温度スケーリング、CaGCN、GATS）は、通常、ターゲット分布から得られたラベル付き検証データに依存している。しかし、現実世界のデプロイメントでは、これらのラベルは利用できない。また、ソースデータに適合させた標準的なキャリブレーション手法は、ホモフィリー（同質性）や特徴量のノイズといったグラフの特性が変化すると、確信度と精度の関係性が変わってしまうため、失敗する。中心となる課題は、分布シフトがどのようにGNNのキャリブレーションを変化させるかを特徴付け、ターゲットラベルなしで再キャリブレーションを行う手法を開発することである。

手法および理論的枠組み
本論文は、分布シフト下におけるGNNキャリブレーションの閉形式の理論的特徴付けを導出することで、この問題に取り組んでいる。分析は、ノードがガウス分布に従う特徴量を持ち、エッジがクラスのホモフィリーに基づいて形成される**コンテクスト付き確率的ブロックモデル（CSBM）**に基づいている。分析対象となるモデルは、線形GNN（平均集約または対称正規化GCN）に続く線形分類器である。

核心となる理論的洞察は、モデルのロジットの大きさ $t$ と真の精度の関係が、単一のスカラーパラメータであるキャリブレーション・スロープ（傾き） $\kappa$ によって支配されるという点である：
$$\text{Confidence}(t) = \sigma(t) \quad \text{vs.} \quad \text{Accuracy}(t) = \sigma(\kappa t)$$
ここで $\sigma$ はシグモイド関数である。本論文は、$\kappa$ がソースグラフ ($h_s$) とターゲットグラフ ($h_t$) のホモフィリーレベル、および特徴量の信号対雑音比 ($\rho$) によって明示的に決定されることを証明している：
$$\kappa(h_t) = \frac{(2h_t - 1)(1 + 4h_s(1-h_s)\rho)}{(2h_s - 1)(1 + 4h_t(1-h_t)\rho)}$$
主な理論的拡張には以下が含まれる：

• セルフループGCN: スロープは、信号がヘテロフィリー（異質性、 $h < 0.5$）の下でも持続することを考慮して調整される。
• 多クラス分類: スロープは信号係数 $c_K(h)$ を通じて一般化され、単一のグローバルな温度が $K$ クラスに対しては十分であることを示している。
• 共変量シフト: 特徴量のノイズが増加すると、$\kappa$ は単調に減少し、過剰な自信（オーバーコンフィデンス）を誘発する。
• 期待キャリブレーション誤差（ECE）の境界: ECEの理論的な上限が $\frac{1}{4}|\kappa - 1| \mathbb{E}[|\delta|]$ として導出され、ミスカリブレーションの深刻さが $\kappa$ の 1 からの偏差に直接結びついていることが示されている。

主な貢献

1. 閉形式のキャリブレーション・スロープ: 本論文は、分布シフト下におけるキャリブレーション・スロープ $\kappa$ に関する初の解析的な公式を提供し、これを構造的変化（ホモフィリー）と特徴量の質に明示的に結びつけた。これにより、GNNがなぜ、そしてどの程度、過剰な自信（$\kappa < 1$）や自信不足（$\kappa > 1$）に陥るのかを説明している。
2. グローバル温度の最適性: 構造的な系として、均質な分布シフト（シフトがすべてのノードに同様に影響を与える場合）においては、単一のグローバルな温度 $T^* = 1/\kappa$ が理論的に最適であることを証明している。これは、複雑なパーノード（ノードごと）の再キャリブレーション手法が、均質な設定においてはメリットを提供しないことを意味する。なぜなら、集団にとって最適な解は定数関数だからである。
3. STAC (Structure-aware Test-time Adaptive Calibration): この理論に基づき、著者らはソースフリーかつラベルフリーの再キャリブレーション手法であるSTACを提案している。STACは、確信度の統計量と摂動下での予測の不一致を用いて、ラベルなしデータからターゲット精度 $\hat{a}$ を推定する。その後、平均的な確信度が推定された精度と一致するように、単一のグローバルな温度 $T^* = 1/\hat{\kappa}$ を設定する。
4. ボトルネックの特定: 本研究は、実用的なラベルフリーGNNキャリブレーションの主要な障壁は、キャリブレーションのメカニズム自体ではなく、ターゲット精度の推定にあることを特定した。

実験結果

• 合成データによる検証: 合成CSBMデータにおいて、閉形式のスロープ $\kappa$ は実測値と高い精度（$r=0.99$）で一致した。予測された最適温度 $T^*$ は、様々なホモフィリーと信号対雑音比において、キャリブレーションを回復させた（ECEを $\leq 0.02$ に低減させた）。
• 実世界のグラフ: 理論は、幅広いホモフィリーの範囲（$h=0.05$ から $0.84$）と様々なクラス数（$K=2$から$18$）にわたる5つの実世界データセットにおいて成立している。
  • オラクル性能: 「オラクル」温度（真のターゲットラベルから導出されたもの）を適用した場合、すべてのデータセットでキャリブレーションが回復し、理論の十分性が確認された。
  • STACの性能: STACは、合成的なシフトに対して、ソース適合ベースラインと比較してキャリブレーション誤差のギャップを半分にすることに成功した。しかし、実世界のヘテロフィリアスなグラフ（例：roman-empire, amazon-ratings）では、STACの精度推定は信頼性が低く（しばしば真の精度を上回る）、結果としてキャリブレーションが低下した。これは、理論的枠組み自体は健全であるが、現在のラベルフリーの精度推定器は複雑なグラフシフトには不十分であることを裏付けている。
• 不均質なシフト: 不均質なシフト（異なるノードが異なるシフトを経験する場合）の下では、単一のグローバルな温度ではモデルを完全に修正できない。パーノードのステージもテストされたが、使用された構造的特徴ではわずかなメリットしか得られず、これはパーノードのキャリブレーションはシフトが不均質である場合にのみ必要であるという理論的主張を支持している。

意義と主張
本論文は、分布シフト下におけるGNNキャリブレーションに関する初の閉形式の理論的説明を提供したと主張している。その意義は以下の点にある：

• メカニズムの解明: 単なる経験的な観察を超え、ホモフィリーに依存するスロープ $\kappa$ を通じて、ミスカリブレーションの方向と大きさを説明している。
• 原理的な簡略化: 均質なシフトのシナリオにおいて、単一のグローバルな温度を使用することの厳密な正当性を提示しており、そのような文脈における複雑なパーノード・キャリブレータの必要性に疑問を投げかけている。
• 将来の研究へのロードマップ: ラベルフリーのキャリブレーション問題を、ラベルフリーの精度推定というサブ問題へと還元することで、本論文は、堅牢なGNNキャリブレータのデプロイを妨げている具体的な技術的障害を孤立させた。これは、将来の研究が、より複雑なキャリブレーション・アーキテクチャを設計することではなく、局所的なホモフィリーや集約効果を考慮したグラフ固有の精度推定器の開発に焦点を当てるべきであることを示唆している。

著者は、理論は堅牢であるものの、実世界のヘテロフィリアスなグラフにおける現在のラベルフリーの精度推定が依然として中心的な未解決課題であることを認め、STACの実用的なデプロイメントについては謙虚な姿勢を保っている。