技術的サマリー：GRAPHNETZ

問題提起

現在のグラフニューラルネットワーク（GNN）のベンチマークは、統計的厳密性の欠如に頻繁に見舞われています。典型的な研究では、限られたランダムシードと特定の訓練/テスト分割から導出された単一点の精度推定値（しばしば標準偏差を伴う）が報告されます。このアプローチは、ランダムシードのばらつき、データセットの分割、または評価アーティファクトによって生じるノイズよりも小さな見出しレベルの差異に基づいて、あるモデルが他モデルを「上回る」という結論に至ることがよくあります。

以前の再評価（Shchur et al., 2018; Errica et al., 2020）で指摘された通り、シードと分割をランダム化すると、報告された多くのアーキテクチャ上の改善は崩壊します。信頼区間（CI）、多重比較補正を伴う対比較、および順位に基づく集約といった標準的な統計ツールは存在しますが、これらはグラフ学習ベンチマークスイートのデフォルト出力としてほとんど採用されていません。PyTorch Geometric、Open Graph Benchmark（OGB）、Benchmarking-GNNs などの既存のフレームワークは、アーキテクチャとデータセットの幅広さに焦点を当てていますが、統計的報告、マルチシードのオーケストレーション、厳密な仮説検定はユーザーに委ねられています。

手法：GRAPHNETZ フレームワーク

著者らは、生きた精度表ではなく、構造化された統計レポートをベンチマーク実行のデフォルト出力とするように設計されたベンチマークフレームワーク、GRAPHNETZ を導入します。このフレームワークは、4 つの概念的レイヤーを中心に構成されています。

1. 分類されたデータセットカタログ:

   • フレームワークには、10 の研究カテゴリー（組合せ最適化、生物学、社会、知識、インフラ、金融、コンピューティング、ビジョン、物理学、セキュリティ）にマッピングされた63 のデータセットローダーが含まれています。
   • 4 つのタスクタイプ（ノード分類、グラフ分類、グラフ回帰、リンク予測）をサポートします。
   • ローダーには、標準的な公開ベンチマーク（Planetoid、TUDataset、QM9、ZINC など）と、標準的なベンチマークが存在しない場合の合成インスタンス（TSP、VRP、イジング格子など）が含まれます。

2. 均一な評価プロトコル:

   • フレームワークは、5 つの標準的な GNN アーキテクチャ（GCN、GAT、GIN、GraphSAGE、Graph Transformer）を評価します。
   • ノードレベルのエンコーダーをすべてのタスクタイプでテストできるようにするため、タスクアダプター（グラフレベルプーリングヘッド、ドット積リンク予測ヘッドなど）を採用します。
   • アルゴリズム 1がプロトコルを定義します：あるカテゴリーに対して、モデルを $S$ 個のシード（デフォルト $S=10$）と $E$ 個のエポックにわたって訓練します。このプロセスは、固定されたソフトウェアスタックが与えられれば決定論的であり、RNG は各実行前にリセットされます。

3. 統計的報告レイヤー:

   • セルごとの分析: 各（タスク、モデル）ペアに対して、平均 $\pm$ 95% スチューデントの t 信頼区間を計算します。
   • タスク内ペアワイズ検定: シード整合された最終指標に対して、対 t 検定（パラメトリック）とウィルコクソンの符号順位検定（ノンパラメトリック）を実行します。これらはホルム・ボンフェローニ法を用いて多重比較補正されます。
   • タスク間集約: 各タスクでモデルを順位付けし、フリードマンの包括的検定を計算して、タスク間での有意な差異を可視化するネメニの臨界差（CD）図を生成します。

4. 実装:

   • フレームワークは Python で実装されており、単一のエントリーポイント run_benchmark を持ちます。
   • 一行の API 拡張を通じて、カスタムデータセットとモデルをサポートします。
   • 再現性を確保するため、すべての乱数発生器にシードが設定されます。

主要な貢献

本論文は、4 つの主要な貢献を主張します。

1. カテゴリカル分類体系: 63 のローダーを 10 の研究領域にマッピングし、現在標準的な公開ベンチマークが欠如しているサブトピックを明示的に指摘します。
2. 均一なプロトコル: 4 つのタスクタイプにわたる 5 つの主要な GNN アーキテクチャのための標準化された評価設定により、性能の違いが評価の特殊性ではなく、モデリングの選択を反映することを保証します。
3. 原則的な統計レイヤー: ベンチマーク実行のデフォルトの戻り値は、セルごとの CI、ホルム補正されたペアワイズ p 値、およびフリードマン - ネメニ CD 図を含む構造化されたレポートです。
4. 実証的検証: 厳密な統計的検討の下では、標準的なエンコーダー間の見かけ上の順位差がしばしば単一のネメニ・クライク内に収まり、有意な差がないことを示す、カテゴリー横断的なベンチマークによる実証。

実験結果

著者らは、10 の異質なタスク（カテゴリーごとに 1 つの代表的なデータセット）に対して、10 のシードと5 つのアーキテクチャを用いてカテゴリー横断的な実験を行いました。

• カテゴリー別結果: 各タスクについて、平均性能と 95% 信頼区間が計算されました。多くの場合、異なるアーキテクチャの信頼区間は著しく重なっていました。
• ペアワイズ検定の一致: 社会/Planetoid データセット（Cora、CiteSeer、PubMed）において、パラメトリックな対 t 検定とノンパラメトリックなウィルコクソンの符号順位検定は、$\alpha = 0.05$ でホルム・ボンフェローニ補正後の 18 回の比較すべてで一致しました。
• カテゴリー横断的順位付け:
  • 4 つのノードレベルエンコーダー（GCN、GAT、GraphSAGE、Graph Transformer）が 10 のタスクにわたって順位付けされました。
  • フリードマンの包括的検定は、$\chi^2_3 = 2.04$ ($p = 0.56$) を生み出し、等しい平均順位というグローバルな帰無仮説の棄却に失敗しました。
  • ネメニの臨界差は $CD_{0.05} = 1.48$ 順位単位として計算されました。
  • 観測された最大順位ギャップは、GraphSAGE（平均順位 2.10）と GAT（平均順位 2.90）の間で、その差は0.80でした。
  • 結論: $0.80 < 1.48$ であるため、4 つのアーキテクチャのいずれも、$\alpha = 0.05$ において他よりも有意に優れていませんでした。4 つすべてが単一のネメニ・クライク内に収まりました。

意義と主張

本論文は、統計的厳密性をデフォルトパイプラインに組み込むことで、グラフ学習における再現性の危機に対処するツールとして GRAPHNETZ を位置づけています。

• 誠実な比較: このフレームワークは、シードの不確実性を考慮し、結果の cherry-picking（都合の良い結果の選別）を防ぐ「再現可能で誠実なモデル比較」を提供します。
• 較正された証拠: 著者らは、分野の典型的なサンプルサイズ（例：$N=10$ タスク、$S=10$ シード）は、標準的なアーキテクチャを区別する検出力を欠いていることが多いと主張します。フレームワークの統計的出力（CI、CD 図）は、利用可能な実際の証拠を反映するように「正確に較正」されており、ノイズを適切に考慮すると見出しレベルの差異はしばしば解消されることを示しています。
• コミュニティ標準: 統計的報告の全連鎖（マルチシード評価から CD 図まで）をデフォルト出力とすることで、GRAPHNETZ は研究論文で採用可能なパイプラインとしてグラフ学習コミュニティに奉仕し、生きた精度表の報告から原則的な統計的証拠への報告へと分野を移行させることを目指しています。

著者らは将来の含意については控えめであり、データセットの数（$N$）を増やすことで臨界差の閾値を狭めることができること、およびフレームワークをハイパーパラメータ探索やファウンデーションモデルの包含に拡張することが次の自然なステップであるが、現在のリリースの一部ではないと指摘しています。