Graph Neural Networks for the Graphical Bootstrap

技術要約：グラフィカル・ブートストラップのためのグラフニューラルネットワーク

問題提起
本論文は、高エネルギー物理学、特に平面的な $\mathcal{N}=4$ 超対称ヤン・ミルズ（SYM）理論における計算上のボトルネックに対処するものである。散乱振幅や相関関数を計算するには、$f$-グラフとして知られる膨大な数の組合せ論的対象の係数を決定する必要がある。これらのグラフは $n$ 個のノードと、2種類のエッジ（分母のエッジと分子のエッジ）で構成される平面グラフである。$f$-グラフの数は階乗的に増加し、16点レベル（$n=16$）では6億個を超える。

「グラフィカル・ブートストラップ」として知られる従来の手法は、物理的な制約（「ラング・ルール（rung rule）」や「カスプ・ルール（cusp rule）」など）を用いて、係数を決定するための線形方程式を生成する。しかし、高次（例：$n=16$ のシステムを解くにはHPCクラスターで3日間を要した）での計算は、計算量的に極めて困難になる。さらに、アンザッツ（仮定）の大部分は冗長である。$n=16$ において、約94%の $f$-グラフは消滅する係数（$c^{(n)}_{a,b} = 0$）を持つ。著者らは、機械学習を、係数を直接予測するためではなく、線形求解の前段階でこれらの冗長なグラフを特定し、削減するために用いることを提案している。これにより、問題の規模を縮小させる。

手法
著者らは、この問題を平面グラフに関する二値分類タスクとして定式化している。個々の $f$-グラフの係数を予測する代わりに、「分母グラフ（$d$-グラフ）」に対する二値ラベル $d^{(n)}_a$ を予測する。$d$-グラフは、その可能な分子のドレッシング（dressing）のいずれかが非ゼロの係数をもたらす場合に1、すべてのドレッシングが消滅する場合に0とラベル付けされる。これにより、データセットは単純なラベルなし平面グラフへと簡略化される。

• モデル: 以下の3つのアーキテクチャをベンチマークしている。
  • GIN (Graph Isomorphism Network): 合計プーリング（sum pooling）とメッセージパッシングを使用。
  • GAT (Graph Attention Network): 残差接続を備えたアテンションベースのメッセージパッシングを使用。
  • GT (Graphormer): グローバルな自己注意（self-attention）と隣接性・最短経路バイアスを備えたTransformerベースのモデル。
• 特徴量: すべてのモデルは、以下の要素を組み合わせた統一されたノード入力を使用する。
  • 中心性スコア（次数、クラスタリング、中間性、近接性、PageRank）。
  • 位置エンコーディングとしての上位3つのラプラシアン固有ベクトル。
  • $k=4$ までのグラフレット・オービット（graphlet orbit）カウント。
• 学習戦略: 本研究は、クロスサイズ汎化（$n \to n+1$）に焦点を当てている。モデルは最大 $n$ 個のノードを持つグラフで学習され、$n+1$ 個のノードを持つグラフでテストされる。クラス不均衡の増大（消滅する係数の割合が $n$ とともに増加すること）に対処するため、ハイパーパラメータは、訓練データ（$10 \le N \le n-1$）が検証データ（$n$）と明確に区別される分割において、グリッドサーチを通じて選択される。
• 制約: 物理系は、すべての非消滅グラフが保持されている場合にのみ解けるため、モデルには正のクラス（非ゼロの係数を持つグラフ）に対する**100%の再現率（Recall）が求められる。主要な指標は、どれだけの冗長なグラフを安全に破棄できるかを測定する真陰性率（True Negative Rate: TNR）**である。

主な結果

• 分類性能: Graphormer (GT) アーキテクチャは一貫して GIN や GAT を上回り、$15 \to 16$ ノードの遷移において 99.996% の ROC AUC を達成した。GIN と GAT は、特に訓練データに大きなグラフサイズが含まれていない場合に、より低い性能を示した。
• アンザッツの削減:
  • モデルは冗長なセクターを特定することに成功した。最適な閾値を用いることで、GT モデルは $n+1=16$ における冗長な $d$-グラフ・セクターの 85.5% を除去した。
  • 同レベルにおいて、GAT は 61.0% の削減を実現した。
  • GIN モデルは、訓練データから導出された閾値を用いた際に TNR が大幅に低下（4%）しており、この特定のタスクにおける閾値選択の不安定さが GT や GAT と比較して顕著であった。
• ルールの捕捉: 分析によれば、GT は他のモデルよりも「ラング・ルール」（単純なグラフ構造的制約）を効果的に捉えており、訓練サイズが増えるにつれて優位性の確率が 61% から 86% へと上昇した。
• 解釈性: モデルの埋め込み（embedding）に対して訓練された線形プローブは、グローバルな構造的特徴（例：サイクル数 $C_3, C_4, C_5$ および誘導グラフレット）を予測する上で高い $r^2$ スコアを示した。特筆すべきは、明示的な入力がないにもかかわらず、埋め込みがより高次の非局所的構造（$C_5$ など）を捉えている点である。ただし、$14 \to 15$ の遷移において $C_3$ と $C_4$ の予測可能性が崩壊するという異常も観察された。

意義と主張
グラフニューラルネットワークは、グラフィカル・ブートストラップの冗長なセクターを効果的に特定でき、最終的な物理的結果の正確性を損なうことなく、大幅な計算加速（最大 85.5% のデータ削減）を可能にすると本論文は主張している。線形ソルバーに投入されるグラフの数を減らすことで、高次の摂動計算の実現可能性を高める。

著者らは、本研究を以下のように位置づけている：

1. 正確な解析的結果と機械学習の架け橋となる、高エネルギー物理学のための実用的なツール。
2. 純粋な組合せ論的グラフにおける学習の有用なベンチマークであり、GNN がデータから複雑な構造的ルール（ラング・ルールなど）を学習できることを示している。
3. 控えめながらも即時的な解決策：より困難な問題である「正確な有理数係数の予測」を試みるのではなく、「二値分類による削減（pruning）」に焦点を当てることで、即座に実用的な有用性をもたらしている。

著者らが示唆する今後の課題には、分子エッジを考慮した完全な $f$-グラフレベルへの削減への拡張、および構造化された有限ラベル・タスクとしての係数予測の定式化が含まれる。