技術要約：固定集約特徴量はGNNに匹敵し得る

問題提起

グラフニューラルネットワーク（GNN）は、特にノード分類において、グラフ構造データの学習における標準となっています。これらのモデルは通常、メッセージパッシングのパラダイムに依存しており、そこでは学習可能な近傍集約（例：学習された線形結合やアテンションメカニズム）を用いた複数の層を通じてノード表現が更新されます。この手法は効果的である一方で、高いモデルの複雑さ、解釈性の課題、および多大な計算コストを伴います。

近年の証拠によれば、古典的なGNN（GCN、GAT、GraphSAGE）は、厳密なハイパーパラメータチューニングを施した場合、最先端のグラフトランスフォーマーやヘテロフィリー（異質性）を考慮したモデルに対しても競争力を維持しています。このことは、根本的な問いを投げかけます：「学習可能な集約関数の高い複雑性は、本当に必要なのか？」 具体的には、集約そのものを学習することの重要性は、ダウンストリームの分類タスクと比較してどの程度存在するのでしょうか？

手法：固定集約特徴量（Fixed Aggregation Features: FAFs）

著者らは、グラフ学習タスクを標準的な表形式（tabular）の問題へと変換する、トレーニングフリーのアプローチである**固定集約特徴量（FAFs）**を提案しています。この核心となるアイデアは、固定された非学習型の集約オペレータを使用することで、表現学習と最適化を切り離すことにあります。

FAFのパイプライン

1. 固定集約： 与えられたノード $v$ に対して、固定されたリデューサー $\mathcal{R}$（例：平均、和、最大、最小、標準偏差）を用いて、$k$ ホップ近傍から再帰的に特徴量を計算します。
   • $h^{(0,r)}_v = x_v$ （元の特徴量）
   • $h^{(k,r)}_v = r(\{h^{(k-1,r)}_u : u \in \mathcal{N}(v)\})$
2. 特徴量の結合： すべてのホップ（$k \in \{1, \dots, K\}$）およびすべてのリデューサー（$r \in \mathcal{R}$）からの特徴量を、元のノード特徴量と結合して、高次元の表形式ベクトル $z_v$ を形成します。
   • $z_v = x_v \oplus \bigoplus_{r \in \mathcal{R}} \bigoplus_{k=1}^K h^{(k,r)}_v$
3. ダウンストリーム分類： これらの固定された特徴量に対して、標準的で十分にチューニングされた多層パーセプトロン（MLP）を学習させます。集約ステップに対して勾配を逆伝播させることはありません。集約は前処理ステップとして扱われます。

理論的基礎

本論文は、FAFをコルモゴロフ・アーノルドの表現定理に関連付けています。この定理は、任意の多変数連続関数が単変数関数の合成として表現できることを示しています。

• 理論的可能性： 著者らは、近傍のマルチセットを理論的にロスレス（情報損失なし）にエンコードすることを可能にする、特定の固定された単射的集約関数 $\Phi$（三進展開とカントール集合に基づく）を構築しています。これは、理論上、表現力を維持するために集約中に学習すべき情報は存在しないことを意味します。
• 実務的な現実： $\Phi$ は理論的にはロスレスですが、数値的に脆弱であり、標準的な分類器には不向きな「粗い」埋め込みを生成します。対照的に、単純で非単射的なリデューサー（平均や和など）は、経験的に最適化が容易です。著者らは、ほとんどのベンチマークにおいて、関連する信号は低ホップ近傍（1〜2ホップ）に集中しているため、単純な集約でも十分な情報を保持できると主張しています。

主な貢献

1. 理論的洞察： 本論文は、コルモゴロフ・アーノルド表現に基づく固定された単射的関数を通じて、ロスレスな近傍集約が可能であることを確立しました。しかし、それは「表現力」と「学習可能性」の間の決定的な乖離を浮き彫りにしています。単純な非単射的リデューサーの方が、より滑らかな埋め込みを生成するため、ダウンストリームの分類器がより効果的に最適化でき、実用的な性能が高くなることが多いのです。
2. 手法の提案： 固定されたマルチホップ集約をスタックすることで、グラフデータを表形式に変換するFAFsを導入しました。これにより、アーキテクチャのバイアスなしに、グラフ構造、特徴量、およびタスクの相互作用を研究するための解釈可能なフレームワークを提供します。
3. 実証的証拠： 14の標準的なノード分類ベンチマークを用いた広範な実験により、適切にチューニングされたMLPと組み合わせたFAFは、14タスク中12タスクにおいて、最先端のGNNやグラフトランスフォーマーに匹敵するか、あるいはそれらを上回ることが示されました。
   • パフォーマンス： FAFは、引用ネットワーク（Cora, Citeseer, PubMed）、共著グラフ、およびAmazon製品グラフにおいて、古典的なGNN（GCN, GAT, SAGE）や複雑なアーキテクチャと同等または優れた性能を発揮しました。
   • 例外： FAFが性能を下回ったのは、Roman Empire と Minesweeper のデータセットのみでした。著者らは、これらが長距離依存関係や特定の線形残差接続を必要とするためであり、標準的なFAF（2〜4ホップを使用）では捉えきれないためであると考えています。これは、深い残差を持つGNNが有利であるという知見とも一致しています。
4. ベンチマークへの示唆： これらの結果は、現在の標準的なベンチマークにおける学習可能な集約の必要性に疑問を投げかけています。多くのデータセットは、強力な表形式予測器に固定された透明な特徴量を入力することで解決可能であり、現在のベンチマークは複雑な集約ダイナミクスを学習する能力を十分にテストできていない可能性があると著者らは主張しています。

結果と分析

• アブレーション研究：
  • 分類器の複雑さ： FAF特徴量に適用された場合、十分にチューニングされたMLPは、単一の線形層よりも大幅に優れた性能を示しました。これは、非線形性と容量がマルチホップ情報を活用するために極めて重要であることを示しています。
  • ホップの結合： すべてのホップの特徴量を結合することは、最後のホップのみを使用する場合よりも高い性能をもたらしました。これは、繰り返される集約の過程で情報が失われること、および初期ホップ（0〜2）に最も予測的な信号が含まれていることを裏付けています。
  • リデューサーの選択： 複数のリデューサー（例：平均、和、最大、最小）を結合することは一般に有益ですが、単一のリデューサー（多くの場合平均）だけで十分であり、時には複雑な組み合わせよりも優れた性能を示すことがあります。これは、高次元空間における過学習の抑制によるものと考えられます。
• 解釈性： 問題を表形式として扱うことで、著者らはSHAP値を用いて特徴量の重要性を分析しました。例えば、Minesweeper データセットにおいて、彼らは特定の機能のホップ1の平均が主要な信号であることを特定し、モデルがどこで成功し、どこで失敗するかを明確にしました。
• 効率性： 集約を事前計算してMLPを訓練することは、深いGNNを訓練することよりも一般にスケーラブルで効率的ですが、ホップ数やリデューサーの数が増えるにつれて入力の次元数は増加します。

意義と主張

本論文は、グラフ学習の分野が、単純な固定統計量で十分なタスクに対して、複雑で学習可能な集約メカニズムに過度に依存している可能性があると指摘しています。著者らは以下のことを主張しています：

1. 強力なベースライン： FAFsは、将来のグラフ学習研究において必須の強力なベースラインとなるべきです。もし新しいGNNが十分にチューニングされたFAFを上回ることができないのであれば、その追加された複雑さは正当化されません。
2. ベンチマークの再評価： 現在の標準的なベンチマーク（Cora, Citeseerなど）は、予測信号が低次近傍に集中していることが多いため、学習可能な集約を真に必要としていない可能性があります。著者らは、長距離依存関係や複雑なホップ間ダイナミクスを具体的にテストする「より豊かなベンチマーク」を求めています。
3. 最適化 vs 表現力： FAFsの成功は、最適化可能性と学習可能性が、理論的な表現力と同様に極めて重要であることを示唆しています。複雑なGNNは、理論的な容量の欠如ではなく、最適化の困難さ（例：勾配消失、オーバースムージング）によって、有用な集約を学習することに苦戦している可能性があります。
4. 表形式の視点： グラフの問題を表形式の問題に変換することで、研究者は表形式学習の成熟したツールボックス（特徴量選択、解釈性、クラス不均衡の処理）を活用し、グラフ構造の寄与を最適化の副産物から分離して研究することができます。

結論として、著者らは焦点の転換を提唱しています。追加のパラメータや高い表現力が自動的に関連する信号を抽出すると仮定するのではなく、より単純で解釈可能なモデルを優先し、複雑な集約関数を学習することを真に必要とするベンチマークを設計すべきであると主張しています。