SpectralMLP: Message-Passing-Free Dual-Frequency Spectral Filtering on Hypergraphs

技術要約: SpectralMLP

問題提起
現在のハイパーグラフニューラルネットワーク（HGNN）は、主にノード表現を豊かにするために、局所的なメッセージパッシング、グローバルアテンション、またはスペクトル投影といった集約メカニズムに依存しています。これらの手法には、実用上の重大な限界が存在します。局所的なメッセージパッシングは、オーバースクワッシング（過度な圧縮）やノノイズへの敏感さに悩まされ、グローバルアテンションは $O(N^2)$ の計算量によりスケーラビリティが制限され、厳密なスペクトル手法は $O(N^3)$ の固有値分解を必要とするため、大規模なグラフでは実行不可能です。さらに、既存のスペクトル手法は「スペクトル退化（spectral degeneration）」に対処できないことが多く、これはラプラシアンの固有値が密にクラスター化する現象（例：$\lambda_{max} - \lambda_{min} < 10^{-4}$）であり、標準的なフィルタが定数応答へと崩壊し、周波数識別能を失う原因となります。加えて、単一のスペクトル応答では、ホモフィリック（同質的）なグラフに有益な低周波信号と、ヘテロフィリック（異質的）または多クラスのタスクに求められる高周波信号を同時に捉えることはできません。

手法
著者らは、集約の代わりに学習可能なヤコビ多項式基底を用いた二重周波数スペクトルフィルタリングを用いる、メッセージパッシングフリーのフレームワークであるSpectralMLPを提案しています。このフレームワークは、主に3つのコンポーネントで構成されています。

1. MLPバックボーン: MLPは、グラフ操作を行うことなく入力特徴量を隠れ表現へと変換し、比較のための公平なベースラインとして機能します。
2. 適応型二重周波数スペクトルフィルタ（ADF-SF）: これが核心となるイノベーションです。単一のフィルタではなく、ADF-SFは隠れ表現を2つの独立してパラメータ化されたブランチに分解します。
   • 低周波ブランチ: 学習可能なヤコビ多項式基底とパラメータ $(\alpha_l, \beta_l)$ および係数 $\theta_{low}$ によって制御されます。
   • 高周波ブランチ: 別の学習可能なヤコビ基底とパラメータ $(\alpha_h, \beta_h)$ および係数 $\theta_{high}$ によって制御されます。
   • 適応型ゲーティング: 学習されたゲート ($g = \sigma(W_g[h_{low}; h_{high}] + b_g)$) が、ノードごとにこれらのブランチを動的に融合させ、モデルがホモフィリックおよびヘテロフィリックな信号を適応的にバランスさせることを可能にします。
   • 残差接続: フィルタリングされた出力は、学習可能なスケール $\beta_{res}$ を介して元の信号と結合され、安定性と信号保存を確保します。
3. 実装の詳細: この手法は、3項漸化式を用いて（クリーク拡張により導出された）疎な正規化ラプラシアン上で直接動作します。これにより、固有値分解を完全に回避し、1レイヤーあたりの計算量を $O(K \cdot \text{nnz} \cdot H)$ （ここで $K$ は多項式の次数、$\text{nnz}$ はラプラシアンの非ゼロ要素数）に低減します。

学習目的関数は、クロスエントロピー損失と、サンプリングを通じて効率的に計算される、同一のハイパーエッジ内のノード間のユークリッド距離を罰する構造認識型の平滑化正則化項を組み合わせたものです。

主な貢献

• メッセージパッシングフリーのフレームワーク: SpectralMLPは、ハイパーグラフのノード分類において、学習可能な集約オペレータなしでも、スペクトルフィルタリングのみで十分であることを示しています。
• 学習可能なヤコビ基底: 本論文は、ハイパーグラフへの学習可能なヤコビ多項式フィルタリングの初適用を紹介しています。パラメータ $(\alpha, \beta)$ を学習可能にすることで、モデルは各データセットの特定のスペクトル分布に合わせて多項式基底を適応させることができ、各フィルタにわずか2つのパラメータを追加するだけで済みます。
• 二重周波数アーキテクチャ: このフレームワークは、低周波と高周波の処理を分離することにより、ハイパーグラフにおけるスペクトル特性の多様性に明示的に対処します。この設計により、モデルはホモフィリーとヘテロフィリーの両方を扱うことができ、決定的なことに、標準的なスペクトルフィルタが失敗するスペクトル退化を緩和します。
• 計算効率: この手法は、固有値分解や近傍展開を必要とせず、疎な行列ベクトル積のみに依存します。

実験結果
著者らは、10個のハイパーグラフノード分類データセット（101から41,302ノードまで）において、メッセージパッシング型HGNN、トランスフォーマーベースのモデル、およびMLPベースの手法を含む9つのベースラインに対してSpectralMLPを評価しました。

• 性能: SpectralMLPは、10個のデータセット中7つで1位または2位を獲得しました。
  • スペクトル退化: 深刻なスペクトル退化（$\lambda_{max} - \lambda_{min} < 10^{-4}$）を特徴とするCongressデータセットにおいて、SpectralMLPは**95.88%の精度を達成し、MLPベースライン（70.47%）および他の最先端手法を大幅に上回りました。これは、一様設定下でのMLPベースラインに対して+27.9%**の向上を示しています。
  • 多クラスタスク: ModelNet40（40クラス）において、SpectralMLPは**98.08%**を達成し、すべてのベースラインを凌駕しました。
  • 堅牢性: 二重周波数モードは、堅牢な「ゼロ構成」のデフォルトとして機能し、すべてのデータセットにおいて、最高の単一ブランチ・バリアントの性能から1%以内の誤差に収まりました。
• パラメータ効率: SpectralMLPは、MLPバックボーンに対して中央値で約**2.4%**の追加パラメータしか加えていません。その総パラメータ数は、ほとんどのメッセージパッシング・ベースライン（例：AllSet, HyperGT, SheafHyperGCN）よりも低く、スペクトルフィルタリングが学習可能な集約のパラメータ効率の高い代替手段であることを裏付けています。

意義と主張
本論文は、フィルタリングは表現能力において集約と理論的に等価であるが、実用的な効率においては優れていることを証明することにより、SpectralMLPがハイパーグラフ学習の新しいパラダイムを確立すると主張しています。著者らは、集約をバイパスすることで、オーバースクワッシング、 $O(N^2)$ のアテンションコスト、および $O(N^3)$ の固有値分解を回避できると述べています。二重周波数設計は、標準的なスペクトルフィルタの「一律（one-size-fits-all）」の限界に対する解決策として提示されており、多様なタスクに対して最適な周波数バランスを自動的に発見することを可能にします。Congressデータセットの結果は、既存のスペクトル手法が退化するシナリオにおいて、本手法が性能を回復できる能力を特に強調しています。

限界と今後の課題
著者らは、現在のMLPバックボーンが性能の上限を設定していると指摘しており、高容量の残差接続やアテンション拡張型MLPによってさらなる改善が可能であると示唆しています。今後の方向性としては、ハイパーグラディエント最適化による適応的な多項式次数（$K$）の開発や、クリーク拡張を経由せずにハイパーグラフのインシデンス構造上で直接動作するスペクトルフィルタの設計が挙げられます。