技術要約: VDW-GNNs: 幾何学的グラフニューラルネットワークのためのベクトル拡散ウェーブレット

問題提起

幾何学的ディープラーニング（GDL）は、グラフや多様体のような幾何学的構造を持つデータへのディープラーニングの拡張を目指している。この分野における中心的な課題は、データの固有の対称性や構造（回転および並進の不変性・等変性など）を尊重する表現を設計することである。

既存のグラフニューラルネットワーク（GNN）は、主にメッセージパッシングのパラダイムに依存しており、そこではノード表現が局所的な平均化を通じて更新される。これはホモフィリア（同質性）の高いネットワークにおけるノード分類などのタスクには効果的であるが、以下の2つの決定的な制限に直面する：

1. オーバースムージング（過度な平滑化）: 層の数が増えるにつれて、ノードの表現が区別できなくなり、ネットワークの深さに制限が生じる。
2. アンダーリーチング（到達不足）: 局所的なメッセージパッシングは、特定のタスクに必要な長距離相互作用を捉えることが困難である。

拡散ウェーブレットや幾何学的スキャッタリング変換は、多スケールのグラフ幾何学を捉えることで、オーバースムージングとアンダーリーチングのトレードオフに対処するために提案されてきたが、歴史的にこれらはスカラー値信号に限定されてきた。しかし、多くの実世界の幾何学的データセットは、ベクトル値の機能（例：風速ベクトル、神経活動の速度、または多様体上の接束の値）を伴う。標準的なアプローチは、これらのベクトル成分を独立したスカラーチャネルとして扱うことが多いが、これはベクトル成分と基礎となる多様体の構造との間の幾何学的関係を活用できていない。さらに、ベクトル値データのための既存の手法は、フレームの安定性や剛体運動に対する等変性に関する厳密な理論的保証を欠いていることが多い。

手法

著者らは、**ベクトル拡散ウェーブレット（VDW）と、それに対応する一族であるベクトル拡散ウェーブレット・グラフニューラルネットワーク（VDW-GNN）**を導入する。このフレームワークは、拡散ウェーブレットおよび幾何学的スキャッタリングの理論を、幾何学的グラフ上で定義されたベクトル値信号へと拡張するものである。

1. ベクトル拡散行列 ($Q$)

ベクトル拡散マップ（VDM）アルゴリズムに着想を得た本手法の核心は、ベクトル拡散行列 $Q \in \mathbb{R}^{nD \times nD}$（ここで $n$ はノード数、$D$ は周囲の次元）の構築である。

• 局所フレーム: 各ノード $v_i$ に対して、近傍との相対距離行列の特異値分解（SVD）を用いて、局所的な正規直交基底（フレーム）$\{u_{i,1}, \dots, u_{i,D}\}$ を構築する。これにより、局所的な座標系が定義される。
• 平行移動: ノード間で特徴量を関連付けるために、ノード $v_j$ の局所フレームをノード $v_i$ へと写像する回転行列 $O_{i,j} = U_i U_j^\top$ を計算する。符号反転技術を用いて、これらの行列が符号を除いて一意かつ明確に定義されるようにする。
• 構築: 行列 $Q$ はブロック形式で $Q[i, j] = P[i, j] O_{i,j}$ と定義される（ここで $P$ は標準的なスカラー拡散行列である）。この演算子は、多様体上のベクトル場を支配する接続ラプラシアン ($\Delta$) に付随する熱半群の計算効率の高いプロキシとして機能する。

2. ベクトル拡散ウェーブレットとスキャッタリング

スカラー拡散ウェーブレットと同様に、著者らは $Q$ の累乗を用いたフィルタバンクを定義する：

• ウェーブレット: $\tilde{\Psi}_j = Q^{2^{j-1}} - Q^{2^j}$ （$j \ge 1$ の場合）および $\tilde{\Psi}_0 = I - Q$。
• ローパスフィルタ: $\tilde{\Phi}_J = Q^{2^J}$。
• スキャッタリング変換: 非線形な特徴は、これらのウェーブレットフィルタと点ごとの活性化関数 $\sigma$ を交互に適用することで抽出される。著者らは、一次係数 $\tilde{U}[j]w = \sigma(\tilde{\Psi}_j w)$ および高次の係数を再帰的に定義する。

3. VDW-GNN アーキテクチャ

著者らは、これらのウェーブレットを、スカラーおよびベクトル・トラックを個別に処理しつつ、それらの相互作用を可能にするGNNアーキテクチャに組み込んでいる：

• スカラー・トラック: 標準的な拡散ウェーブレットを使用してスカラーノード特徴を処理する。
• ベクトル・トラック: VDWを使用してベクトル特徴を処理する。
• 混合（Mixing）: 学習可能な混合層が、異なるスケール間のスキャッタリング係数を結合する。
• 予測ヘッド: ネットワークは、スカラーターゲット（例：グラフの直径）に対しては回転不変であり、ベクトルターゲット（例：風の再構成）に対しては回転等変となるよう設計されており、入力の全域的な回転に対して出力が正しく変換されることを保証する。

主な貢献

1. VDWの導入: 著者らは、ベクトル値のノード特徴を持つグラフのための新しいウェーブレットのファミリーを提案し、拡散ウェーブレットを接束の設定へと拡張した。
2. 理論的保証:
   • フレーム境界: VDWが従来の（スカラー）拡散ウェーブレットと同様にフレーム境界を満たすことを証明し、安定した反転とノイズへの堅牢性を保証する。
   • 等変性: ウェーブレットおよびスキャッタリング係数が、回転 $SO(D)$ に対して等変であり、並進に対して不変であることを証明した。
3. VDW-GNNs: これらのウェーブレットをニューラルネットワークに効果的に統合できることを示し、オーバースムージングを起こすことなく多スケールの幾何学を捉えられることを示した。
4. 実証的検証: 合成データ、実世界の風速データ、および神経活動多様体を用いて手法を検証し、パラメータ数が大幅に少ない状態で、最先端の等変GNN（EGNNやTFNなど）と同等以上の性能を示すことを示した。

実験結果

論文では、VDW-GNNを以下の3つの異なる設定で評価している：

1. 合成楕円体:

   • タスク: ランダムな楕円体のユークリッド直径（グラフレベル）の予測、および楕円体表面に定義されたベクトル場の回帰（ノードレベル）。
   • 知見: 非等変モデルはデータが回転した場合に著しく性能が低下したが、VDW-GNNは性能を維持した。VDW-GNNは、重い等変ベースライン（EGNN, TFN）と同等の精度を達成しながら、桁違いに少ないパラメータ数（例：TFNの約29Mに対し、VDW-GNNは約60k）で動作した。

2. 風速場の再構成:

   • タスク: 実世界のNOAAデータセットから、マスクされた風速測定値（球体上の接束の値）を再構成する。
   • 知見: VDW-GNNは、比較可能なモデルの中で最良のテストMSEと、回転テストにおける二番目に良いMSEを達成した。また、DD-TNN（接束に特化したネットワーク）を大幅に上回り、エポックあたりの訓練速度も最も速かった。

3. マルチチャネル神経記録:

   • タスク: 行動条件を予測するために、マカク猿の神経活動時系列の低次元埋め込みを学習する（帰納的設定）。
   • 知見: VDW-GNNは66%の平均分類精度を達成し、MARBLE（65%）をわずかに上回り、CEBRAやLFADSを大幅に上回った。モデルはMARBLEよりもはるかに速く訓練され、より少ないパラメータを使用した。

意義と主張

本論文は、VDW-GNNsが、ベクトル値の機能を持つ幾何学的データに対して、柔軟でパラメータ効率が高く、理論的根拠に基づいたフレームワークを提供することを主張している。データの固有の低次元構造（多様体仮説）を利用し、周囲の空間の対称性を活用することで、本手法は標準的なメッセージパッシングのオーバースムージングの問題を回避しつつ、ベクトル場の幾何学的性質を尊重する。

著者らは、以下を強調している：

• 理論と実践の架け橋: 本手法は、接続ラプラシアンのスペクトル理論と、高価な固有値分解を回避する実用的でスケーラブルな（疎行列演算を用いた）実装としてのGNNを接続する。
• 強力な帰納バイアスを提供: 回転等変性と多スケールなウェーブレットは、効果的な帰納バイアスとして機能し、回転されたデータへの汎化を可能にし、より少ない層でグローバルな構造を捉えることを可能にする。
• 計算効率が高い: ベクトル値のデータを扱うにもかかわらず、疎な拡散演算子の使用と明示的なスペクトル分解の回避により、大規模なデータセットに対してもスケーラブルである。

著者らは、限界についても謙虚に述べている。これには、接空間推定における局所PCAへの依存（疎な近傍では精度が低下する可能性があること）や、拡散スケールに関するハイパーパラメータへの感度が含まれる。また、本手法は多様体仮説が成立することを前提としていることも認めており、データが滑らかな低次元多様体上に存在しない場合、理論的な導出が成立しない可能性がある。