技術的概要：ヒルベルト束とセルラ・シーフによる一貫した幾何学的深層学習

1. 問題提起

現代の深層学習は、無限次元（時系列、確率分布、演算子など）の信号と、不規則な領域（多様体、グラフなど）上で定義された信号に直面することが増えています。幾何学的深層学習（GDL）は、グラフや多様体などの非ユークリッド領域に畳み込みニューラルネットワーク（CNN）を一般化することに成功しましたが、既存のフレームワークは主に有限次元のファイバー（各点におけるスカラー値や有限ベクトルなど）を仮定しています。

多様体上で支持される無限次元の信号に対する統一的な学習理論が存在しません。具体的には、各点 $x \in M$ におけるデータがそれぞれ固有の無限次元ヒルベルト空間 $E_x$ に存在する信号を、現在の手法はネイティブに処理できません。さらに、そのような構造の離散近似と連続対応物とを結びつける厳密な理論的基盤が存在しないため、これらの複雑なデータタイプに対する学習の一貫性の保証にギャップが残されています。

2. 手法

著者らは、ヒルベルト束とセルラ・シーフの観点を通じて既存の幾何学的学習アプローチを統合・一般化するHilbNetsと呼ばれるフレームワークを提案します。

2.1 連続フレームワーク：ヒルベルト束と接続ラプラシアン

• ヒルベルト束: 著者らは、データを基底多様体 $M$ 上のヒルベルト束 $E$ の切断 $S$ としてモデル化します。ファイバーが $\mathbb{R}^n$ の同一のコピーである自明な束とは異なり、ここでは各ファイバー $E_x$ が（無限次元である可能性のある）可分ヒルベルト空間です。
• 接続と平行移動: ファイバー間（標準的な同定が存在しない）の信号を比較するために、このフレームワークは接続 $\nabla$ を採用します。これにより、多様体上の経路に沿った平行移動写像 $P_{x \to y}: E_x \to E_y$ が誘導され、無限次元データの整合的な比較が可能になります。
• 接続ラプラシアンによる畳み込み: 核心的な畳み込み演算子は接続ラプラシアン $\Delta_\nabla = \nabla^* \nabla$ です。この演算子は、スカラー場に対するラプラシアン・ベルトラミ演算子や、接束に対する接続ラプラシアンを一般化します。
• フィルタ: フィルタはボレル関数解析を用いて定義されます。フィルタ $g$ は自己共役演算子 $\Delta_\nabla$ に $g(\Delta_\nabla)$ として適用され、離散スペクトルを必要とせずに無限次元信号のスペクトルフィルタリングを可能にします。
• HilbNets: HilbNet は、これらのヒルベルト束フィルタの層と、点ごとの非線形性 $\sigma$ から構成される深層アーキテクチャです。

2.2 離散化：2 段階サンプリング

連続的な HilbNets は直接実装できないため、著者らは離散化 HilbNetsを導出するための 2 段階の離散化手順を導入します。

1. 多様体サンプリング（空間離散化）:

   • 多様体 $M$ から $n$ 個の点 $X_n$ をサンプリングすることで、ヒルベルトセルラ・シーフ $\mathcal{F}^t_n$ が誘導されます。
   • この構造は、各ノードとエッジにヒルベルト空間（ファイバー）を割り当てます。
   • エッジごとの結合は、平行移動演算子から導出された制限写像と、ガウスカーネル重み $k^t_{ij} = e^{-d_M(x_i, x_j)^2 / 4t}$ によって定義されます。
   • ヒルベルト・シーフ・ラプラシアン $\Delta_{\mathcal{F}^t_n}$ は、これらの制限写像から構成されます。

2. 信号サンプリング（ファイバー離散化）:

   • ファイバー内の無限次元信号は、直交基底（時系列の場合はフーリエ基底など）を用いて、次元 $d$ の有限次元部分空間 onto 射影されます。
   • これにより、有限次元の茎（$\mathbb{R}^d$）を持つネットワーク・シーフ $\mathcal{F}^t_{n,d}$ が得られます。
   • 得られるネットワーク・シーフ・ラプラシアン $\Delta_{\mathcal{F}^t_{n,d}}$ は、ブロックが離散化された平行移動写像を表すブロック行列です。
   • 実装可能な**(n, d)-HilbNet**は、この有限構造上で動作するシーフ・ニューラルネットワークとして定義されます。

3. 主要な貢献

1. ヒルベルト束畳み込みフレームワーク: 本論文は、接続ラプラシアンとボレル関数解析を用いて、多様体上の無限次元信号に対する原理的な畳み込み演算を定義し、有限次元ファイバーを超えて GDL を拡張します。
2. ヒルベルトセルラ・シーフ: 著者らは、ヒルベルト束とヒルベルトセルラ・シーフの間の最初の厳密なリンクを確立し、多様体のサンプリングが、基底多様体の幾何学と束ファイバーの結合規則の両方を捉えるシーフ構造を誘導することを示しました。
3. 収束保証（理論的コア）:
   • 定理 1（シーフ・ラプラシアン収束）: サンプリング密度 $n \to \infty$ となるにつれて、ヒルベルト・シーフ・ラプラシアンが確率論的に基底となる接続ラプラシアンに収束することを証明します。これは、画期的な**Belkin & Niyogi [14]**の結果（グラフ・ラプラシアン $\to$ 多様体・ラプラシアン）を無限次元束の設定に一般化したものです。
   • 定理 2（有限ランク収束）: 完全に離散化された（実装可能な）ラプラシアンが、多様体サンプリング（$n$）と信号サンプリング（$d$）の両方の密度が増加するにつれて、連続演算子に収束することを証明します。
4. 一貫性と転移性:
   • 系 2.1: サンプリング密度が増加するにつれて、離散化 HilbNets の出力が連続 HilbNet に平均二乗誤差（MSE）で収束することを確立します。
   • 系 2.2（転移性）: 離散化 HilbNets が、同じ基底束の異なるサンプリング間で転移可能であることを示します。アーキテクチャの出力は、サンプリングされた特定の点雲に依存せず一貫しており、解像度の一貫性保証を提供します。

4. 実験結果

このフレームワークは、2 つのタスクで検証されました。

• 合成輸送復元:

  • 設定: 中心化されたガウス分布上の統計的束（Otto-Wasserstein 距離を使用）であり、真の平行移動演算子（レビ・チビタ接続）が既知です。
  • 結果: モデルは真の平行移動演算子を成功裡に復元しました。「Free $O(d)$」パラメータ化は数値精度（$\approx 1.6 \times 10^{-7}$）まで真の値を復元し、制限されたクラス（巡回行列など）は解析的な射影極限に収束しました。これにより、仮説クラスが学習を予測可能な方法で制約していることが確認されました。

• 実世界の交通量予測（METR-LA および PEMS-BAY）:

  • 設定: ノードがセンサーでファイバーが時系列である交通速度の予測。このフレームワークは、フィルタリング前に時間パターンを整合させるためにエッジごとの輸送マップを学習します。
  • ベースライン: MLP（ファイバーのみ）、時空間グラフベースライン、標準 GCN（固定された恒等輸送）と比較。
  • 結果: 非自明な輸送を学習することは、すべての予測時間範囲において、固定された恒等変換（GCN）を一貫して上回りました。Free $O(T)$ 変種が最高の精度を達成し、Circulant 変種は大幅に少ないパラメータ（約 1/10）で競争力のある性能を示し、構造化された物理的に動機付けられた帰納的バイアスの価値を実証しました。

5. 意義と主張

本論文は、HilbNets が無限次元信号を持つ設定に古典的なラプラシアンベースの手法を拡張する、統一的かつ一般的な幾何学的深層学習フレームワークを提供すると主張しています。

• 理論的影響: 主な貢献は、**Belkin & Niyogi [14]**の収束定理をヒルベルト束に拡張することです。これは、無限次元データに対するラプラシアンベースの学習の理論的基盤を提供し、連続束問題に対する離散シーフ近似の使用を正当化します。
• 実用的影響: このフレームワークにより、ドメイン固有の幾何学的事前分布（接続と輸送の選択を通じて）を深層学習アーキテクチャに原理的に組み込むことが可能になります。これは、データが少ない領域や、データに固有の構造的制約（時系列の整合、分布幾何学など）がある場合に特に有益です。
• 一般性: 著者らは、既存の多くのアーキテクチャ（CNN、GNN、シーフ NN、等変 CNN）が、特定の束と接続の選択を持つ HilbNets の具体例と見なせることに言及しています。したがって、ここで導出された収束性と転移性の結果は、既存の幾何学的学習手法の広範なクラスに潜在的に拡張されます。

本論文は、信号が独自のヒルベルト空間に存在する多様体上の学習に対して、一貫性があり理論的に裏付けられたアプローチを提供することで、幾何学的学習の範囲を拡大すると結論付けています。