技術要約：スペクトル・トランクテーション・カーネル（Spectral Truncation Kernels）

1. 問題提起

ベクトル値および関数値学習において、中心的な課題は、入力と出力の変数間の局所的（点別）および非局所的（グローバル）な相互作用を効果的に捉えつつ、計算の実行可能性を維持するカーネルを設計することである。既存の演算子値カーネルの手法は、以下の二極化に直面している：

• 可分カーネル（Separable Kernels）： 計算効率は高いが（$O(mN^3)$）、関数ドメイン全体にわたる相互作用をモデル化できず、グローバルな入力情報のみに依存する。
• 可換カーネル（Commutative Kernels）： 点別（局所的）な依存関係のみを捉え、関数ドメイン内の異なる点間の相互作用を無視する。
• 非可分／変換可能カーネル（Non-separable/Transformable Kernels）： 複雑な相互作用をモデル化できるが、$m$次元の出力に対して法外な計算コスト（$O(m^3N^3)$）を要するため、多くのタスクにおいて実用的ではない。

本論文は、可分カーネルと可換カーネルの間のギャップを埋め、出力次元 $m$ に対する立方体の依存関係なしに、制御可能な非局所的相互作用を可能にするカーネルクラスの必要性に対処している。

2. 手法

著者らは、標準的なベクトル値RKHS（vvRKHS）ではなく、**再現核ヒルベルト $C^*$ 加群（RKHM）の枠組みに基づいた新しいクラスであるスペクトル・トランクテーション・カーネル（Spectral Truncation Kernels）**を提案している。

コアとなる枠組み：RKHMと$C^*$代数

• $C^*$代数： 本手法は、トーラス上の連続関数の$C^*$代数 $A = C(\mathbb{T})$ を利用する。この代数は演算子と関数を統一し、非可換な積を可能にする。
• スペクトル・トランクテーション（Spectral Truncation）： 本手法は、フーリエ関数によって張られる $n$ 次元の部分空間への射影 $R_n$ を用いて、乗算演算子を近似する。これにより、$n \times n$ のトープリッツ行列 $R_n(x)$ が得られる。
• 非可換積： これらのトープリッツ行列の積は、通常の点別乗算とは異なり、非可換である。カーネルの構成には、これらの行列の積と、その結果を $C(\mathbb{T})$ 内の関数へと射影する写像 $S_n$ が含まれる。

カーネルの構成

提案されるカーネル $k_{poly,q}^n$ および $k_{prod,q}^n$ は、標準的な多項式カーネルおよび積カーネルを一般化したものである。これらは以下の合成によって定義される：
$$k(x, y) = S_n \left( \prod R_n(x_i)^* \prod R_n(y_i) \right)$$
ここで、$n$ はトランクテーション（切断）パラメータである。

• $n$ の役割：
  • $n=1$ の場合、カーネルは可分カーネル（グローバルな依存関係のみ）に還元される。
  • $n \to \infty$ の場合、カーネルは可換カーネル（局所的な依存関係のみ）に収束する。
  • $1 < n < \infty$ の場合、カーネルは局所的およびグローバルな依存関係の混合を捉える。相互作用の範囲は、入力 $n$ によって決定される範囲内で入力を平滑化する畳み込みカーネルであるフェイェール・カーネル $F_n$ によって制御される。

理論的特性

• 正定値性： 著者らは、提案されたカーネルが正定値であることを証明している。積カーネルについては、正定値性を保証するために定数 $\beta_n$ を含む修正が導入されている。
• 収束性： 定理10は、$n \to \infty$ となるにつれて、スペクトル・トランクテーション・カーネルがその可換な対応物へと収束することを確立している。
• 汎化誤差界： ラデマッハー複雑度を用いて、論文は汎化誤差界（定理18）を導出している。これは、$n$ が正則化パラメータとして機能し、バイアス・バリアンスのトレードオフを誘発することを示している。すなわち、$n$ が大きいほど経験損失は減少する（近似精度は向上する）が、モデルの複雑さが増大する。

計算効率

関数値グラム行列をRKHMの枠組み内で利用することで、$m$ 個の点における出力を得るためのリッジ回帰の計算コストは $O((q+m)n^2N^2 + mN^3)$ に削減される。これは $m$ に対して線形であり、非可分なvvRKHS手法（変換可能カーネルなど）の $O(m^3N^3)$ というコストと比較して大幅な改善となっている。

3. 主な貢献

1. 新しいカーネルファミリー： 非可換な相互作用を誘起するために $C^*$ 代数的構造を利用したスペクトル・トランクテーション・カーネル（定義6）の導入。
2. 理論的分析： 正定値性、$n \to \infty$ における可換カーネルへの収束、および $n$ がバイアス・バリアンスのトレードオフにおいて果たす役割を示す汎化誤差界の導出。
3. 計算上の優位性： RKHMの枠組みにより、非可分なカーネルでありながら出力次元 $m$ に対して線形な計算コストを実現し、既存の演算子値カーネルのボトルネックを解消したこと。
4. 結合モデル： 異なる $n$ 値を持つ複数のスペクトル・カーネルをスタックする結合モデル（セクション6）の提案。これは、層の数に対して表現力が指数関数的に増大することを理論的に示唆している。

4. 実験結果

著者らは、提案されたカーネルがベースラインを凌駕すること、およびパラメータ $n$ が依存構造を効果的に制御することを示すために、経験的な検証を行った。

• 合成データ回帰：

  • タスク：入力の局所的な近傍の積分に依存する関数（局所的依存関係をシミュレート）およびグローバルな平均に依存する関数の予測。
  • 結果：テスト誤差は中間的な $n$（例：$n=32$）で最小となり、カーネルが局所的およびグローバルな情報をバランスよく捉えていることが確認された。$n=1$（可分）および $n=\infty$（可換）の両方において、より高い誤差が生じた。
  • 比較：提案されたカーネルは、vvRKHSで使用される変換可能および可分なカーネルの組み合わせと比較して、大幅に低いCPU時間（149秒 vs 570秒）と、より低いテスト誤差（$5.40 \times 10^{-5}$）を達成した。

• MNIST画像復元：

  • タスク：中央のピクセル（8x8ブロック）をゼロにした欠損画像からの画像再構成。
  • 結果：可換カーネル（$n=\infty$）は、点別の対応関係のみに依存するため、欠損ピクセルの復元に失敗した。一方、最適な $n$（例：$n=70$）を持つスペクトル・トランクテーション・カーネルは、グローバルなコンテキストを活用することで、画像の構造を正常に復元した。
  • 比較：提案されたカーネル・リッジ回帰は、局所的およびグローバルな特徴抽出を模倣するように設計された2層の畳み込みニューラルネットワーク（CNN）を上回った。

• 演算学習（Burgers方程式）：

  • タスク：初期条件が与えられたときのBurgers方程式の解演算の学習。
  • 結果：提案されたカーネル（$n=5$）は、0.00157の平均点別誤差を達成し、同様のカーネルベースのアプローチについて報告されている既存の文献結果を上回った。

5. 重要性と主張

本論文は、スペクトル・トランクテーション・カーネルが、ベクトル値および関数値学習における局所的およびグローバルな依存関係のモデリングにおけるトレードオフに対する、原理的な解決策を提供すると主張している。$C^*$ 代数的枠組みを活用することで、著者らは以下のことを成功させた：

• 計算のボトルネックの解消： 既存のvvRKHS手法が抱える出力次元 $m$ に対する立方体のスケーリングを回避しつつ、非可分カーネルの表現力を実現した。
• 制御可能な非可換性の導入： トランクテーション・パラメータ $n$ が、純粋なグローバル（可分）な相互作用と純粋なローカル（可換）な相互作用の間を補間する調整可能なメカニズムとして機能し、モデルがデータの特定の依存構造に適応することを可能にした。
• 理論と実践の架け橋： 非可換幾何学の概念（スペクトル・トランクテーション）を実用的な機械学習タスクと結びつけ、関数データの学習における離散化の有効性に理論的な正当性を与えた。

著者らは、現在の設定はトーラス上の連続関数に焦点を当てているものの、この枠組みは他の $C^*$ 代数や積分カーネルにも一般化可能であり、時系列解析、コンピュータビジョン、演算学習への幅広い応用可能性を示唆していると述べている。