Infinite-Dimensional Spherical Kernel ridge Regression

技術要約：無限次元球面カーネルリッジ回帰

問題設定
本論文は、応答変数 $Y$ がヒルベルト空間 $Y$ 内の任意の次元（有限または無限）の球面 $S$ 上に存在し、共変量 $X$ がポーランド空間に存在する回帰問題を扱う。この設定は、関数型データ解析、統計的形状解析、および（平方根変換を介した）確率密度関数のモデリングにおいて発生する。

既存の多様体値回帰には、以下のような重大な限界がある：

1. 接空間回帰（Tangent-space regression）: 応答を接空間 $T_o S$ に持ち上げて線形手法を適用する。これは計算上は便利だが、固有の球面距離を損ない、曲率に起因するバイアス（対数変換されたデータの条件付き平均 $E[\text{Log}_o(Y)|X]$ が条件付きフレシェ平均 $\mu(x) = \arg\min_q E[d_S^2(q, Y)|X=x]$ と異なること）を導入する。
2. 測地線回帰（Geodesic regression）: 通常、有限次元の多様体に限定されており、パラメトリックな形式や特定の予測子構造を仮定している。
3. 無限次元の課題: 無限次元の球面（密度関数など）への拡張は理論的に困難である。なぜなら、推定量の閉形式の解が存在せず、標準的な経験過程の手法はしばしば有限次元であることを暗黙のうちに仮定しているためである。

手法
著者らは、損失計算のために生の応答を接空間に持ち上げるのではなく、球面上に直接条件付きフレシェ平均 $\mu(x)$ をモデル化する**固有（intrinsic）**な回帰フレームワークを提案している。

1. モデル定式化:
   モデルは、ベースポイント（切片） $o \in S$ と、 $X$ から $T_o S$ への線形予測関数 $f: X \to T_o S$ によって条件付き平均を分解する。条件付き平均は指数写像を用いて再構成される：
   $$\mu(x) = \text{Exp}_o(f(x))$$
   関数 $f$ は、$X$ から $T_o S$ へのベクトル値再生核ヒルベルト空間（VVRKHS） $\mathcal{H}$ に属すると仮定される。著者らは、 $K(x, x') = k(x, x')\text{Id}$ （ここで $k$ はスカラーカーネル、$\text{Id}$ は $T_o S$ 上の恒等写像）という形式の単純乗法的演算子（SMO）カーネルを利用する。

2. 推定:
   推定値 $\hat{f}$ は、正則化された経験リスクを最小化することによって得られる：
   $$R_n(f, \lambda) = \frac{1}{n} \sum_{i=1}^n d_S^2(\text{Exp}_o(f(X_i)), Y_i) + \lambda^2 \|f\|_{\mathcal{H}}^2$$
   標準的なカーネルリッジ回帰とは異なり、指数写像の周期性により、損失項 $d_S^2$ は全ヒルベルト空間にわたって非凸である。

3. 最適化アルゴリズム:
   閉形式の解が存在しないため、著者らは低ランク近似を組み合わせたBFGSベースの最適化アルゴリズムを開発した。

   • 表現定理（Representer Theorem）: 新しい表現定理（定理4.1）は、最小化子が、カーネル関数をデータ点で評価したものと対数変換された応答によって張られる有限次元の部分空間内に存在することを証明している。
   • 効率性: 高次元を扱うために、アルゴリズムはカーネルグラム行列と応答グラム行列の主要な固有ベクトルから導出された低ランク部分空間に問題を投影する。これにより、パラメータ空間を $O(n^2)$ から管理可能なサイズへと削減しつつ、数値的安定性を維持する。

主要な理論的結果
本論文は、主に有界支持条件（仮定4.6）： $d_S(o, Y) \leq \pi/4$ がほとんど至る所成立するという特定の正則性仮定の下で、厳密な理論的保証を確立している。これにより、条件付き平均が二乗距離関数が局所的に凸となる測地線球内に存在することが保証される。

1. 表現定理（定理4.1）: 無限次元の球面および関数空間に対しても、無限次元の最適化問題が有限次元の問題に帰着することを証明する。
2. 収束レート:
   • 最小限の仮定: 任意のポーランド共変量空間および無限次元球面において、推定値は $L^2(P_X)$ ノルムにおいて $O_P(n^{-1/2})$ の収束レートを達成する（定理4.8）。
   • 滑らかさに依存するレート: スカラーカーネル $k$ が特定の固有値減衰特性（有限ランク、多項式、または伸長指数関数）を持つ場合、著者らはより速いレート（例：多項式減衰の場合の $O_P(n^{-p/(p+1)})$）（定理4.13）を導出する。これらのレートは、線形ベクトル値カーネルリッジ回帰や関数型回帰の既知の結果と一致するか、それを上回るものである。
3. 強一致性: コンパクト性と連続性の仮定の下で、推定値が外側からほとんど確実に一貫していることが示される（定理4.17）。

実証的評価

1. シミュレーション研究: 著者らは、様々なノイズレベルを持つ無限次元球面（$L^2([0,1])$）上のデータをシミュレートした。

   • 結果: 提案手法は、サンプルサイズが増加し、球面上でのデータの広がりが大きくなるにつれて、接空間回帰よりも優れた性能を示す。また、理論的な有界支持仮定が違反された場合（直径 $4\pi/5$）でも、堅牢な性能を示す。
   • レート: 観測された収束レートは、理論的予測（例：ガウスカーネルの場合の $O(\log(n)^2/n)$）と一致している。

2. 応用：都市汚染密度回帰:

   • データ: オランダの14のモニタリングステーションからのエアロゾル粒子光吸収係数（AAC）である。応答はAAC測定値の平方根密度である。
   • 比較: 本手法は、フレシェ回帰（2-Wasserstein空間）、ベイズ・ヒルベルト回帰、および対数正規・正規畳み込みモデルと比較される。
   • 性能: 球面距離およびベイズ空間距離における予測誤差において、提案された球面カーネルリッジ回帰法は競争力のある結果を達成した。決定的な点として、本手法はベイズ・ヒルベルトおよび対数正規・正規モデルよりも数桁高速であり、優れた計算効率と安定性を提供している。

意義と貢献
論文は、文献に対するいくつかの具体的な貢献を主張している：

1. コミュニティの架け橋: 非線形応答空間に対する関数型データ解析コミュニティへのVVRKHS回帰手法の導入。
2. 理論的新規性: 無限次元の球面回帰を有限次元の最適化に帰着させる新しい表現定理を提供しており、これはこの特定の非線形設定においてはこれまで確立されていなかった。
3. 固有の幾何学: 損失関数に対して接空間への持ち上げを避けることで、曲がった空間の線形化に固有の幾何学的バイアスを回避し、球面の固有の幾何学に適合させている。
4. 実用的な有用性: 計算効率の高いアルゴリズム（BFGSおよび低ランク近似を介したもの）と、すぐに使用可能なRパッケージ（sphereg）を提供することで、密度推定のような実世界のアプリケーションに対する無限次元の球面回帰を可能にしている。

著者らは、有界支持仮定については、制限的ではあるものの、既存の計量空間回帰の文献における仮定と同等であるとし、謙虚な姿勢を保っている。彼らは、将来の研究に向けて、数値的な議論や「パッチワーク」アプローチ（共変量空間の分割）を通じて、この仮定を緩和できることを示唆している。