Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence

技術要約：再生核ヒルベルト空間における一般化非パラメトリック回帰

問題提起
本論文は、多変量非パラメトリック回帰における再生核ヒルベルト空間（RKHS）上の正則化M推定量に関する理論的解析に取り組んでいる。目的は、独立な観測値 $\{(x_i, y_i)\}_{i=1}^n$ から、未知の回帰関数 $f_0: \mathbb{R}^d \to \mathbb{R}$ を、以下の正則化経験リスクを最小化することによって推定することである：
$$\hat{f}_n = \arg\min_{f \in \mathcal{H}} \left[ \frac{1}{n} \sum_{i=1}^n \rho(y_i - f(x_i)) + \lambda \|f\|_{\mathcal{H}}^2 \right]$$
ここで、$\rho$ は一般的な損失関数であり、$\lambda > 0$ は正則化パラメータである。最小二乗法（$\rho(x)=x^2/2$）の場合は十分に研究されているが、既存の文献には、一般的な凸および非凸の損失（例：分位点、エキスペクタイル、HuberやTukeyのようなロバスト損失）を統一的に扱う枠組みが欠けている。既存の理論的結果の多くは、最小二乗法においてのみ利用可能な明示的なスペクトル表現に依存しており、そのため、閉形式の解が存在しない一般的なM推定量には適用できない。

手法
著者らは、関数解析と経験過程理論を組み合わせた包括的な理論的枠組みを開発している。主要な手法的構成要素は以下の通りである：

1. 存在性と可測性： 本論文では、$\rho$ が連続であり、かつ下から有界であるという極めて緩やかな条件下で、推定量の存在性と可測性が確立される。これは、非平滑または非凸の損失を含む幅広い損失関数をカバーしている。
2. スペクトル複雑度 ($N_\infty(\lambda)$)： 新しい複雑度の尺度として、$N_\infty(\lambda) = \sup_{x \in \mathcal{X}} K_\lambda(x, x)$ が導入される。ここで $K_\lambda$ は、ペナルティ付き内積 $\langle f, g \rangle_{\mathcal{H}, \lambda} = \langle f, g \rangle_{L^2} + \lambda \langle f, g \rangle_{\mathcal{H}}$ に付随するカーネルである。最小二乗解析で使用される有効次元 $N(\lambda)$ とは異なり、$N_\infty(\lambda)$ は関数族の一様制御を提供し、これは劣微分が線形ではない一般的な損失関数を扱う上で極めて重要である。
3. 漸近的線形化： 閉形式の解が存在しないことを克服するため、著者らは目的関数を母集団の対応物（抽象的な正則化補間関数）の周囲で漸近的に線形化する。このアプローチにより、損失関数に対する大域的なリプシッツ仮定を回避でき、対称化および残差に対する縮小引数を用いることで、不連続な微分を持つ損失（例：分位点損失）の解析が可能となる。
4. バイアス・分散分解： この解析により、$L^2_v$ 誤差の、$N_\infty(\lambda)$ によって支配される分散項と、ソース条件パラメータ $\beta$ によって支配される二乗バイアステルムへの明示的な分解が得られる。

主要な貢献と結果

• 一般的な存在性と一致性： 本論文は、損失関数に対する最小限の仮定の下で、正則化M推定量の存在性と可測性を証明している。
• シャープな収束レート： 定理1は、以下の収束レートを確立している：
  $$\int_{\mathcal{X}} (\hat{f}_n(x) - f_0(x))^2 v(dx) = O_P\left(\frac{N_\infty(\lambda)}{n}\right) + O_P(\lambda^\beta)$$
  決定的なことに、分散項はモデルの誤設定に依存しない（すなわち、$\beta < 1$ に依存しない）ことが示されており、一方でバイアスはRKHSに対する真の関数の滑らかさに依存する。
• テンソル積空間と次元の呪い： 本論文は、テンソル積ソボレフ空間 $\mathcal{H}^m([0,1])^{\otimes d}$ を調査している。定理2はこれらの空間に対する新しい収束レートを導出し、分散が（対数因子を除いて）$(n \lambda^{1/(2m)})^{-1}$ にスケールすることを示している。これは、等方的なソボレフ空間で典型的な $(n \lambda^{d/(2m)})^{-1}$ とは異なる。著者らは、$\mathcal{H}^m([0,1])^{\otimes d}$ を支配的混合滑らかさを持つソボレフ空間に関連付け、テンソル積推定量がなぜ次元の呪いを回避できるのかについて、理論的な説明を提供している。
• 幅広い適用性： 本フレームワークは、損失が平滑または大域的リプシッツである必要はなく、絶対損失、分位点損失、Huber損失、エキスペクタイル損失、および有界なロバスト損失を含む幅広いクラスの損失に適用可能である。
• 数値的実装： 推定量は、表現定理と反復再重み付け最小二乗法（IRLS）（非平滑な損失に対しては局所的な二次近似を用いる）を用いてC++で実装されている。数値実験により、ロバストな推定器（LAD、Huber）は、重い裾を持つ誤差の下では最小二乗法を大幅に上回り、ガウス誤差の下でも競争力のある性能を維持することが確認されている。

意義と主張
本論文は、最小二乗法のパラダイムを超えて、RKHSにおける正則化M推定のための統一的な理論的枠組みを提供することにより、文献における重要な空白を埋めるものである。その主な意義は以下の点にある：

1. 統一性： 以前の研究は断片的であり、特定の損失とカーネルの組み合わせに制限されていたが、本研究は広範な損失関数（凸、非凸、ロバスト、非対称）を単一の理論的傘の下で扱う。
2. 新しい複雑度の尺度： 分散を支配する要因としてスペクトル複雑度 $N_\infty(\lambda)$ を導入することで、明示的な積分作用素表現が存在しない設定においても、精密なレート解析を可能にした。
3. 次元に関する洞察： テンソル積RKHSを支配的混合滑らかさを持つ空間に結び付けることで、高次元におけるテンソルベースの推定器の優れた性能に対する厳密な説明を提供し、Lin (2000) の結果を一般的な損失関数へと拡張・一般化した。
4. 方法論的革新： 漸近的線形化の手法は、閉形式の解や大域的リプシッツ条件への依存を回避し、複雑な目的関数を分析するための強力なツールを提供する。

著者らは、これらの結果を、非パラメトリック回帰のための柔軟でロバストかつ理論的に鋭い基礎を提供し、幅広い実用的な推定問題に対して明示的かつ最適な収束レートをもたらすものとして位置づけている。