On Sharpened Convergence Rate of Generalized Sliced Inverse Regression for Nonlinear Sufficient Dimension Reduction

技術要約：非線形十分次元削減のための一般化スライス逆回帰における収束速度の鋭角化について

問題提起
一般化スライス逆回帰（GSIR）は、予測変数 $X$ に関する $Y$ に関するすべての情報を保持する低次元表現を復元することを目的とした、非線形十分次元削減（SDR）の主要な手法である。GSIRは、予測次元 $p$ に依存しない収束速度を達成することで「次元の呪い」を回避するが、先行研究（Li & Song, 2017）で確立された収束速度は、最適条件下でも $O(n^{-1/4})$ に制限されている。この速度は、無限次元の迷惑パラメータの推定が漸近的効率性や $n^{-1/2}$ の速度を保証するために $n^{-1/4}$ より速い収束速度を必要とする、典型的な半パラメトリック推定問題においては不十分であることが多い。

手法およびフレームワーク
本論文は、再生核ヒルベルト空間（RKHS）の枠組み内で動作する。共分散演算子 $\Sigma_{XX}$ および $\Sigma_{XY}$ に対する回帰演算子 $R_{XY} = \Sigma_{XX}^\dagger \Sigma_{XY}$ を検討する。目標は、中心的な $\sigma$-集合体を生成するこの演算子の値域を推定することである。

著者らは、以下の2つのGSIRのバリアントを分析している：

1. GSIR-I: $M = R_{XY}R_{XY}^*$ の固有値問題に基づく。
2. GSIR-II: M' = R'_{XY}R'_{XY}^* の固有値問題に基づく。ここで $R'_{XY} = \Sigma_{XX}^{\dagger 1/2}\Sigma_{XY}$ である。

改善された速度を導出するために、本論文は共分散演算子 $\Sigma_{XX}$ の固有値の減衰に関する追加の仮定（仮定9）を導入しており、$\lambda_j \asymp j^{-\alpha}$ （ただし $\alpha > 1$）であることを仮定している。この仮定は、 $X$ と $Y$ の関係に関する滑らかさの条件（$\beta$ を含む仮定10）と組み合わされ、ティコノフ正則化推定量の精緻な分析を可能にする。この分析は、Sang & Li (2206) による関数対関数回帰のテクニックを活用しているが、残差と予測変数の間の独立性の仮定を必要とせずに、SDRの設定に適応させている。

主な貢献および結果
主要な貢献は、GSIR-IおよびGSIR-IIの両方に対する鋭角化された収束速度の確立である。

1. 改善された収束速度: 固有値減衰仮定（$\alpha > 1$）および滑らかさの条件の下で、推定された十分な予測変数の収束速度は以下のように示される：
   $$O\left(n^{-1/2}\epsilon_n^{(\beta \wedge 1)-1} + \epsilon_n^{\beta \wedge 1} + n^{-1}\epsilon_n^{-(3\alpha+1)/(2\alpha)} + n^{-1/2}\epsilon_n^{-(\alpha+1)/(2\alpha)}\right)$$
   ここで $\epsilon_n$ は正則化シーケンスである。

2. 最適速度: $\epsilon_n \asymp n^{-\delta}$ という正則化シーケンスの選択を最適化することにより、本論文は最適収束速度 $\rho_{opt}$ を導出している：

   • $\beta > \frac{\alpha-1}{2\alpha}$ の場合、$\rho_{opt} = O(n^{-\frac{\alpha(\beta \wedge 1)}{2\alpha(\beta \wedge 1) + \alpha + 1}})$。
   • $\beta \le \frac{\alpha-1}{2\alpha}$ の場合、$\rho_{opt} = O(n^{-\beta/2})$。

3. 先行研究との比較: $\beta \ge 1$ かつ $\alpha$ が任意に大きいという条件下では、最適速度は $O(n^{-1/3})$ に近づく。これは、固有値減衰仮定を利用していなかった Li & Song (2017) によって確立された $O(n^{-1/4})$ の速度に対する重要な改善である。

4. バリアント間の等価性: 本論文は、異なる正則化スキーム（$(\hat{\Sigma}_{XX} + \epsilon_n I)^{-1}$ 対 $(\hat{\Sigma}_{XX} + \epsilon_n I)^{-1/2}$）により演算子の中間収束速度はわずかに異なるものの、十分な予測変数の最終的な収束速度は両方の手法で同一であることを示している。

5. 関数データへの拡張: これらの結果は、$X$ と $Y$ がヒルベルト空間内のランダム関数である関数的SDR（f-GSIR）の設定に直接拡張できることが示されている。

意義
本論文は、この鋭角化された収束速度が半パラメトリック推論において極めて重要であると主張している。無限次元の迷惑パラメータを含む問題において、元のGSIRの $n^{-1/4}$ という速度は、望ましい半パラメトリック特性（漸近的効率性など）を確保するにはしばしば遅すぎる。$n^{-1/3}$ に近づくことができる改善された速度は、$n^{-1/4}$ より速い収束という要件を満たしており、これにより、より厳密な半パラメトリックの文脈でのGSIRの使用を可能にしている。さらに、この速度は予測次元 $p$ に依存しないままであり、「次元の呪い」を軽減するという同手法の能力を維持している。