On Sharpened Convergence Rate of Generalized Sliced Inverse Regression for Nonlinear Sufficient Dimension Reduction

기술 요약: 비선형 충분 차원 축소를 위한 일반화된 슬라이스 역회귀의 정교해진 수렴 속도에 관하여

문제 정의
일반화된 슬라이스 역회귀(Generalized Sliced Inverse Regression, GSIR)는 예측 변수 $X$에 관한 모든 정보를 보존하면서 저차원의 표현을 복구하는 것을 목표로 하는 비선형 충분 차원 축소(Sufficient Dimension Reduction, SDR)의 주요 방법론이다. GSIR은 예측 변수의 차원 $p$와 무관한 수렴 속도를 달성함으로써 차원의 저주를 피하지만, 기존 문헌(Li & Song, 2017)에서 확립된 수렴 속도는 최적의 조건 하에서도 $O(n^{-1/4})$로 제한되어 있다. 이 속도는 종종 하위 준모수적 추정(semiparametric estimation) 문제에서 불충분한데, 무한 차원의 교란 매개변수(nuisance parameters)를 추정하는 경우 점근적 효율성이나 관심 매개변수의 $n^{-1/2}$ 속도를 보장하기 위해 일반적으로 $n^{-1/4}$보다 빠른 수렴 속도가 필요하기 때문이다.

방법론 및 프레임워크
본 논문은 재생 커널 힐베르트 공간(Reproducing Kernel Hilbert Space, RKHS) 프레임워크 내에서 작동한다. 저자들은 회귀 연산자 $R_{XY} = \Sigma_{XX}^\dagger \Sigma_{XY}$를 고려한다. 여기서 $\Sigma_{XX}$와 $\Sigma_{XY}$는 각각 공분산 및 교차 공분산 연산자이다. 목표는 중심 $\sigma$-필드(central $\sigma$-field)를 생성하는 이 연산자의 치역(range)을 추정하는 것이다.

저자들은 두 가지 GSIR 변형을 분석한다:

1. GSIR-I: $M = R_{XY}R_{XY}^*$의 고유값 문제에 기반함.
2. GSIR-II: M' = R'_{XY}R'_{XY}^*의 고유값 문제에 기반하며, 여기서 $R'_{XY} = \Sigma_{XX}^{\dagger 1/2}\Sigma_{XY}$이다.

수렴 속도를 개선하기 위해, 본 논문은 공분산 연산자 $\Sigma_{XX}$의 고유값 붕괴에 관한 추가적인 가정(가정 9)을 도입하며, 이는 $\alpha > 1$인 $\lambda_j \asymp j^{-\alpha}$를 상정한다. 이 가정은 $X$와 $Y$ 사이의 관계에 관한 매끄러움 조건(매개변수 $\beta$를 포함하는 가정 10)과 결합되어, 티코노프 정규화 추정량(Tikhonov regularized estimators)의 정교한 분석을 가능하게 한다. 분석은 비선형 함수-대-함수 회귀(nonlinear function-on-function regression)에 관한 Sang & Li (2026)의 기법을 활용하되, 잔차와 예측 변수 사이의 독립성 가정을 요구하지 않고 SDR 설정에 맞게 조정하였다.

주요 기여 및 결과
본 논문의 주요 기여는 GSIR-I 및 GSIR-II 모두에 대해 정교해진 수렴 속도를 확립한 것이다.

1. 개선된 수렴 속도: 고유값 붕괴 가정($\alpha > 1$)과 매끄러움 조건 하에서, 추정된 충분 예측 변수의 수렴 속도는 다음과 같이 나타난다:
   $$O\left(n^{-1/2}\epsilon_n^{(\beta \wedge 1)-1} + \epsilon_n^{\beta \wedge 1} + n^{-1}\epsilon_n^{-(3\alpha+1)/(2\alpha)} + n^{-1/2}\epsilon_n^{-(\alpha+1)/(2\alpha)}\right)$$
   여기서 $\epsilon_n$은 정규화 시퀀스이다.

2. 최적 속도: $\epsilon_n \asymp n^{-\delta}$인 최적의 $\epsilon_n$ 선택을 최적화함으로써, 본 논문은 최적 수렴 속도 $\rho_{opt}$를 도출한다:

   • 만약 $\beta > \frac{\alpha-1}{2\alpha}$이면, $\rho_{opt} = O(n^{-\frac{\alpha(\beta \wedge 1)}{2\alpha(\beta \wedge 1) + \alpha + 1}})$.
   • 만약 $\beta \le \frac{\alpha-1}{2\alpha}$이면, $\rho_{opt} = O(n^{-\beta/2})$.

3. 기존 연구와의 비교: $\beta \ge 1$이고 $\alpha$가 임의로 큰 조건 하에서, 최적 속도는 $O(n^{-1/3})$에 근접한다. 이는 고유값 붕괴 가정을 활용하지 않았던 Li & Song (2017)에서 확립된 $O(n^{-1/4})$ 속도보다 유의미한 개선이다.

4. 변형 간의 동등성: 본 논문은 서로 다른 정규화 방식($(\hat{\Sigma}_{XX} + \epsilon_n I)^{-1}$ 대 $(\hat{\Sigma}_{XX} + \epsilon_n I)^{-1/2}$)으로 인해 연산자의 중간 수렴 속도는 약간 다르지만, 충분 예측 변수에 대한 최종 수렴 속도는 두 방법 모두 동일함을 입증한다.

5. 함수형 데이터로의 확장: 결과는 $X$와 $Y$가 힐베르트 공간 내의 확률 함수인 함수형 SDR(f-GSIR) 설정으로 직접 확장될 수 있음을 보여준다.

의의
본 논문은 이러한 정교해진 수렴 속도가 준모수적 추론에 있어 매우 중요하다고 주장한다. 무한 차원의 교난 매개변수를 포함하는 문제에서, 기존 GSIR의 $n^{-1/4}$ 속도는 원하는 준모수적 성질(예: 점근적 효율성)을 보장하기에 너무 느린 경우가 많다. $n^{-1/4}$보다 빠른 수렴이 가능한 개선된 속도는 $n^{-1/3}$에 접근할 수 있어, GSIR을 보다 엄격한 준모수적 맥락에서 사용할 수 있게 한다. 또한, 이 속도는 예측 변수의 차원 $p$에 독립적으로 유지되어, 차원의 저주를 완화하는 방법론으로서의 능력을 보존한다.