High-dimensional analysis of ridge regression for non-identically distributed data with a variance profile

기술 요약: 분산 프로파일을 가진 비동일 분포 데이터에 대한 릿지 회귀의 고차원 분석

문제 제기
고차원 선형 회귀는 예측 변수가 독립적이고 동일하게 분포되어 있다는 (iid) 가정 하에 광범위하게 분석되어 왔습니다. 그러나 많은 실제 시나리오에서 데이터는 예측 변수의 분산이 샘플과 특징 간에 변하는 이분산성을 나타내어, iid 가정을 위반합니다. 본 논문은 예측 변수의 수 $p$와 관측치의 수 $n$이 비례하는 비율로 무한대로 증가하지만 ($p/n \to c > 0$), 데이터는 독립적이지만 동일하게 분포되어 있지 않은 (non-iid) 고차원 영역에서 릿지 회귀의 통계적 성질을 다룹니다. 구체적으로, 저자들은 예측 변수 행렬 $X_n$을 iid 항목을 가진 행렬과 결정론적 분산 프로파일 행렬 $\Upsilon_n$의 하마드곱 (Hadamard product) 으로 모델링하며, $X_n = \Upsilon_n \circ Z_n$입니다. 목표는 이러한 일반적인 분산 프로파일 하에서 릿지 추정량의 예측 위험, 훈련 위험, 그리고 자유도 (DOF) 에 대한 결정론적 동치 (deterministic equivalents) 를 유도하고, 이러한 프로파일들이 "더블 드센트 (double descent)" 곡선과 같은 현상에 어떻게 영향을 미치는지 조사하는 것입니다.

방법론
이 분석은 분산 프로파일을 가진 대규모 임의 행렬의 스펙트럼 분포에 관한 결과를 확장하는 임의 행렬 이론 (RMT) 의 도구에 의존합니다.

1. 모델 설정: 저자들은 회귀 계수 $\beta^*$가 평균 0 과 공분산 $\alpha^2 I_p/n$을 갖는 확률적 효과 모델을 고려합니다. 예측 변수는 $X_n = \Upsilon_n \circ Z_n$으로 모델링되며, 여기서 $Z_n$은 단위 분산을 갖는 iid 중심 항목을 가지며, $\Upsilon_n$은 결정론적 분산 스케일링 인자를 포함합니다. 분산 프로파일은 $\Gamma_n = (\gamma_{ij}^2)$에 의해 지배됩니다.
2. 해석자 (Resolvent) 분석: 방법론의 핵심은 해석자 행렬 $Q_p(z) = (\hat{\Sigma}_n - zI_p)^{-1}$와 $\tilde{Q}_n(z) = (\tilde{\Sigma}_n - zI_n)^{-1}$의 연구이며, 여기서 $\hat{\Sigma}_n$과 $\tilde{\Sigma}_n$은 경험적 공분산 행렬입니다.
3. 결정론적 동치: Hachem, Loubaton, Najim [HLN07] 의 작업에 기반하여, 저자들은 해석자 행렬의 대각 항목이 결정론적 대응물로 수렴함을 입증합니다. 그들은 해석자의 대각 행렬 $\Delta[Q_p(z)]$가 고정점 방정식 (Dyson 방정식) 의 시스템에 대한 해인 결정론적 대각 행렬 $T_p(z)$와 동치임을 증명합니다. 이는 일반적으로 위험 분석에 필요한 대각 항목이 아닌 정규화된 대각합 (Stieltjes 변환) 에 초점을 맞춘 이전의 RMT 결과를 확장한 것입니다.
4. 위험 분해: 이러한 결정론적 동치들을 사용하여, 저자들은 점근적 예측 위험 $\hat{r}^{test}_{\lambda}$와 훈련 위험 $\hat{r}^{train}_{\lambda}$뿐만 아니라 일반화 교차 검증 (GCV) 기준에 대한 명시적 표현식을 유도합니다.

주요 기여

1. 비-iid 데이터에 대한 결정론적 동치: 본 논문은 일반적인 분산 프로파일이 존재하는 상황에서 릿지 회귀의 자유도와 예측 위험에 대한 최초의 결정론적 동치를 제공합니다. 인구 공분산에 의존하는 iid 경우와 달리, 여기서는 Dyson 방정식의 해를 통해 분산 프로파일 $\Gamma_n$의 특정 구조에 의존합니다.
2. 최적 정규화 매개변수: 저자들은 예측 위험을 최소화하는 최적의 정규화 매개변수 $\lambda^*$가 모든 분산 프로파일에서 보편적이며 $\lambda^* = \sigma^2 p / (\alpha^2 n)$으로 주어짐을 증명합니다. 이 결과는 표준 iid 설정 [DW18] 에서 발견된 최적 스케일링과 일치하여, 이분산성에 대한 이 축소 (shrinkage) 매개변수의 견고성을 보여줍니다.
3. 더블 드센트의 일반화: 본 연구는 최소 노름 최소 제곱 추정량 ($\lambda \to 0$의 극한) 의 거동을 조사합니다.
   • 준 이중 확률적 (quasi doubly stochastic) 분산 프로파일 (분산 프로파일의 행 및 열 합이 일정한 경우) 의 경우, 예측 위험은 iid 데이터에서 관찰된 고전적인 더블 드센트 현상을 회복합니다.
   • 일반적인 분산 프로파일의 경우, 논문은 예측 위험의 형태가 더블 드센트에서 크게 벗어날 수 있음을 보여줍니다. 수치 실험은 특정 프로파일 (예: 구간별 상수, 블록, 다항식 프로파일) 에 대해 "트리플 드센트 (triple descent)"와 심지어 "쿼드러플 드센트 (quadruple descent)" 현상의 출현을 드러냅니다.
4. 혼합 모델과의 연결: 이 프레임워크는 혼합 모델 (예: 잠재 클래스 변수) 에서 생성된 데이터에 적용되어, 데이터가 서로 다른 공분산 구조를 가진 하위 집단에서 나올 때 분산 프로파일이 어떻게 자연스럽게 발생하는지 보여줍니다.

결과

• 위험 공식: 예측 위험은 신호 강도 $\alpha$, 잡음 분산 $\sigma^2$, 종횡비 $c$, 그리고 결정론적 동치 $T_p(z)$를 통한 분산 프로파일 $\Gamma_n$의 함수인 결정론적 극한 $r^{test}_{\lambda}$로 거의 확실하게 수렴하는 것으로 나타났습니다.
• 최적성: 부록 3.1 은 분산 프로파일과 무관하게 $\lambda^* = \sigma^2 p / (\alpha^2 n)$이 경험적 및 결정론적 예측 위험 모두를 최소화함을 확인합니다.
• 위험 지형: 최적의 $\lambda^*$가 보편적이지만, $\lambda=0$일 때 종횡비 $c = p/n$의 함수로서의 위험 곡선 형태는 프로파일 의존적입니다.
  • 준 이중 확률적 경우에서, 위험은 $c < 1$에서 증가하고 $c=1$에서 정점을 찍으며 $c > 1$에서 감소하는 표준 더블 드센트를 보입니다.
  • 비확률적 경우 (예: 블록 또는 구간별 상수 프로파일) 에서는 위험이 여러 개의 정점 (트리플 또는 쿼드러플 드센트) 을 보일 수 있습니다. 저자들은 이러한 거동을 경험적 공분산 행렬의 스펙트럼 특성, 특히 보간 임계값 근처의 가장 작은 0 이 아닌 고유값의 거동과 연결합니다.
• 수치적 검증: Pareto 및 가우시안 분포를 사용한 광범위한 수치 실험은 유도된 결정론적 동치의 정확성을 확인합니다. 이론적 곡선은 다양한 분산 프로파일에 걸쳐 경험적 위험 및 GCV 기준과 밀접하게 일치합니다.

의의
본 논문은 제한적인 iid 가정을 넘어 고차원 릿지 회귀에 대한 이론적 이해를 확장한다고 주장합니다. 비-iid 데이터에 대한 결정론적 동치를 제공함으로써, 이질적인 환경에서의 성능을 예측하는 "미적분"을 제공합니다. 이 작업은 최적의 정규화 스케일링이 견고 (보편적) 하지만, 일반화 지형 (특히 더블 드센트 현상) 은 근본적인 분산 구조에 민감함을 강조합니다. 이는 더블 드센트 현상이 고차원 회귀의 보장된 특징이 아니라 데이터의 특정 분산 프로파일에 의존하는 속성임을 보여줌으로써 그 보편성에 도전합니다. 이러한 결과는 혼합 모델과 같은 복잡한 환경에서의 회귀 분석을 위한 이론적 기초를 제공하고, 이분산성 존재 하에서 모델 선택 (GCV 를 통해) 을 위한 도구를 제공합니다.