Quadratic form of heavy-tailed self-normalized random vector with applications in $\alpha$-heavy Mar\v cenko--Pastur law

1. 연구 배경 및 문제 정의

• 연구 대상: $n$ 개의 독립 동일 분포 (i.i.d.) 실수 성분을 가진 랜덤 벡터 $x = (X_1, \dots, X_n)^\top$와 이를 단위 구 (unit sphere) 위에 정규화한 벡터 $y = x/\|x\|_2$를 고려합니다.
• 분포 가정: $X_i$는 $\alpha$-안정 분포 ($\alpha \in (0, 2)$) 의 영역에 속하는 꼬리가 두꺼운 (heavy-tailed) 분포를 따릅니다. 즉, 분산이 무한대인 경우를 다룹니다.
• 핵심 문제:
  1. $y$와 (랜덤하거나 결정론적인) 에르미트 행렬 $A_n$에 대한 이차 형식 (Quadratic Form) $Q_n = y^\top A_n y$의 점근적 분포 법칙을 규명하는 것.
  2. 이 결과를 고차원 통계학 및 랜덤 행렬 이론에 적용하여, 꼬리가 두꺼운 표본 상관 행렬의 고유값 분포인 $\alpha$-무거운 Marčenko-Pastur (MP) 법칙 ($H_{\alpha, \gamma}$) 의 성질, 특히 원자 (atom, 점 질량) 의 존재 여부를 규명하는 것.
• 기존 연구의 한계: 기존 연구들은 주로 분산이 유한한 경우 (경량 꼬리, light-tailed) 에 집중되어 왔으며, Hanson-Wright 부등식 등을 통해 이차 형식이 평균으로 집중됨을 보였습니다. 그러나 분산이 무한대인 경우 ($\alpha < 2$), 분모의 정규화 항이 평균으로 수렴하지 않아 기존 접근법이 적용되지 않으며, 이차 형식의 극한 분포가 명확히 규명되지 않았습니다.

2. 주요 방법론

• 대각선과 비대각선 성분의 분리:
  • 이차 형식 $Q_n$을 대각선 부분 ($Q_{n,1} = y^\top \text{diag}(A_n)y$) 과 비대각선 부분 ($Q_{n,2} = y^\top (A_n - \text{diag}(A_n))y$) 으로 분해합니다.
  • Proposition 2.3: $\alpha \in (0, 2)$인 경우, 비대각선 부분의 기여도 ($Q_{n,2}$) 는 프로베니우스 노름 조건 하에서 확률적으로 0 으로 수렴함을 보입니다. 즉, 극한 분포는 오직 대각선 성분에 의해 결정됩니다.
• 혼합 모멘트 (Mixed Moments) 의 점근적 분석:
  • 자기 정규화 벡터 $y$의 성분에 대한 혼합 모멘트 $\beta_{2k_1, \dots, 2k_r}$의 점근적 거동을 Lemma 2.1 을 통해 유도합니다. 경량 꼬리 분포에서는 $n^{-(k_1+\dots+k_r)}$ 차수인 반면, 두꺼운 꼬리 분포에서는 $n^{-r}$ 차수로 감소하여 대각선 성분의 우세함을 수학적으로 증명합니다.
• Stieltjes 변환 (Stieltjes Transform) 을 통한 극한 법칙 유도:
  • 대각선 성분이 유계일 때 (Theorem 2.4) 와 무계일 때 (Theorem 2.12) 에 대해 $Q_{n,1}$의 극한 분포 $\mu_{\nu, \alpha}$를 유도합니다.
  • 이 분포는 대각선 원소들의 경험적 분포 $\nu$와 지수 $\alpha$에 의해 결정되며, 그 Stieltjes 변환 $s_{\mu_{\nu, \alpha}}(z)$는 명시적인 적분 형태로 표현됩니다.
• 랜덤 행렬 이론 적용 (Resolvent 접근법):
  • 표본 상관 행렬 $R_n = YY^\top$의 극한 스펙트럼 분포 (LSD) 를 분석하기 위해, Resolvent $B_n(z) = (Y^\top Y - zI)^{-1}$의 대각선 원소들의 극한 분포를 랜덤 함수 $\psi(z)$로 정의합니다.
  • Theorem 2.4 의 결과를 Resolvent 대각선 원소의 분포에 적용하여, $\alpha$-무거운 MP 법칙 $H_{\alpha, \gamma}$의 Stieltjes 변환에 대한 암시적 표현식 (Implicit Representation) 을 유도합니다 (Theorem 3.3).

3. 주요 결과 및 기여

가. 이차 형식의 극한 분포 (Theorem 2.4, 2.12)

• 결과: $n^{-1}\sum \delta_{a_{ii}^{(n)}}$이 확률 측도 $\nu$로 약수렴할 때, $Q_n$은 Stieltjes 변환이 다음과 같은 비퇴화 분포 $\mu_{\nu, \alpha}$로 수렴합니다.
  $$s_{\mu_{\nu, \alpha}}(z) = -\frac{\int (z-x)^{\frac{\alpha}{2}-1} \nu(dx)}{\int (z-x)^{\frac{\alpha}{2}} \nu(dx)}$$
• 특징:
  • $\mu_{\nu, \alpha}$는 $\nu$가 비퇴화 (non-degenerate) 일 경우 원자 (atom) 가 없으며, 절대연속 확률 밀도 함수를 가집니다.
  • $\alpha \to 2$일 때, 분포는 퇴화되어 평균으로 수렴하며 (경량 꼬리 경우와 일치), $\alpha \to 0$일 때는 $\nu$ 자체로 수렴합니다.
  • 명시적인 밀도 함수 $f_{\nu, \alpha}(x)$를 유도했습니다.

나. $\alpha$-무거운 Marčenko-Pastur 법칙의 원자 부재 (Proposition 3.5)

• 문제: 기존 연구 [14] 에서는 $\alpha \to 0$일 때 분포가 0 이 증가된 포아송 분포 (이산적 원자 존재) 로 수렴함이 알려져 있었으나, 일반적인 $\alpha \in (0, 2)$ 구간에서 LSD 가 연속적인지, 혹은 원자가 존재하는지 불명확했습니다.
• 해답: 본 논문은 $\alpha \in (0, 2)$인 경우, $H_{\alpha, \gamma}$는 0 을 제외하고 양의 실수선 상에 어떤 원자 (점 질량) 도 갖지 않는다는 것을 증명했습니다.
• 증명 전략: Resolvent 대각선 원소의 극한 분포 $\psi(z)$를 이용한 Stieltjes 변환 표현식 (3.1) 을 사용했습니다. 만약 $u > 0$에 원자가 존재한다면, $z \to u$일 때 Stieltjes 변환의 점근적 거동이 모순을 일으킨다는 것을 보였습니다. 이는 경량 꼬리 경우의 국소 법칙 (local law) 이 성립하지 않는 상황에서도 유효한 새로운 증명 기법입니다.

다. 느리게 변하는 꼬리 (Slowly varying tails, $\alpha = 0$) 의 경우

• $\alpha = 0$인 경우 (분산이 무한대이지만 $\alpha$-안정 분포의 경계), 벡터 $y_i$는 단위 벡터 $e_k$ 중 하나로 거의 수렴함을 보였습니다 (Lemma 3.6).
• 이를 통해 $\alpha = 0$일 때의 LSD 가 0 이 증가된 포아송 분포 (Zero-inflated Poisson distribution) 임을 재증명하고, 이 분포가 $R_n$의 극한 분포임을 보였습니다 (Theorem 3.9).

라. Hanson-Wright 부등식 (부록)

• $\xi$가 서브-가우스 (sub-Gaussian) 인 경우, $y^\top A_n y$에 대한 Hanson-Wright 유형의 집중 부등식을 제공하여, 두꺼운 꼬리 경우와의 대비를 명확히 했습니다.

4. 의의 및 결론

1. 이론적 공헌: 분산이 무한대인 고차원 데이터에서 자기 정규화 벡터의 이차 형식이 어떻게 행동하는지에 대한 최초의 체계적인 극한 이론을 정립했습니다. 이는 대각선 성분이 지배적이라는 'Sharp Separation' 현상을 rigorously 증명했습니다.
2. 랜덤 행렬 이론의 확장: $\alpha$-무거운 MP 법칙의 구조적 성질 (원자의 부재) 을 규명함으로써, 무거운 꼬리 분포를 가진 데이터의 공분산/상관 행렬 스펙트럼 분석에 대한 이해를 심화시켰습니다. 특히, $\alpha \in (0, 2)$ 구간이 연속 분포를 가지며, $\alpha=0$에서만 이산적 원자가 발생하는 '전이 현상'을 명확히 했습니다.
3. 응용 가능성: 금융 공학 (꼬리가 두꺼운 자산 수익률), 신호 처리, 고차원 통계 추정 등 실제 데이터에서 흔히 관찰되는 무거운 꼬리 현상을 가진 고차원 모델링에 이론적 기반을 제공합니다.

요약하자면, 이 논문은 무거운 꼬리 분포를 가진 고차원 데이터의 자기 정규화 벡터에 대한 이차 형식의 극한 행동을 규명하고, 이를 통해 랜덤 행렬 이론의 중요한 미해결 문제 중 하나인 $\alpha$-무거운 MP 법칙의 원자 부재를 증명함으로써 해당 분야의 이론적 토대를 강화했습니다.