Top Singular Value in Sum-Products of Random Matrices

기술 요약: 무작위 행렬 곱의 합에서 최상위 특이값 (Top Singular Value)

문제 정의
본 논문은 $m$개의 독립적인 $n \times n$ 무작위 행렬의 합인 $X_i$의 최상위 특이값 $s_1(X)$의 점근적 거동을 조사한다. 여기서 각 행렬 $X_i$는 $N$개의 i.i.d. $n \times n$ 가우시안 행렬의 곱이다. 구성 행렬의 성분들은 $N(0, n^{-1})$로 분포한다. 연구 대상인 정규화된 행렬은 다음과 같다:
$$X := \frac{1}{\sqrt{m}} \sum_{i=1}^m X_i, \quad \text{단, } X_i = X_{iN} \cdots X_{i1}.$$
저자들은 $N, n, m \to \infty$가 동시에 일어나는 "삼중 척도(triple-scaling)" 체제 하에서 최상위 리아푸노프 지수(top Lyapunov exponent) $\lambda_1(X) = \frac{1}{N} \log s_1(X)$를 분석한다. 이 체제는 하나의 매개변수를 고정하거나 $m=1$(단일 곱)인 경우만을 고려했던 기존 문헌의 범위를 확장한다.

방법론
증명 전략은 스펙트럼 문제를 비가우시안 에너지를 가진 랜덤 에너지 모델(Random Energy Model, REM) 연구로 환원한 후, 이를 가우시안 REM으로 엄밀하게 근사하는 것에 의존한다. 방법론은 다음과 같은 세 가지 주요 단계로 진행된다:

1. 고정된 부분 공간 및 비가우시안 REM으로의 환원:
   저자들은 최상위 특이값이 고정된 단위 벡터 $\theta \in S^{n-1}$에 대한 $X$의 작용에 의해 잘 근사됨을 먼저 입증한다. 즉, $\sup_{\theta'} \frac{1}{N} \log \|X\theta'\| \approx \frac{1}{N} \log \|X\theta\|$이다.
   행렬 곱의 첫 $N-1$개 층(layer)에 대해 조건부 확률을 적용함으로써, $\|X\theta\|^2$이 $m$개의 독립적인 항들의 합 주변으로 집중됨을 보인다. 각 항은 $\theta$에 작용하는 $N-1$개 가우시안 행렬 곱의 제곱 노름에 해당한다. Hanin과 Paouris [2021]의 결과를 사용하여, 이 항들이 i.i.d. log-chi-squared 확률 변수의 합의 지수 함수임이 식별된다. 이는 문제를 다음과 같이 비가우시안 에너지 $E_i$를 가진 REM의 로그 분배 함수(log-partition function)를 분석하는 것으로 변환한다:
   $$E = \log \left( \frac{1}{m} \sum_{i=1}^m e^{-\beta \sqrt{\log m} E_i} \right) + \text{shift},$$
   여기서 역온도(inverse temperature)는 $\beta = \frac{\sqrt{2(N-1)}}{\sqrt{n \log m}}$로 정의된다.

2. 중간 편차(Moderate Deviations)를 통한 가우시안 근사:
   에너지 $E_i$는 비가우시안(log-chi-squared 분포에서 유도됨)이므로, 저자들은 그 분포를 표준 가우시안으로 근사하기 위해 크라메르 유형의 중간 편차 정리(Cramér-type moderate deviation theorems)를 사용한다. 이 단계는 저온 체제에서 분배 함수를 지배하는 "이상치(outlier)" 에너지를 처리하는 데 매우 중요하다. 이 근사는 $\log m = o(N^{1/3})$ 및 $N = o(n^3)$라는 특정 척도 조건을 요구한다.

3. 분배 함수의 집중 부등식(Concentration Inequalities):
   저자들은 두 가지 뚜렷한 체제에서 REM의 로그 분배 함수에 대한 비점근적 집중 부등식을 도출한다:

• 초고온 체제 ($\beta = o(1)$): 여기서는 모든 구성(configuration)이 균등하게 기여한다. 저자들은 에너지의 경험적 평균(empirical average)에 마르코프 부등식을 적용한다.
• 중온 내지 저온 체제 ($\beta = \Omega(1)$): 여기서는 낮은 에너지(큰 노름)를 가진 소수의 구성이 분배 함수를 지배한다. 저자들은 바르차덴의 정리(Varadhan's lemma)를 적응시키고, 이 이상치들의 기여를 특징짓기 위해 명시적인 오차 항을 포함한 라플라스 방법(Laplace's method)을 사용한다.

주요 기여 및 결과

• 상전이(Phase Transition) 특징 규명: 본 논문은 매개변수 $\beta$가 $\sqrt{2}$ 임계값을 통과함에 따라 결정되는 최상위 특이값의 상전이를 식별한다.

  • 고온 체제 ($\beta \le \sqrt{2}$): 최상위 특이값은 전형적인 에너지를 가진 "방대한 수"의 구성들에 의해 특징지어진다. 초고온 극한($\beta = o(1)$)에서 $\log s_1(X)$는 (재정규화 후) 0에 가까우며, 이는 $\|X\theta\| \approx 1$임을 의미한다.
  • 저온 체제 ($\beta > \sqrt{2}$): 최상위 특이값은 과도하게 낮은 에너지(큰 노름)를 가진 "적은 수"의 구성들에 의해 지배된다. 극한값은 $\beta$에 대한 이차 쇠퇴(quadratic decay)를 따른다: $\log s_1(X) \approx -\frac{(\beta - \sqrt{2})^2}{4} \log m$.

• 비점근적 경계(Non-Asymptotic Bounds): 저자들은 $\log \|X\theta\|$와 $\log s_1(X)$를 REM 분배 함수 $Z$로 근사하는 것에 대한 정밀한 비점근적 오차 경계를 제공한다.

  • $\beta = o(1)$인 경우, 오차는 $\frac{\beta^2 \log m}{n}$을 포함하는 항들에 의해 제한된다.
  • $\beta = \Omega(1)$인 경우, 상대 오차는 $\frac{1}{\beta (\log m)^{1/4}}$를 포함하는 항들에 의해 제한된다.

• 기존 이론의 확장: 이 연구는 단일 행렬 곱($m=1$)의 연구와 곱의 합 사이의 간극을 메운다. Kosters와 Tikhomirov [2018]는 곱의 합의 전역 법칙(global law)이 단일 곱과 유사하다는 것을 관찰했으나, 본 논문은 $\log m$이 충분히 클 때 최상위 리아푸노프 지수가 단일 곱에서는 나타나지 않는 상전이를 보이며 근본적으로 다르게 행동함을 입증한다.

의의
본 논문은 자신의 주요 개념적 관찰이 최상위 특이값을 특정 역온도를 가진 랜덤 에너지 모델의 분배 함수와 동일시한 것임을 주장한다. 이러한 연결은 행렬 차원($n, N$)과 합의 개수($m$) 사이의 상호작용에 따라 달라지는 최상위 특이값의 복잡한 상도표(phase diagram)를 드러낸다.

결과는 삼중 척도 극한(triple-scaling limit)에서 최상위 특이값에 대한 정밀한 특징을 제공하며, 이는 이전에는 알려지지 않았던(실수 가우시안 행렬의 경우) 또는 복소수 사례나 고정된 방향으로 제한되었던 체제이다. 저자들은 자신의 결과가 고전적인 REM 결과(Derrida [1981])와 일치하지만, 온도 매개변수 $\beta$가 고정되지 않고 시스템 크기에 따라 변하여 사라지거나 발산할 수 있는 설정으로 확장되었다고 언급한다. 이 연구는 시스템이 고온에서 저온으로 이동함에 따라 최상위 특이값이 많은 구성에 대한 평균에서 희귀하고 극단적인 구성에 의해 지배되는 상태로 전이됨을 확립한다.