How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs

기술 요약: "Deep GP는 실제로 얼마나 깊은가? 합성 GP의 날카로운 임계값과 비가우시안 극한"

1. 문제 정의

본 논문은 합성 가우시안 프로세스(compositional Gaussian process, GP) 프라이어의 깊이가 깊어짐에 따라 발생하는 점근적 거동을 조사한다. 무한 너비 신경망(wide neural networks)이 특정 깊이 의존적 커널을 가진 단일 가우시안 프로세스(GP)로 붕괴되는 것과 달리, 딥 GP는 각 층 자체가 GP인 벡터 값 GP들의 합성을 포함한다.

연구의 핵심 대상은 $n$개의 입력 점들에 대해 무작위 가우시안 함수 $G_i$를 반복 적용함으로써 유도되는 마르코프 체인이다:
$$\bar{Z}_{i+1} = G_i(\bar{Z}_i) = (G_i(\bar{Z}_{i,1}), \dots, G_i(\bar{Z}_{i,n}))$$
여기서 $G_i$는 회전 불변 RBF 커널 $k(x, x') = \exp(-\|x-x'\|^2 / (2r^2))$를 갖는 중심화된 벡터 값 GP에서 샘플링된 i.i.d. 샘플이다.

이전 연구(Dunlop et al., 2018)는 대역폭(bandwidth) $r$이 충분히 클 때, 프로세스가 **동기화(synchronize)**됨을 입증했다. 즉, 궤적 간의 쌍별 거리(pairwise distances)가 0으로 수렴하여, 프라이어가 상수 함수에 집중된 분포로 퇴화(degenerate)된다. 그러나 이 퇴화를 결정하는 정확한 임계값과 그 임계값 아래에서의 시스템 거동은 여전히 미해결 과제로 남아 있었다.

2. 방법론

저자들은 고차원 벡터 역학을 쌍별 제곱 거리(pairwise squared distances) $v_i^2 = \|\bar{Z}_{i,s} - \bar{Z}_{i,t}\|^2$를 제어하는 스칼라 마르코프 체인으로 축소하여 분석한다.

• 스칼라 축소: 깊이 $i$에서의 상태가 주어졌을 때, 깊이 $i+1$에서의 제곱 거리는 다음 재귀식을 따른다:
  $$v_{i+1}^2 = 2(1 - \phi(v_i)) X_i$$
  여기서 $\phi(t) = e^{-t^2/(2r^2)}$이고, $X_i \sim \chi^2_d$($d$ 자유도를 갖는 카이제곱 분포)이다.
• 로그-체인 분석: 저자들은 로그 변환된 체인 $L_i = \log v_i^2$를 연구한다. 0 근처에서의 국소적 거동은 로그 체인의 드리프트(drift)에 의해 결정되며, 이는 평균 증분 $\rho_d = \mathbb{E}[\log X] - 2\log r = \psi(d/2) + \log 2 - 2\log r$에 의해 결정된다 ($\psi$는 디감마 함수).
• 확률적 안정성: 저자들은 에르고드성(ergodicity), 양의 해리스 재귀성(positive Harris recurrence), 그리고 마르코프 체인의 총 변동(total variation, TV) 수렴을 확립하기 위해 포스터-리야푸노프 드리프트 기준(Foster-Lyapunov drift criteria; Meyn and Tweedie, 1993)을 사용한다.
• 비가우시안성 증명: 극한이 비가우시안임을 증명하기 위해, 저자들은 특성 함수를 사용하여 스케일링된 카이제곱 분포가 거리 재귀식의 정상 해(stationary solution)가 될 수 없음을 보여줌으로써, 위치 벡터의 결합 가우시안성을 배제한다.

3. 주요 기여 및 결과

A. 퇴화를 위한 날카로운 임계값
본 논문은 두 영역을 구분하는 날카롭고 거의 확실한(almost-sure) 임계값 $r_c(d)$를 식별한다:
$$r_c(d) = \sqrt{2} e^{\psi(d/2)/2}$$
점근적으로, $r_c(d) \sim \sqrt{d}$ (as $d \to \infty$).

• 초임계 영역 ($r > r_c(d)$): 체인은 거의 확실하게 동기화된다. 쌍별 거리 $v_i$는 $\rho_d < 0$에 의해 결정되는 속도로 지수적으로 빠르게 0으로 수렴한다. 이는 더 낮은 임계값을 식별함으로써 기존의 경계값(Dunlop et al., 2018)을 강화한다.
• 아임계 영역 ($r < r_c(d)$): 체인은 동기화되지 않는다. 쌍별 거리 체인은 $(0, \infty)$ 상에서 유일한 비자명한 정상 분포 $\pi_v$를 갖는다. 결과적으로, 전체 위치 체인 $\bar{Z}_i$는 $(\mathbb{R}^d)^n$ 상의 유일한 정상 법칙 $\pi_{\bar{Z}}$로 총 변동(TV) 수렴한다.

B. 비가우시안 극한 및 좌표 의존성
가우시안의 합성이 가우시안 극한을 낼 것이라는 직관과 달리, 저자들은 다음을 증명한다:

• 비가우시안성: 단일 좌표 $\bar{Z}_{\infty, t}$의 주변 분포(marginal distribution)는 표준 가우시안 $N(0, I_d)$이지만, 임의의 쌍 $(\bar{Z}_{\infty, s}, \bar{Z}_{\infty, t})$의 결합 분포는 가우시안이 아니다.
• 지속적인 의존성: 좌표들은 사라지지 않는 의존성을 보인다. 저자들은 기대 로그-거리(expected log-distance)에 대한 젠슨 상한 $L^*(r, d)$를 도출한다. 이 상한과 독립성 하에서의 기대값(즉, $\tilde{v}^2 \sim 2\chi^2_d$) 사이의 차이는 $r = \lambda r_c(d)$로 스케일링할 때 $d$와 무관하게 엄격히 음수이다. 이 차이는 의존성의 강도를 정량화하며, $\lambda \to 1$일 때 증가한다.

C. 경험적 검증
차원 $d \in \{1, 10, 100\}$에 걸친 수치 실험은 이론적 임계값을 검증한다.

• 다중 모드성(Multimodality): 아임계 영역에서 정상 법칙 $\pi_{\bar{Z}}$로부터 샘플링된 데이터는 t-SNE 또는 PCA를 통해 시각화했을 때 복잡하고 체인 특유의 다중 모드 구조(예: 클러스터, 스트링, 루프)를 나타낸다.
• 좁은 영역: "가시적 구조(visible-structure)" 창(의존성이 강해 독립적인 가우시안과 구별될 수 있는 구간)은 차원 $d$가 증가함에 따라 점점 더 좁아진다. $d=100$인 경우, 이 영역은 $\lambda \in (0.99, 1)$에서만 존재한다. 정밀한 이론적 임계값이 없다면, 이 영역을 경험적으로 식별하기 어려웠을 것이다.

4. 의의 및 주장

본 논문은 딥 가우시안 프로세스 프라이어에 대한 이해를 근본적으로 바꾼다고 주장한다:

1. 비자명한 극한의 존재: 딥 GP 프라이어가 반드시 상수로 퇴화하는 것은 아니며, 날카로운 임계값 $r_c(d)$ 아래에서는 풍부하고 비퇴화된 극한 분포를 가짐을 확립한다.
2. 구조적 복잡성: 이러한 극한은 본질적으로 비가우시안이며 비자명한 좌표 의존성을 가지고 있음을 보여준다. 이는 무한 너비 신경망 프라이어(NNGP)가 단일 가우시안 프로세스로 붕괴되는 것과 구별되는 지점이다.
3. 분석의 정밀도: 날카로운 임계값과 명시적인 수렴 속도를 제공함으로써, 본 연구는 딥 GP의 동기화에 관한 기존 문헌의 모호함을 해결하고, 이러한 모델의 의존성 강도를 조절하는 데 필요한 도구를 제공한다.

저자들은 자신의 논증이 RBF 커널에 특화되어 있음을 언급하며, 임계점 $r = r_c(d)$에서의 거동은 여전히 미해결 과제로 남아 있다고 밝힌다. 또한, 유한 깊이 적용을 위한 전제 조건인 정상 법칙으로의 수렴 속도는 아직 정량화되지 않았음을 강조한다.