기술 요약: 변분 심층 가우시안 프로세스의 사후 붕괴, 매개변수화 및 초기화에 관한 분석

1. 문제 정의

심층 가우시안 프로세스(Deep Gaussian Processes, DGPs)는 복잡하고 비선형적인 데이터 패턴을 포착하기 위해 여러 계층에 걸쳐 가우시안 프로세스(GP)를 결착시킨 계층적 확률 모델이다. 그러나 DGPs에서 정밀한 베이지안 추론은 계산적으로 불가능하며, 이에 따라 변분 추론(Variational Inference, VI), 특히 이중 확률 변분 추론(Doubly Stochastic Variational Inference, DSVI) 알고리ഷ്യ즘의 사용이 필수적이다.

DSVI를 통한 DGP 학습의 핵심 과제는 **사후 붕괴(posterior collapse)**이다. 이는 변분 사후 분포가 사전 분포로 붕괴하는 현상을 의미한다. DGP의 맥락에서 이는 모델이 관측된 데이터를 완전히 노이즈로 설명하도록 학습하여, 결과적으로 기저의 신호를 포착하지 못하게 됨을 의미한다.

본 논문은 DSVI 프레임워크에서 사후 붕괴의 빈번한 발생이 다음 두 가지 일반적인 설계 선택과 강력하게 연관되어 있음을 식별한다:

1. 내부 계층에서 제로(ZERO) 사전 평균 함수를 사용하고, 변분 평균을 0($m=0$)으로 초기화하는 것.
2. 변분 매개변수(특히 변분 공분산 $S$와 노이즈 매개변수 $\sigma^2$)의 초기화.

커뮤니티에서는 이러한 문제를 완화하기 위해 내부 계층에 선형(PCA) 사전 평균 함수를 사용하는 방식을 널리 채택해 왔으나, 기존의 믿음은 매우 깊은 DGP(입력에서 출력으로의 매핑이 비단사적(non-injective)이 되는 경우)에서 "비단사적 병리 현상"을 피하기 위해 이 선택이 필수적이라는 것이었다. 본 논문은 이러한 가설에 이의를 제기하며, PCA 사전 평균의 성공이 건축적 필요성 때문이 아니라 초기 단계에서 최적화 지형(optimization landscape)을 조절하는 방식 때문이라고 주장한다.

2. 방법론 및 분석

2.1 사후 붕괴의 이론적 분석

저자들은 토이 회귀 문제를 사용하여 초기 단계에서의 DGP 학습 역학을 분석하고 좌표 업데이트 시뮬레이션을 수행한다. 이를 통해 다음을 입증한다:

• 가상 데이터셋 효과 (Virtual Dataset Effect): $m=0$으로 초기화된 ZERO 사전 평균을 가진 DGP의 경우, 내부 계층의 출력(다음 계층의 입력이 됨)은 모든 훈련 입력에 대해 0에 가깝게 형성된다. 결과적으로 최종 계층은 $\{(0, y_n)\}$ 형태의 "가상 데이터셋"을 보게 된다. 최종 계층의 입력이 원래의 입력 $x_n$과 무관하게 상수(0)이므로, 모델은 $x$와 $y$ 사이의 매핑을 학습할 수 없다.
• 최적화 병리 현상 (Optimization Pathology): 이러한 조건 하에서 증거 하한(ELBO) 내의 기대 로그 가능도(ELL) 항을 최대화하기 위해, 옵티마이저는 타겟 $y_n$을 순수 노이즈로 설명하도록 노이즈 분산 $\sigma^2$을 높이는 방향으로 유도된다. 동시에, 변분 매개변수를 사전 분포와 일치시킴으로써($m=0, S=K_{ZZ}$) 쿨백-라이블러 발산(KLD)을 최소화하며, 이는 사후 붕계로 이어진다.
• PCA 사전 평균의 역할: PCA 사전 평균(사전 평균이 항등 함수 또는 PCA 투영인 경우)을 가진 DGP는 내부 계층 출력을 입력 $x_n$에 가깝게 초기화한다. 이는 "가상 데이터셋"이 상수 0 벡터로 붕괴하는 것을 방지하여, ELL 항이 변분 매개변수를 사전 분포로부터 멀어지도록 업데이트하는 유의미한 그래디언트를 제공할 수 있게 한다.

2.2 매개변수화 분석

본 논문은 세 가지 일반적인 DGP 매개변수화를 평가한다:

1. 표준 비백화(Standard Non-Whitened): GPYTORCH 및 GPJAX와 같은 라이브러리에서 사용됨.
2. 백화(Whitened): 유도점(inducing point) 값들이 평균 0, 분산 1을 갖도록 변환된 재매개변수화($p(v) = \mathcal{N}(0, I)$).
3. 재매개변수화된 평균을 가진 비백화(Non-Whitened with Reparameterized Mean): GPFLOW에서 사용되며, 여기서 변분 평균은 변분 평균과 사전 평균의 차이($m_r = m - \mu_Z$)로 정의된다.

주요 발견:

• 사후 붕괴: 초기화가 최종 계층에서 제로-입력 신호를 유발한다면 모든 매개변수화에서 붕괴가 발생할 수 있다. 매개변수화 자체가 근본 원인은 아니다.
• 최적화 안정성: 백화 매개변수화가 일관되게 더 안정적인 수렴을 제공한다. 저자들은 이를 사전 유도 상관관계(prior-induced correlations)의 제거 덕분으로 보며, 이로 인해 더 좋은 조건의 그래디언트와 유도점 위치($Z$)에 덜 의존하는 헤시안(Hessian)을 얻게 된다.
• 재매개변수화된 평균: GPFLOW의 재매개변수화는 표준 비백화 형태보다 본질적으로 안정성을 개선하지는 않지만, PCA 사전 평균과 상호작용하여 표준 형태보다 사후 붕괴를 더 효과적으로 완화한다.

2.3 제안된 초기화 전략

최적화 기반의 건축적 제약(즉, 선형 사전 평균 강제) 없이 근본 원인(최적화 유도 제약)을 해결하기 위해, 저자들은 ZERO 사전 평균 DGPs를 위한 원칙적인 초기화 체계를 제안한다.

핵심 아이디어는 ZERO 사전 평균 DGP의 변분 매개변수를 초기화할 때, 그 예측 분포가 초기 단계에서 PCA 사전 평균 DGP의 예측 분포를 **모방(mimic)**하도록 하는 것이다.

• 메커니즘: 저자들은 예측 평균이 항등 함수(또는 PCA 투영)와 일치하도록 초기 변분 평균($m, m_v, m_r$)을 구하는 선형 방정식 시스템을 도출한다.
• 출력 계층 초기화: 이 전략을 출력 계층으로 확장하여, 변분 평균이 0에서 시작하는 대신 유도점에서 관측된 타겟 $y$를 직접 예측하도록 초기화한다.
• 커널 길이 척도 (Kernel Length-scale): 초기 예측 분포가 데이터를 대표할 수 있도록, 검증 스플릿(validation split)에 대한 초기화된 모델의 평균 제곱근 오차(RMSE)를 최소화함으로써 초기 커널 길이 척도($\ell$)를 선택하는 휴리스틱을 제안한다.

3. 주요 기여

1. PCA 사전 평균의 재해석: 본 논문은 DGP에서 선형(PCA) 사전 평균 함수의 효과가 비단사적 병리 현상을 피하기 위함이 아니라, 초기 단계에서 최적화 지형을 조절하는 능력에서 기인함을 입증한다.
2. 사후 붕괴 진단: 저자들은 표준 변분 매개변수 초기화($m=0$)와 내부 계층 평균 함수 사이의 상호작용으로 인해 발생하는 사후 붕괴에 대한 엄격한 분석을 제공하며, 데이터가 노이즈로 설명되는 국소 최적해(local optimum) 문제를 규명한다.
3. 매개변수화 분석: 백화, 표준 비백화, 재매개변수화된 비백화 DGP의 뚜렷한 최적화 동작을 명확히 하며, 왜 백화가 더 안정적인 수렴을 제공하는지에 대한 첫 번째 상세한 설명을 제공한다.
4. 새로운 초기화 체계: ZERO 사전 평균 DGPs를 위한 계산 효율적인 초기화 전략을 제안한다. 이를 통해 (즉, 선형 사전 평균을 강제하는) 최적화 기반의 건축적 제약 없이도 원칙적인 ZERO 평균 사전 분포 하에서 DGP를 성공적으로 학습할 수 있다.

4. 실험 결과

제안된 방법은 합성 토이 데이터셋과 8개의 실제 UCI 회귀 벤치마크를 통해 검증되었다.

• 토이 데이터셋: 시각화를 통해 ZERO 사전 평균 DGP가 표준 초기화 시, 특히 유도점이 적거나 구조가 깊을 때 사후 붕괴를 겪음을 확인했다. 제안된 초기화는 이러한 붕괴를 성공적으로 방지하고 PCA 사전 평균 모델과 대등한 예측 분포를 생성했다.
• UCI 벤치마크:
  • ZERO 사전 평균과 표준 초기화를 가진 DGP는 자주 붕괴되거나 성능이 저하되었다.
  • 제안된 초기화(ZERO-Points-MY)는 일관되게 최적화를 안정화하고 붕괴를 방지하며, PCA 사전 평균 함수를 사용하는 DGP와 대등하거나 때로는 더 나은 예측 성능(RMSE)을 달oli 달성했다.
  • 백화 매개변수화는 모든 구성에서 우수한 안정성을 보여주었다.
  • 유도점의 수를 늘리는 것이 붕괴를 완화하는 데 도움이 되지만, 제안된 초기화는 중간 정도의 유도점 개수에서도 효과적이었다.

5. 의의 및 주장

본 논문은 DGP의 사전 평균 함수 선택이 최적화의 편의성이 아닌 모델링 가정에 의해 결정되어야 한다고 주장한다. "PCA 사전 평균"이 초기화를 수정하기 위한 휴리스틱에 불과하다는 점을 밝힘으로써, 저자들은 모델의 통계적 구조와 최적화 궤적을 분리하는 솔루션을 제시한다.

그 의의는 다음과 같다:

• 이론적 명확성: 선형 사전 분포가 딥 GP의 비단사성을 피하기 위해 필수적이라는 오해를 바로잡고, 대신 그 성공을 초기화 역학의 결과로 돌린다.
• 실용적 유용성: (이론적으로 더 단순하고 특정 모델링 작업에 유연한) ZERO 사전 평균 DGP를 사용하면서도 훈련 안정성과 예측 성능을 희생하지 않도록 하는 드롭인(drop-in) 초기화 전략을 제공한다.
• 최적화 통찰: 안정적인 그래디언트 경사 하강법을 보장하기 위해 백화 매개변수화와 특정 변분 공분산($S \ll K_{ZZ}$) 초기화의 결정적인 역할을 강조하며, 견고한 DGP 훈련을 위한 가이드라인을 제시한다.

저자들은 본 분석이 DSVI 알고리즘에 초점을 맞추고 있으며, 제안된 초기화가 ZERO 평균 사전 분포의 붕괴 문제를 해결하더라도 통계적 모델 공간 자체는 변하지 않는다는 점을 언급하며 신중한 태도를 유지한다. 즉, 개선은 더 나은 시작점에서 좋은 솔루션에 도달할 수 있는 능력에 관한 것이다.