Accelerated training of Gaussian processes using banded square exponential covariances

기술 요약: 밴드형 제곱 지수 공분산을 이용한 가우시안 프로세스의 가속 학습

문제 정의
표준 가우시안 프로세스(GP) 회귀는 훈련 및 추론 과정에서 공분산 행렬 $K_{f,f} + \sigma_n^2 I$의 역행렬을 구하기 위해 $O(n^3)$의 복잡도가 요구되는 계산 병목 현상에 직면한다. 변분 자유 에너지(VFE) 및 완전 독립 훈련 조건부(FITC)와 같은 희소 GP 방법들은 $m \ll n$인 유도 변수(inducing variables)를 도입하여 이 복잡도를 $O(nm^2)$로 줄이지만, 긴 시계열을 정확하게 모델링하기 위해서는 많은 수의 유도 점이 필요할 수 있다. 이러한 요구 사항은 특히 전역적 유도 점이 복잡한 구조를 효율적으로 포착하지 못하는 경우, 계산상의 이점을 상쇄할 수 있다.

방법론: 밴드형 훈련 공분산 (Banded Training Covariance, BTC)
저자들은 제곱 지수(Square Exponential, SE) 커널의 내재적인 근사적 희소성을 활용하는 **밴드형 훈련 공분산(BTC)**이라 명명된 새로운 접근 방식을 제안한다. 1차원 설정에서 SE 커널의 경우, 쌍별 공분산은 거리가 멀어짐에 따라 지수적으로 0에 수렴한다.

1. 밴드 근사 (Banded Approximation): BTC는 유도 변수를 사용하는 대신, 전체 공분산 행렬 $K_{f,f}$를 $k$-밴드 근사 $L_k(K_{f,f})$로 대체한다. 연산자 $L_k$는 $|i-j| > k$인 모든 성분 $A_{ij}$를 0으로 설정하며, 이는 관측치들이 특정 대역폭 $k$ 너머에서는 서로 상관관계가 없다고 가정하는 것이다.
2. 계산 효율성: 이러한 밴드 구조를 강제함으로써, 음의 로그 가능도(NLL)에 필요한 역행렬과 로그 행렬식은 감소된 비용 $O(nk^2)$로 LU 또는 Cholesky 분해를 통해 계산될 수 있으며, 이는 추가적인 변분 파라미터의 도입을 피할 수 있게 한다.
3. 이론적 보장: 본 논문은 다음을 보장하는 최적의 대역폭 $k$를 결정하기 위한 엄격한 이론적 프레임워크를 제공한다:
   • 양의 정치성 (Positive Definiteness): 근사된 행렬 $L_k(K_{f,f}) + \sigma_n^2 I$는 유효한 확률적 모델링과 수치적 안정성의 전제 조건인 대칭 및 양의 정치성을 유지한다.
   • 유효한 예측 분포: 결과적인 사후 예측 공분산은 양의 정치성을 유지한다.
   • 샘플 크기로부터의 독립성: 결정적으로, 도출된 $k$에 대한 경계는 커널 하이퍼파라미터(신호 분산 $\sigma^2$, 길이 척도 $\ell$)와 노이즈 분산 $\sigma_n^2$에 의존하지만, 관측치의 수 $n$에는 의존하지 않는다. 이를 통해 이 방법은 데이터 규모에 비례하여 대역폭을 늘리지 않고도 긴 시계열로 확장할 수 있다.

주요 기여

• 새로운 희소 정식화: 유도 변수에 의존하는 대신 SE 커널의 구조적 희소성을 활용하여 희소 GP의 효율성을 달고 달성하는 BTC라는 새로운 방법을 도입하였다.
• 이론적 경계: 노이즈가 있는 SE 커널에 대해 양의 정치성을 보장하기 위한 명시적 조건과 $k$ 선택을 위한 공식(Corollary 3.3)을 제공하는 Lemma 3.1 및 Theorem 3.2를 도출하였다.
• 경험적 검증: 실세계 데이터셋에 대한 종합적인 실험을 통해 BTC가 정확도 측면에서 완전한 GP와 거의 일치하면서도, 실행 시간 및 예측 성능 면에서 표준 희소 방법(VFE 및 FITC)보다 크게 우수함을 입증하였다.

실험 결과
저자들은 두 가지 실세계 데이터셋인 월간 태양 흑점 데이터셋(3,315개 지점)과 헬싱키 신생아 EEG 데이터셋(4,000개 지점)에 대해 BTC를 평가하였다.

• 성능 대비 실행 시간: 정규화 평균 제곱 오차(NMSE) 및 음의 로그 예측 밀도(NLPD) 측면에서, BTC는 정확도 면에서 완전한 GP와 거의 동일한 결과를 얻었다.
• 벤치마크와의 비교: BTC는 테스트된 모든 유도 점($m$) 및 대역폭($k$) 구성에서 VFE와 FITC를 일관되게 능가하였다.
• $k$에 대한 강건성: 이 방법은 유효한 대역폭 $k$의 범위 전반에 걸쳐 강건한 성능을 보여주었다. 이론적으로 도출된 $k$ 값은 양의 정치성을 유지하기에 충분한 것으로 나타났으며, 이는 $k$를 이론적 경계 이상으로 높이는 것이 높은 계산 복잡도를 대가로 얻을 수 있는 정확도 이득이 미미함을 확인시켜 주었다.
• 이론의 타당성 검증: 합성 데이터 실험을 통해, 하이퍼파라미터가 변하더라도 이론적으로 도출된 $k$ 값이 양의 정치성을 성공적으로 보존함을 확인하였다.

의의 및 주장
본 논문은 BTC가 1차원 GP 회귀(SE 커널)를 위한 원칙적이고 파라미터가 필요 없는 유도 점 방식의 대안을 제공한다고 주장한다. SE 커널의 지수적 감소를 활용함으로써, BTC는 유도 변수를 사용하는 희소 방법의 계산 효율성($O(nk^2)$)을 달성하는 동시에 완전한 GP의 정확도를 유지한다. 저자들은 이 접근 방식이 유도 점(변분 파라미터)을 최적화할 필요를 제거하며, 데이터 규모와 독립적으로 확장 가능한 대역폭을 선택하기 위한 이론적 근거가 있는 규칙을 제공한다는 점을 강조한다.

저자들은 현재의 방법이 SE 커널로 제한되어 있으며 최적화 과정 중 고정된 대역폭을 가정하고 있음을 언급하였다. 또한, 이 접근 방식을 고차원 및 다른 커널로 확장하는 것이 실질적인 적용 범위를 넓히기 위한 핵심적인 향후 과제라고 밝혔다.