Compactly-supported nonstationary kernels for computing exact Gaussian processes on big data

1. 문제 제기 (Problem Statement)

가우시안 프로세스 (GP) 는 불확실성 정량화와 비선형 회귀 분석에 강력한 도구이지만, 현대의 대규모 데이터 (빅데이터) 에 적용할 때 두 가지 주요 한계가 존재합니다.

1. 정상성 (Stationarity) 가정의 경직성: 전통적인 GP 는 입력 공간의 거리가 멀어질수록 상관관계가 감소하는 '정상성 커널'을 주로 사용합니다. 이는 실제 환경 데이터 (예: 기후 데이터) 에서 관찰되는 복잡한 비정상성 (지역에 따라 상관관계 구조가 변함) 을 모델링하는 데 유연성이 부족합니다.
2. 확장성 (Scalability) 문제: $N$개의 데이터 포인트에 대한 GP 추론은 메모리 $O(N^2)$, 계산 $O(N^3)$의 복잡도를 가집니다. 이는 $N \approx 10,000$ 이상의 데이터에서는 계산적으로 불가능하게 만듭니다.
3. 근사 방법의 단점: 기존 해결책은 대부분 GP 우도 (Likelihood) 를 근사화하거나 (Vecchia 근사, 예측 과정 등), 희소성 (Sparsity) 을 인위적으로 부여합니다. 이러한 방법들은 주관적인 선택 (이웃 점의 개수, 점의 순서 등) 이 필요하며, 이론적 성질이 정상성 커널에 국한되는 경우가 많아 정확도가 떨어질 수 있습니다. 또한, 대부분의 커널은 이론적으로 0 이 아닌 상관관계를 가지며, 실제 데이터의 내재적 희소성을 정확히 0 으로 모델링하지 못합니다.

2. 방법론 (Methodology)

저자들은 희소성을 발견하고 인코딩할 수 있는 새로운 커널을 제안하며, 이를 완전 베이지안 GP 모델에 통합했습니다.

A. 희소성 발견 커널 (Sparsity-Discovering Kernel)

제안된 커널 $C_y$는 두 부분의 곱으로 구성됩니다:
$$C_y(x, x') = C_{core}(x, x') \times C_{sparse}(x, x')$$

• $C_{core}$ (핵심 커널): 정상성 또는 비정상성 커널 (예: Matérn, Deep Kernel 등) 을 사용할 수 있습니다. 이는 데이터의 기본적인 매끄러움과 구조를 담당합니다.
• $C_{sparse}$ (희소성 유도 커널): 데이터의 내재적 희소성을 학습하기 위해 설계되었습니다.
  • 범프 함수 (Bump Functions): $g(x)$ 형태의 매끄러운 함수를 사용하여 정의됩니다. 이 함수는 특정 반경 $r$ 이내에서는 값을 가지지만, 그 이상에서는 정확히 0이 됩니다.
  • 구조: $C_{sparse}$는 이러한 범프 함수들의 합과 곱으로 구성되며, 입력 공간의 특정 영역들 간의 '거리와 무관한 (distance-unrelated)' 상관관계를 모델링할 수 있습니다.
  • Wendland 다항식: 국소 지지 (Compact support) 를 보장하기 위해 Wendland 다항식 기반의 정상성 커널 $f_0$를 추가하여 대각선 요소가 0 이 되지 않도록 합니다.

이러한 구조를 통해 커널은 데이터에 따라 자동으로 상관관계가 0 인 영역 (희소성) 과 0 이 아닌 영역을 학습하며, 비정상성을 자연스럽게 표현합니다.

B. 베이지안 추론 및 정규화

• 하이퍼파라미터 학습: 범프 함수의 위치, 반경, 진폭 등을 MCMC (Markov Chain Monte Carlo) 를 통해 학습합니다.
• 정규화 (Regularization): 불필요한 범프 함수가 활성화되는 것을 방지하기 위해 진폭 $a_{ij}$에 베르누이 분포 (Bernoulli prior) 를 적용하여 '켜기/끄기' 메커니즘을 도입했습니다. 이를 통해 과적합을 방지하고 최적의 범프 함수 수를 데이터가 스스로 결정하도록 합니다.

C. 고성능 컴퓨팅 (HPC) 및 계산 최적화

백만 개 이상의 데이터를 처리하기 위해 다음과 같은 계산 전략을 사용했습니다:

• 배치 처리 (Batching): 밀집된 공분산 행렬을 계산할 때, 단일 노드가 아닌 병렬 처리가 가능한 배치 단위로 계산합니다.
• 희소 행렬 저장: 계산된 배치를 희소 형식 (Sparse format) 으로 변환하여 메모리 사용을 최소화합니다.
• 선형 대수 솔버:
  • MINRES (Minimum Residual): 공분산 행렬의 고유값 분포가 넓어 Conjugate Gradient (CG) 가 수렴하지 않는 경우, MINRES 를 사용하여 선형 시스템을 해결합니다.
  • Lanczos 알고리즘: 로그-행렬식 (Log-determinant) 계산을 위해 Lanczos 방법을 사용하여 근사적으로 빠르게 계산합니다.

3. 주요 기여 (Key Contributions)

1. 정확한 GP 의 확장: 근사화 (Approximation) 없이 정확한 (Exact) GP 우도를 사용하면서도 백만 개 이상의 데이터 포인트를 처리할 수 있는 첫 번째 방법론 중 하나입니다.
2. 데이터 기반 희소성 및 비정상성 발견: 사전에 정의된 구조가 아닌, 데이터 자체에서 희소성 (상관관계가 0 인 영역) 과 비정상성 구조를 학습하여 발견합니다.
3. 주관성 제거: Vecchia 근사나 예측 과정 (Predictive Process) 과 달리, 이웃 점 선택, 점의 순서 등 사용자가 직접 설정해야 하는 주관적 매개변수가 필요 없습니다.
4. HPC 기반 완전 베이지안 분석: 대규모 데이터셋에 대한 완전 베이지안 추론 (MCMC) 을 가능하게 하여 불확실성을 정량화합니다.

4. 실험 결과 (Results)

A. 합성 데이터 실험

• 비교 대상: 정상성 GP, Vecchia 근사, 예측 과정, 공분산 테이퍼링 (Covariance Tapering) 등.
• 성능: 다양한 시나리오 (희소/비희소, 정상/비정상) 에서 제안된 방법이 기존 방법들보다 **RMSE(평균 제곱근 오차)**와 CRPS(연속 순위 확률 점수) 측면에서 우수한 성능을 보였습니다.
• 특징: 특히 노이즈가 크고 데이터가 비정상성/희소성인 경우, 기존 정상성 커널은 실패했으나 제안된 방법은 정확한 예측을 수행했습니다. 또한, 범프 함수 수를 과다하게 설정하더라도 정규화 priors 가 불필요한 함수를 자동으로 제거하여 과적합을 방지했습니다.

B. 실제 데이터 적용 (일일 최고 기온 예측)

• 데이터: 미국 전역의 GHCN-D 스테이션에서 수집된 100 만 개 이상의 일일 최고 기온 데이터 (2001-2005 년).
• 비교: 기존 환경 과학 표준인 Livneh et al. (2015) 의 역거리 가중치 (IDW) 방법 및 다른 GP 근사법과 비교.
• 결과:
  • 제안된 비정상성 희소 GP는 IDW 방법보다 평균 12.6% 더 낮은 RMSE 를 보였습니다.
  • 다른 GP 근사법 (Vecchia 등) 보다도 더 낮은 오차와 더 나은 CRPS 를 기록했습니다.
  • 산악 지형과 같은 복잡한 지형에서 IDW 가 실패한 지역에서도 정확한 공간 보간과 불확실성 정량화를 수행했습니다.
  • 계산 비용: 256 개의 A100 GPU 를 사용하여 약 128 시간의 훈련 시간을 소요했으나, 이는 대규모 신경망 훈련과 비교 가능한 수준이며, 100 만 개 데이터에 대한 정확한 GP 추론이 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

이 연구는 머신러닝 방법론 (신경망 등) 과 GP 간의 격차를 해소하는 중요한 이정표입니다.

• 정확성과 확장성의 동시 달성: 대규모 데이터에서도 근사 오차 없이 정확한 GP 추론이 가능함을 보여주었습니다.
• 과학적 발견: 기후 데이터와 같은 복잡한 자연 현상에서 숨겨진 비정상성 구조와 희소성을 자동으로 발견하여, 단순한 보간을 넘어 데이터의 물리적/통계적 특성을 더 잘 이해할 수 있게 합니다.
• 미래 전망: 계산 자원의 발전과 함께 이 방법은 1 억 개 이상의 데이터 포인트를 처리할 수 있는 잠재력을 가지며, 환경 과학, 기후 모델링, 자율 실험 등 다양한 분야에서 GP 의 활용도를 획기적으로 높일 것으로 기대됩니다.

요약하자면, 이 논문은 국소 지지 비정상성 커널을 통해 GP 의 고질적인 확장성 문제를 해결하고, 데이터의 내재적 구조를 정확히 포착하여 기존 근사 방법들을 능가하는 성능을 입증한 획기적인 연구입니다.