Making Recursive Bayesian Inference Robust

기술 요약: 재귀적 베이지안 추론의 강건성 확보

문제 정의

계산 자원의 발전으로 베이지안 추론에 대한 접근성이 높아졌으나, MCMC(Markov Chain Monte Carlo)와 같은 표준 알고리즘은 대규모 데이터셋에서 혼합(mixing) 및 수렴 문제로 인해 확장성 측면에서 어려움을 겪는 경우가 많습니다. 이러한 확장성 문제를 해결하기 위해 사전 제안-재귀적 베이지안(Prior Proposal-Recursive Bayesian, PP-RB) 추론이 개발되었습니다. PP-RB는 데이터를 하위 집합으로 분할하고 병렬 컴퓨팅 자원을 사용하여 여러 단계에 걸쳐 사후 분포를 재귀적으로 업데이트함으로써 확장 가능한 계산을 용たす합니다. 이는 현재 단계의 메트로폴리스-헤이스팅스(Metropolis-Hastings, MH) 알고리즘을 위한 제안 분포로서 이전 단계의 사후 샘플을 활용하며, 이를 통해 수락 비율(acceptance ratio)의 사전 계산을 가능하게 합니다.

그러나 PP-RB는 두 가지 주요 한계점을 가집니다:

1. 샘플 퇴화(Sample Degeneracy): 순차적 몬테카를로(Sequential Monte Carlo)와 유사하게, 제안된 샘플들이 거절됨에 따라 후속 단계에서 유효 샘플 크기(Effective Sample Size, ESS)가 크게 감소할 수 있습니다.
2. 사후 분포 이동(Posterior Shifts): 더 결정적인 문제는, PP-RB가 현재 단계의 사후 분포가 최종 사후 분포와 매우 가까울 것이라고 가정한다는 점입니다. 새로 도입된 데이터 파티션이 이전 파티션과 크게 다를 경우 사후 분포가 이동하게 됩니다. 이 경우, 이전 단계의 사후 분포에서 추출된 제안 분포는 더 이상 대표성을 갖지 못하며, 이는 잘못된 추론으로 이어집니다. 퇴화 문제는 이미 연구된 바 있으나, 사후 분포의 이동이 PP-RB에서 잘못된 추론을 유발하는 문제는 그동안 거의 다뤄지지 않았습니다.

방법론: 병렬 템퍼링 사전 제안-재귀적 베이지안 (Parallel-Tempered Prior Proposal-Recursive Bayesian, PPP-RB)

사후 분포 이동 문제를 해결하기 위해, 저자들은 병렬 템퍼링 사전 제안-재귀적 베이지안(PPP-RB) 추론을 제안합니다. 이 프레임워크는 메트로폴리스 결합 마르코프 체인 몬테카를로(Metropolis-coupled MCMC, MCMCMC), 즉 병렬 템퍼링(parallel tempering)의 핵심 개념을 통합하여 PP-RB를 확장한 것입니다.

알고리즘 프레임워크

PPP-RB는 $J$개의 하위 집합($y = (y_1, \dots, y_J)$)으로 분할된 데이터에 대해 작동합니다. 단일 체인을 사용하는 PP-RB와 달리, PPP-RB는 서로 다른 온도 수준 $\tau_\ell$ ($\ell = 1, \dots, L$)을 가진 $L$개의 병렬 체인을 사용합니다.

• 템퍼링(Tempering): 각 체인의 타겟 분포는 템퍼링됩니다: $[\theta | y]_{\tau_\ell} \propto [y | \theta]^{1/\tau_\ell}[\theta]$. $\tau_1 = 1$인 체인은 "차가운(cold)" 체인(실제 사후 분포를 목표로 함)이며, $\tau_\ell > 1$인 체인들은 "뜨거운(hot)" 체인입니다.
• 1단계(Stage 1): 모든 $L$개 체인에 대해 첫 번째 파티션 $y_1$에 모델을 적합시켜, 템퍼링된 사후 분포 $[\theta | y_1]_{\tau_\ell}$로부터 샘플을 생성합니다.
• 이후 단계 ($j = 2, \dots, J$): 알고리즘은 다음 두 단계를 재귀적으로 수행합니다:
  1. 체인 내 업데이트(Within-Chain Update): 각 체인은 새로운 데이터 파티션 $y_j$를 사용하여 사후 분포를 업데이트합니다. 이때 MH 수락 비율은 온도 $\tau_\ell$을 고려하여 다음과 같이 수정됩니다:
     $$r_{j,\ell} = \frac{[y_j | \theta^*, y_{1:(j-1)}]^{1/\tau_\ell}}{[y_j | \theta^{(k-1)}, y_{1:(j-1)}]^{1/\tau_\ell}}$$
     여기서 $\theta^*$는 이전 단계의 사후 분포에서 추출된 제안입니다.
  2. 체인 간 교환(Between-Chain Exchange): 매 $m$번의 반복마다, 차가운 체인과 뜨거운 체인 사이의 스왑(swap)이 제안됩니다. 스왑은 모든 체인의 결합 분포를 보존하는 MH 비율에 따라 수락됩니다.

이론적 보장

저자들은 다음을 입증하는 이론적 증명을 제공합니다:

1. 첫 번째 단계의 각 체인은 그에 대응하는 템퍼링된 사후 분포를 정상 분포(stationary distribution)로 가집니다.
2. 결합 전이 커널(joint transition kernel, 체인 내 업데이트와 체인 간 교환을 결합함)은 결합 템퍼링 분포 $\Pi(\Theta) = \prod [\theta | y]_{\tau_\ell}$에 대해 상세 균형 조건(detailed balance condition)을 만족합니다.
3. 따라서, $J-1$번의 재귀적 업데이트 후 차가운 체인($\tau_1 = 1$)의 주변 정상 분포는 실제 사후 분포 $[\theta | y]$가 됩니다.

실무적 고려 사항

논문은 구현을 위한 지침을 제시합니다:

• 최대 온도 ($\tau_{max}$): 뜨거운 체인이 충분히 넓은 파라미터 공간을 커버할 수 있도록 선택되어야 합니다. 저자들은 PPP-RB의 $\tau_{max}$가 표준 MCMCMC보다 낮을 수 있다고 제안하는데, 이는 단일 파티션에 기반한 우도(likelihood)가 일반적으로 더 평탄하기 때문입니다.
• 체인 수 ($L$) 및 스케줄: $L$은 체인 간 스왑 수락 비율을 0.2에서 0.4 사이로 유지하도록 조정해야 합니다. 기하학적 온도 스케줄(geometric temperature schedule)이 권장됩니다.
• 스왑 빈도 ($m$): 특히 사후 분포의 이동이 예상되는 경우, 차가운 체인이 정보가 풍부한 뜨거운 체인에 더 자주 접근할 수 있도록 빈번한 스왑($m=1$)을 권장합니다.

주요 결과

저자들은 수치 연구와 실제 데이터 분석을 통해 PPP-RB를 표준 MCMC(MH) 및 PP-RB와 비교 평가했습니다.

수치 연구

1. 정규 혼합 모델(Normal Mixture Model): 데이터 파티션이 서로 다른 비율의 벌크(bulk) 대 꼬리(tail) 관측치를 포함하여 파라미터 $p$의 변화를 일으키는 시나리오에서, PP-RB는 두 번째 단계에서 실제 사후 분포를 회복하는 데 실패했습니다. 반면, PPP-B는 표준 MH 알고리즘과 밀접하게 일치하는 사후 요약을 생성했습니다.
2. 모델 오설정(Model Misspecification): 두 번째 데이터 파티션에 이상치(outlier)가 있는 선형 회귀 설정에서, PP-RB는 실제 사후 분포와 크게 다른 추정치를 생성했습니다. PPP-RB는 체인 스와핑을 통해 이러한 추정치를 성공적으로 교정하여 MH 결과와 일치시켰습니다.

실제 데이터 적용

1. 지진 횟수 (Loma Prieta): 지진 여진을 위한 Hawkes 프로세스 모델을 사용하여 세 단계의 데이터에 대해 알고리즘을 비교했습니다.
   • 정확도: PPP-RB는 전체 데이터 MH 알고리즘과 매우 우수한 일치도를 보였으나($\hat{R} \approx 1.01$), PP-RB는 약간 높은 편차를 보였습니다($\hat{R} \approx 1.07$).
   • 효율성: PPP-RB는 MH 및 PP-RB보다 약 4.6배에서 7.3배 더 높은 경과 시간당 유효 샘플 크기(ESS/ET)를 달성하며 훨씬 더 효율적이었습니다.
2. 해수 염분 (SSS): 북대서양 염분 데이터에 가우시안 프로세스 모델을 적용했습니다.
   • 정확도: PP-RB는 (예: 너겟 파라미터에 대해 $\hat{R} = 5.53$) 파티션 간의 상당한 사후 분포 이동으로 인해 실제 사후 분포를 포착하는 데 실패했습니다. PPP-RB는 사후 분포를 성공적으로 회복했습니다($\hat{R} \approx 1.01$).
   • 효율성: PPP-RB는 경과 시간 측면에서 MH보다 약 3.2배 더 효율적이었으며, 훨씬 더 높은 ESS를 달랐습니다.

의의 및 주장

본 논문은 PPP-RB가 사후 분포 이동이라는 결정적인 한계를 해결함으로써 PP-RB보다 진일보한 방식이라고 주장합니다. PP-RB는 사후 분포가 단계별로 안정적일 때는 효율적이지만, 분포가 변할 때는 잘못된 추론을 낳습니다. PPP-RB는 병렬 템퍼링의 탐색 능력을 활용하여 차가운 체인이 국소 모드(local mode)를 벗어나고 새로운 데이터 파티션에 의한 사후 분포 변화에 적응할 수 있도록 보장합니다.

저자들은 PPP-RB가 다음을 수행한다고 단언합니다:

1. 심각한 사후 분포 이동이 존재하는 경우에도 이론적으로 실제 사후 분포를 목표로 합니다.
2. 차가운 체인과 뜨거운 체인 간의 샘플 교환을 통해 제안 분포가 변화하는 사후 분포에 더 잘 적응하도록 함으로써 강건성을 향상시킵니다.
3. 표준 MCMC 및 템퍼링되지 않은 PP-RB에 비해, 특히 데이터 파티션이 파라미터 공간에 상당한 변화를 가져오는 시나리오에서 단위 시간당 더 높은 유효 샘플 크기를 산출하여 계산 효율성을 높입니다.

결론적으로, PP-RB가 확장 가능한 프레임워크이기는 하나, 데이터 파티션이 이전 관측치와 크게 다를 수 있는 복잡한 실제 응용 분야에서 재귀적 베이지안 추론의 신뢰성을 보장하기 위해서는 PPP-RB가 필수적입니다.