Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

기술 요약: 파티클 MCMC를 이용한 가우시안 프로세스 상태-공간 모델에서의 베이지안 추론 및 학습

문제 정의

상태-공간 모델(SSM)은 시계열 및 동적 시스템을 모델링하는 데 널리 사용되며, 일반적으로 잠재 상태 궤적 $x_{0:T}$와 상태 전이 함수 $f$로 정의됩니다. 중요한 과제는 동역학 $f$가 알려지지 않았고 매우 비선형적인 경우에 발생합니다. 전통적인 접근 방식은 $f$에 대한 파라미터 표현법을 사용하거나, 특히 고차원 상태 공간이나 평활 분포(smoothing distribution)의 불확실성이 큰 경우 과적합을 초래할 수 있는 기대-최대화(EM) 알고리즘에 의존하곤 합니다.

가우시안 프로세스(GP)는 $f$에 대한 유연한 비파라미터 사전 확률을 제공하지만, 이를 SSM에 적용하는 것은 어렵습니다. 왜냐로 인해 잠재 상태 $x_{0:T}$가 관측되지 않기 때문입니다. 기존 방법들은 종종 $f$를 유한한 타겟 지점 집합으로 근사하여 모델을 사실상 파라미터 모델로 만들거나, 평활(smoothing)을 위해 고정된 전이 동역학 모델에 의존합니다. 본 논문이 다루는 핵심 문제는 모델의 표현력을 희생하거나 과도한 계산 비용을 발생시키지 않으면서, 비선형 및 비파라미터 SSM에서 어떻게 완전한 베이지안 추론과 학습을 수행할 것인가 하는 점입니다.

방법론

저자들은 가우시안 프로세스 사전 확률이 미지의 상태 전이 함수 $f$ 위에 직접 배치되는 완전 베이지안 프레임워크를 제안합니다. 관측 모델 $g$는 알려져 있다고 가정하며(파라미터화될 수 있음), 동역학 $f$는 무작위 함수으로 취급됩니다.

1. 전이 함수의 주변화 (Marginalization of the Transition Function)
상태, 하이퍼파라미터, 함수 $f$에 대한 결합 사후 확률을 동시에 추론하는 대신, 저자들은 전이 함수 $f$를 주변화합니다. 이러한 "콜랩싱(collapsing)" 접근 방식은 모델의 비파라미터적 성격을 존중할 수 있게 해줍니다. 상태 궤적 $x_{0:T}$에 조건화함으로써, 주변 사전 확률 $p(x_{0:T} | \theta)$는 가우시안들의 곱으로 표현될 수 있습니다. 이 분포 자체는 (평균과 공분산이 상태에 대한 비선형적 의존성 때문에) 가우시안은 아니지만, 순차적 추론에 적합한 구조를 유지합니다.

2. 파티클 마르코프 체인 몬테카를ло (Particle MCMC)
결합 평활 분포 $p(x_{0:T}, \theta | y_{0:T})$로부터 샘플링하기 위해, 저자들은 파티클 마르코프 체인 몬테카를로(PMCMC) 샘플러, 구체적으로 **조상 샘플링을 포함한 파티클 깁스(Particle Gibbs with Ancestor Sampling, PGAS)**를 사용합니다.

• 순차적 몬테카를로 (SMC): 알고리즘은 평활 분포를 근사하기 위해 SMC를 사용합니다. 그러나 표준 SMC는 최종 관측값으로부터 멀리 떨어진 시간 단계에서 입자 다양성이 상실되는 경로 퇴화(path degeneracy) 문제를 겪습니다.
• PGAS: 경로 퇴화를 완화하고 하이퍼파라미터 $\theta$에 대한 추론을 가능하게 하기 위해 PGAS를 사용합니다. 이는 상태 궤적과 하이퍼파라미터에 대한 깁스 샘플링 단계를 결합합니다. 결정적으로, 상태 궤적을 샘플링하기 위해 **조상 샘플링을 포함한 조건부 파티클 필터(Conditional Particle Filter with Ancestor Sampling, CPF-AS)**를 사용합니다. CPF-AS에서는 각 단계에서 하나의 파티클 궤적이 고정(조건화)되는 반면, 나머지 궤적들은 샘플링됩니다. "조상 샘플링" 단계는 고정된 궤적이 자신의 조상을 재샘플링할 수 있게 하여, 마르코프 커널이 정확한 평활 분포를 불변하게 유지하도록 보장하고 혼합 속도(mixing rates)를 개선합니다.

3. 희소 GP 구축 (Sparse GP Construction)
계산 복잡도가 나이브하게 $O(T^4)$ 또는 $O(T^3)$로 증가하는 문제를 해결하기 위해, 저자들은 완전 독립 조건부(Fully Independent Conditional, FIC) 사전 확률을 사용하는 희소 GP 구축법을 도입합니다. 유도 변수(inducing variables) 세트를 도입함으로써, 계산 복잡도를 $M \ll T$인 유도 지점의 개수에 따른 $O(M^2T)$로 줄입니다. 구현 세부 사항은 파티클 필터의 순방향 재귀 과정 동안 이 복잡도를 유지하기 위해 효율적인 촐레스키 분해(Cholesky factorizations) 업데이트를 포함합니다.

4. 동역학 학습 (Learning the Dynamics)
평활 분포 $p(x_{0:T}, \theta | y_{0:T})$로부터 샘플을 얻고 나면, 전이 함수 $f$에 대한 사후 확률을 폐쇄형(closed form)으로 구할 수 있습니다. 새로운 테스트 지점에 대한 예측 분포는 가우시안들의 혼합(mixture of Gaussians)으로 정식화되며, 여기서 각 성분은 평활 분포로부터의 샘플에 대응합니다. 이 혼합 모델은 측정의 모호함에서 발생하는 다봉성(multimodality)을 올바르게 포착합니다.

주요 기여

• 완전 비파라미터 추론: 본 논문은 함수 공간을 이산화하거나 동역학에 특정 파라미터 형태를 가정할 필요 없이, 가우시안 프로세스의 완전한 비파라미터적 표현력을 유지하는 방법을 제시합니다.
• 주변화 전략: 전이 함수 $f$를 주변화함으로써, 저자들은 동역학의 학습을 상태 추정과 분리하여 상태 궤적이 주어졌을 때 평활 분포의 정확한 추론을 가능하게 합니다.
• SSM을 위한 PGAS: 조상 샘플링을 포함한 파티클 깁스를 GP-SSM에 적용함으로써, 표준 파티클 필터의 경로 퇴화 문제를 극복하고 결합 평활 분포 및 하이퍼파라미터 사후 확률로부터 효율적인 샘플링을 가능하게 합니다.
• 계산 효율성: 희소 GP 방법(FIC 사전 확률)의 통합은 계산 부담을 줄여, 더 긴 시계열에 대해서도 접근 가능한 확장성을 제공합니다.

실험 결과

저자들은 두 가지 벤치마크를 통해 접근 방식을 평가했습니다:

1. 비선형 시스템 벤치마크: 관측의 부호 모호성(sign ambiguity)으로 인해 이봉(bimodal) 평활 밀도를 갖는 시스템입니다. GP-SSM은 상태 궤적의 이봉 특성을 성공적으로 포착하였으며, 파라미터 평균 함수를 나쁘게 초기화했음에도 불구하고 동역학을 정확하게 학습했습니다. 학습된 동역학의 RMSE(제곱 평균 제곱근 오차)는 파라미터 기반의 베이스라인보다 현저히 낮았으며, 매개변수를 알고 있는 실제 모델과 유사한 수준이었습니다.
2. Cart and Pole 시스템: 4차원 상태 공간을 가진 강화 학습 벤치마크입니다. 단 100개의 노이즈가 섞인 관측값만을 사용하여, 모델은 한 단계 앞을 예측할 수 있는 동역학 표현을 학습했습니다. 결과적인 예측 분포(가우시안 혼합)는 훈련 데이터에서 먼 영역에서는 높은 불확실성을, 훈련 데이터 근처에서는 낮은 불확실성을 올바르게 반영했습니다.

의의 및 주장

본 논문은 자신의 주요 의의가 GP 기반 SSM의 추론을 위한 필수적인 구성 요소, 즉 GP 모델 자체를 완전한 베이지안 방식으로 학습할 수 있는 능력을 제공하는 데 있다고 주장합니다. GP 동역학이 이미 학습되었다고 가정하거나 파라미터 근사를 사용했던 이전 연구들과 달리, 이 접근 방식은 적응형 모델 복잡성을 허용합니다.

저자들은 이 방법이 모델의 비파라미터적 표현력을 보존하여, 파라미터 모델이 놓칠 수 있는 복잡한 동적 현상을 포착할 수 있음을 강조합니다. 또한, 이 접근 방식은 전통적인 MAP 기반 또는 EM 기반 방식이 과적합될 수 있는, 평활 분포의 불확실성이 높은 시나리오에서 특히 강력하다고 언급합니다. PGAS의 사용은 추론이 기존 평형 기술의 고정된 모델 가정에 국한되지 않도록 보장하며, 비선형 및 비파라미터 설정에서 시스템 식별을 위한 유연한 프레임워크를 제공합니다.