Identification of Gaussian Process State-Space Models with Particle Stochastic Approximation EM

기술 요약: 입자 확률 근사 EM을 이용한 가우시안 프로세스 상태 공간 모델의 식별

문제 정의
본 논문은 기저의 상태 전이 역학(state transition dynamics)이 알려지지 않았고 복잡한 비선형 동적 시스템을 식별하는 과제를 다룹다. 전통적인 시스템 식별은 대개 파라미터 모델(예: 운동 방정식 또는 고정된 구조의 신경망)에 의존한다. 그러나 상세한 사전 지식 없이 적절한 파라미터 구조를 선택하는 것은 매우 어려우며, 파라미터의 수를 고정하는 것은 적합할 수 있는 함수의 복잡성을 본질적으로 제한하여 언더피팅(underfitting) 또는 오버피팅(overfitting)을 초래할 수 있다.

저자들은 이러한 한계를 극복하기 위해 가우시안 프로세스 상태 공간 모델(GP-SSM)을 사용할 것을 제안한다. GP-SSM은 상태 전이 함수를 가우시안 프로세스(GP) 사전 분포로부터 추출된 확률 변수로 취급하여 베이지안 비파라미터 표현을 제공한다. 이를 통해 다양한 비선형 역학을 포착하는 동시에 불확실성을 정량화할 수 있다. 구체적으로 다루는 문제는 GP 사전 분포를 결정하는 하이퍼파라미터와 노이즈 특성을 유지하면서, 비파라미터적 기술(description)을 보존하는 방식의 최대 우도(Maximum Likelihood, ML) 식별이다.

방법론
GP-SSM의 ML 추정에서 핵심적인 어려움은 우도 함수가 잠재 상태 궤적($x_{0:T}$)과 미지의 전이 함수($f_{1:T}$)를 주변화(marginalizing, 적분하여 제거)해야 한다는 점이다. 미지의 함수들은 상태 궤적에 대한 사전 분포를 얻기 위해 분석적으로 주변화될 수 있지만, 결과적으로 발생하는 상태 공간에 대한 적분은 분석적으로 다루기 불가능하다(intractable).

이를 해결하기 위해 저자들은 입자 확률 근사 EM(Particle Stochastic Approximation EM, PSAEM) 알고리즘을 사용한다. 이 접근 방식은 두 가지 핵심 요소의 결합이다:

1. 확률 근사 EM (SAEM): 완전 데이터 로그 우도(complete data log-likelihood)의 정확한 기댓값을 계산하는 대신(이는 불가능하므로), SAEM은 보조 $Q$-함수의 확률적 근사치를 유지한다. 이는 스무딩 분포(smoothing distribution)로부터의 샘플을 사용하여 반복적으로 업데이트된다.
2. 입자 마르코프 체인 몬테카를로 (PMCMC): 스무딩 분포 $p(x_{0:T} | y_{0:T}, \theta)$로부터 직접 샘플링하는 것이 불가능하기 때문에, 저자들은 **조상 샘플링을 포함한 입자 깁스(Particle Gibbs with Ancestor Sampling, PGAS)**를 활용한다. PGAS는 스무딩 분포를 불변하게 만드는 마르코프 커널을 구축하여, $Q$-함수 근사를 업데이트할 샘플 궤적 $x_{0:T}^{[k]}$를 생성할 수 있게 한다.

알고리즘은 다음과 같이 반복적으로 진행된다:

• E-단계 (시뮬레이션): 현재의 파라미터 추정치를 바탕으로 PGAS를 사용하여 새로운 상태 궤적을 샘플링한다.
• 업데이트: 새로운 궤적의 로그 우도를 사용하여 $Q$-함수의 확률적 근사치를 업데이트한다.
• M-단계 (최적화): 파라미터 $\theta$ (GP 평균/공분산의 하이퍼파라미터 및 노이즈 분산)는 준 뉴턴 방법(quasi-Newton method, BFBFGS)을 사용하여 근사된 $Q$-함수를 최대화함으로써 업데이트된다.

주요 기여

• 알고리즘 프레임워크: 본 논문은 관측되지 않은 상태에 대한 의사 데이터 세트(pseudo-data sets)나 약한 레이블(weak labels)을 필요로 하지 않는 GP-SSM의 최대 우도 식별 방법을 제시한다. 이는 기존 접근 방식들의 한계였다.
• PGAS와 SAEM의 통합: GP-SSM 식별에 필요한 다루기 힘든 적분을 처리하기 위해 확률 근사 EM 프레임워크 내에서 조상 샘플링을 포함한 입자 깁스를 적용하는 방법을 보여준다.
• 비파라미터적 풍부함: 이 방법은 시스템 모델의 완전한 비파라미터적 성질을 유지한다. 비파라미터 부분의 분석적 주변화를 통해, 이 접근 방식은 GP 사전 분포와 데이터에 부합하는 모든 가능한 역학을 효과적으로 평균화하며, 이는 경험적 베이즈(Empirical Bayes)와 유사하게 오버피팅을 방지하는 역할을 한다.

실험 결과
저자들은 두 가지 유형의 시스템을 통해 방법을 검증했다:

1. 선형 시스템: 선형 및 제곱 지수(squared exponential) 공분산 함수를 모두 사용하여 선형 동적 시스템을 식별하였다.
   • 선형 공분산 함수를 사용했을 때, 모델은 가우시안 사전 분포를 가진 선형 상태 공간 모델과 동일한 파라미터로 성공적으로 수렴하였다.
   • 선형 데이터에 제곱 지수(비선형) 공분산 함수를 사용했을 때, 모델은 시스템을 올바르게 식별하였으나, 데이터가 희소하거나 모델의 확신이 낮은 영역에서는 높은 불확실성(넓은 오차 막대)을 보였다. 이는 실제 시스템이 모델 클래스보다 더 단순하더라도 모델이 불확실성을 정량화할 수 있음을 보여준다.
2. 비선형 시스템: 상태 전이 함수에 급격한 기울기가 있고 이차 측정 함수(이봉성 유도)가 있는 복잡한 비선형 시스템을 식별하였다.
   • 상태 방향에 대해 (제곱 지수보다 매끄러움이 덜한) Matérn 공분산 함수를 사용하여, 모델은 급격한 변화와 기저의 역학을 성공적으로 포착하였다.
   • 식별된 모델은 예측 시 오차 막대를 포함한 확률적 예측을 제공하였으며, 특히 훈련 데이터에서 멀리 떨어진 영역에서 불확실성을 잘 반영하였다.

의의 및 주장
본 논문은 GP-SSM이 특정 파라미터 형태에 모델을 제한하지 않으면서도 고수준의 가정(예: 매끄러움)을 포함할 수 있는 유연한 비선형 시스템 식별 프레임워크를 제공한다고 주장한다. 제안된 PSAEM 접근 방식은 역학의 비파라미터적 풍부함을 보존하면서 최대 우도를 통해 모델 하이퍼파라미터를 추정할 수 있게 한다.

저자들은 이 접근 방식이 불확실성이 정량화된 확률적 예측을 제공한다는 점을 강조하며, 이는 제어 전략이 시스템 역학에 대한 신뢰도에 의존할 수 있는 적응 제어(adaptive control)나 로보틱스와 같은 응용 분야에서 매우 중요하다. 이 방법은 입자 기반 추론을 통해 유연성과 계산 가능성 사이의 균형을 제공함으로써, 완전 베이지안 솔루션(파라미터에 대한 사전 분포가 필요한 방식) 및 표준 파라미터 식별에 대한 견고한 대안으로 제시된다.