Learning Nonlinear Dynamics: Improving the Estimation Efficiency and Reliability of Gaussian Process State-Space Models

기술 요약: 가우시안 프로세스 상태-공간 모델의 추정 개선

문제 정의
상태-공간 모델(State-space models, SSMs)은 간접적인 관측치를 기반으로 잠재적 동적 시스템을 분석하기 위한 일반적인 프레임워크를 제공한다. 그러나 전통적인 SSM은 연구자가 시스템 역학의 파라미터 형태를 미리 지정해야 한다는 요구사항이 있다. 이는 기저 프로세스가 비선형적이거나 기존 이론으로 완전히 설명되지 않을 때 큰 도전 과제가 되며, 이로 인해 연구자들은 복잡한 상호작용 효과(예: 포식자-피식자 역학)를 포착하지 못하는 선형 모델을 기본값으로 선택하게 된다. 가우시안 프로세스 상태-공간 모델(GP-SSMs)은 데이터로부터 직접 역학을 학습함으로써 비파라미터적 해결책을 제시하지만, 정확한 베이지안 추정은 데이터 포인트 수에 따라 세제곱으로 스케일링되는 계산 비용 문제로 인해 중간 길이의 시계열 데이터에 대해서는 계산적으로 불가능하다.

힐베르트 공간 방법(HSGP-SSMs)을 이용한 근사는 가우시안 프로세스(GP)를 유한한 기저 함수 집합으로 표현함으로써 문제를 선형 회귀 프레임워크로 변환하여 계산 비용을 줄여준다. 그러나 본 논문은 HSGP-SSMs가 경험적 연구에 널리 채택되는 것을 가로막는 세 가지 주요 장벽을 식별하였다:

1. 낮은 샘플링 효율성: 기존 깁스 샘플러(예: Svensson et al., 2016)는 특히 GP 하이퍼파라미터(한계 분산 및 길이 척도)에 대해 느린 혼합(mixing)과 수렴성을 보이며, 이는 다른 모든 파라미터의 추정에 부정적인 영향을 미친다.
2. 식별성 문제: 동적 모델과 측정 모델이 모두 높은 유연성을 가질 경우, 모델은 약하게 식별되어 MCMC 샘플링 과정 중 수치적 불안정성과 표류(drifting)를 초래한다.
3. 검증된 소프트웨어의 부재: HSGP-SSMs를 위한 체계적으로 검증된 소프트웨어 구현체가 존재하지 않아, 연구자들이 오류에 취기 쉽고 엄격한 교정이 결여된 커스텀 추정기를 직접 구현해야 하는 상황이다.

방법론
저자들은 확인적 요인 분석(CFA) 측정 모델과 개선된 깁스 샘플러를 통합한 정교한 HSGP-SSM용 베이지안 추정 프레임워크를 제안한다.

• 모델 구조: 동적 전이 함수 $f$는 제곱 지수 커널을 사용하는 다변량 출력을 가진 GP로 모델링된다. 식별성과 해석력을 보장하기 위해, 측정 모델은 잠재 상태가 로딩 행렬 $\Lambda$를 통해 관측 지표와 연결되는 선형 CFA 구조로 제한된다. (예: 각 상태당 하나의 로딩을 1로 고정하는 등의) 제약 조건은 잠재 변수의 척도를 고정한다.
• 힐베르트 공간 근사: GP는 컴팩트 도메인 상의 라플라스 연산자의 고유함수를 사용하여 근사되며, 이를 통해 비선형 GP 사전 분포를 행렬-정규 가중치를 가진 다변량 회귀로 변환한다. 이를 통해 계산 비용을 시간 지점 수에 따라 선형적으로 확장할 수 있다.
• 개선된 깁s 샘플러: 저자들은 효율성을 높이기 위해 기존 깁스 샘플러(Svensson et al., 2016)에 두 가지 핵심적인 수정을 도입하였다:
  1. 하이퍼파라미터 블록 샘플링: 하이퍼파라미터를 개별적으로 업데이트하는 대신, 이를 동적 모델 파라미터와 함께 공동으로 샘플링한다. 이는 현재 파라미터 값에 대한 의존성을 줄이고 혼합을 개선한다.
  2. 보조 입자 필터(Auxiliary Particle Filter, APF): 표준 부트스트랩 입자 필터를 APF로 대체한다. 모델 내의 국소적 공액성(local conjugacy)을 활용함으로써, APF는 국소적으로 최적인 제안 분포와 보조 가중치 함수를 구축한다. 이는 입자 퇴화(particle degeneracy)를 완화하고, 잠재 상태 궤적의 혼합을 개선하며, 수렴에 필요한 입자 수를 줄여준다.
• 구현: 알고리즘은 C++를 통해 Rcpp로 구현되었으며, gpssmR R 패키지를 통해 제공된다.

검증 및 결과
제안된 방법은 베이지안 샘플러가 타겟 사후 분포로부터 유효한 샘플을 생성하는지 테스트하는 방법인 시뮬레이션 기반 교정(SBC)을 통해 엄격하게 검증되었다.

• 교정: 200개의 시뮬레이션 데이터셋(단변량 및 이변량 잠재 상태 포함)에 대해, 샘플러는 잘 교정된 사후 추론을 생성하였다. 참값이 사후 추출물들 사이에서 갖는 순위는 균등 분포를 따랐으며, 경험적 누적 분포 함수(ECDF)는 이론적 균등 분포의 95% 신뢰 영역 내에 머물렀다.
• 수렴: 개선된 샘플러는 거의 모든 시뮬레이션 데이터셋에서 신뢰할 수 있는 수렴성($\hat{R} < 1.01$)과 높은 유효 샘플 크기(ESS)를 보여주었다. 트레이스 플롯(Trace plots)은 제안된 샘플러가 기존 알고리즘에 비해 하이퍼파라미터에 대해 현저히 나은 혼합 성능을 달성했음을 확인시켜 주었다 (예: 한 테스트 케이스에서 한계 분산의 벌크 ESS가 6.85에서 291로 증가함).
• 경험적 적용:
  1. 포식자-피식자 역학: 캐나다 스라소니와 눈신토끼 모피 데이터에 적용되었을 때, 모델은 종(species) 간의 관계를 미리 지정된 로트카-볼테라 방정식을 사용하지 않고도 순환적이고 비선형적인 상호작용을 성공적으로 학습하였다. 학습된 벡터장은 특유의 위상 지연(phase lag)과 진동 행동을 재현하였다.
  2. fMRI 데이터: 체성감각 피질과 소뇌의 BOLD 신호에 적용되었을 때, 모델은 이안정성(bistable) 동적 시스템을 포착하였다. 학습된 역학은 고활성 상태와 저활성 상태 사이의 조건부 평형 및 전환 동작을 드러내며, 복잡하고 비정상적인 신경 데이터를 처리할 수 있는 모델의 능력을 입증하였다.

의의 및 주장
본 논문은 응용 연구가 접근 가능한, 체계적으로 검증된 최초의 HSGP-SSM용 베이지안 추정기를 제공한다고 주장한다. 하이퍼파라미터 추정 및 식별성 문제를 해결함으로써, 저자들은 연구자가 경직된 파라미터 형태를 지정할 필요 없이 비선형 동적 시스템을 통계적으로 학습할 수 있도록 돕는다.

저자들은 이 방법이 중요한 진전이지만, "차원의 저주"에 직면해 있다는 점을 겸허히 언급하였다. 기저 함수의 수는 상태 변수의 수에 따라 기하급급적으로 증가하며, 입자 필터는 차원이 높아짐에 따라 더 많은 입자를 필요로 하므로, 이 접근법은 적은 수의 잠재 상태(예: $d \le 2$ 또는 $3$)를 가진 시스템으로 제한된다. 또한, 현재 구현은 모든 상태 역학에 대해 공유된 GP 사전 분포와 선형 가우시안 측정 모델을 가정하고 있으나, 이 프레임워크는 이론적으로 확장 가능하다.

궁극적으로, 이 연구는 생태학에서 신경과학에 이르는 다양한 분야에서 선형 근사와 미리 지정된 파라미터 모델의 한계를 넘어, 복잡하고 비선형적인 잠재 역학을 밝혀내고자 하는 연구자들에게 실용적이고 검증된 워크플로우를 제공한다.