Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

技術要約：粒子MCMCを用いたガウス過程状態空間モデルにおけるベイズ推論と学習

問題提起

状態空間モデル（SSM）は、時系列や動的システムのモデリングに広く用いられており、通常、潜在状態の軌跡 $x_{0:T}$ と状態遷移関数 $f$ によって定義される。大きな課題は、$f$ が未知であり、かつ高度に非線形である場合に発生する。従来のアプローチでは、$f$ に対してパラメトリックな表現を採用するか、あるいは過学習を招く可能性がある期待値最大化（EM）アルゴリズムを用いることが多い。これは、高次元の状態空間や平滑化分布が不確実な場合に特に顕著である。

ガウス過程（GP）は $f$ に対して柔軟でノンパラメトリックな事前分布を提供するが、これをSSMに適用することは困難である。なぜなら、潜在状態 $x_{0:T}$ が観測されないためである。既存の手法は、ターゲットポイントの有限集合を用いてGPを近似することが多く、これによりモデルを実質的にパラメトリックなものに変えてしまっている。また、平滑化のための遷移ダイナミクスとして固定されたモデルに依存している。本論文が取り組む核心的な問題は、モデルの表現力を損なったり、計算コストが膨大になったりすることなく、いかにして非線形かつノンパラメトリックなSSMにおいて完全なベイズ推論と学習を行うかである。

手法

著者らは、ガウス過程事前分布を未知の状態遷移関数 $f$ に直接配置する完全ベイズフレームワークを提案している。観測モデル $g$ は既知（パラメータ化されている可能性はある）と仮定される一方、ダイナミクス $f$ はランダム関数として扱われる。

1. 遷移関数の周辺化
状態、ハイパーパラメータ、および関数 $f$ の同時結合事後分布を推論する代わりに、著者らは遷移関数 $f$ を周辺化している。この「崩壊（collapsing）」アプローチにより、手法はモデルのノンパラメトリックな性質を維持することができる。状態の軌跡 $x_{0:T}$ を条件付けることで、周辺事前分布 $p(x_{0:T} | \theta)$ はガウス分布の積として表現できる。この分布自体は（平均と共分散が状態に対して非線形に依存するため）ガウス分布ではないが、逐次推論に適した構造を保持している。

2. 粒子マルコフ連鎖モンテカルロ法（Particle MCMC）
結合平滑化分布 $p(x_{0:T}, \theta | y_{0:T})$ からサンプリングするために、著者らは粒子マルコフ連鎖モンテカルロ（PMCMC）サンプラー、具体的には**粒子ギブス・アンセスターサンプリング（PGAS）**を採用している。

• 逐次モンテカルロ法（SMC）： アルゴリズムは、平滑化分布を近似するためにSMCを使用する。しかし、標準的なSMCは、最終的な観測から離れたタイムステップにおいて粒子の多様性が失われる「パスの退化（path degeneracy）」という問題に直面する。
• PGAS： パスの退化を軽減し、ハイパーパラメータ $\theta$ の推論を可能にするために、PGASが使用される。これは、状態の軌跡とハイパーパラメータに対するギブスサンプリングのステップを組み合わせたものである。決定的なのは、状態の軌跡をサンプリングするために**条件付き粒子フィルタ・アンセスターサンプリング（CPF-AS）**を使用している点である。CPF-ASでは、各ステップで一つの粒子軌跡が固定（条件付け）され、他の粒子がサンプリングされる。「アンセスターサンプリング」のステップにより、固定された軌跡がその祖先を再サンプリングすることを可能にし、マルコフ核が正確な平滑化分布を不変に保つことを保証し、混合率を向上させる。

3. 疎なGP構成
計算量の複雑さ（ナイーブな実装では $O(T^4)$ または $O(T^3)$ にスケールする）に対処するため、著者らは**完全独立条件付き（FIC）**事前分布を用いた疎なGP構成を導入している。誘導変数（inducing variables）を導入することで、計算量は $O(M^2T)$ （ここで $M \ll T$ は誘導点の数）に削減される。実装の詳細には、粒子フィルタのフォワード再帰中にこの複雑さを維持するための効率的なコレスキー分解の更新が含まれる。

4. ダイナミクスの学習
結合平滑化分布 $p(x_{0:T}, \theta | y_{0:T})$ からのサンプルが得られた後、遷移関数 $f$ の事後分布は閉形式（closed form）で利用可能となる。新しいテストポイントに対する予測分布は、平滑化分布からのサンプルに対応するガウス分布の混合として定式化される。この混合分布は、観測の曖昧さから生じる多峰性を正しく捉える。

主な貢献

• 完全なノンパラメトリック推論： 本論文は、SSMにおけるガウス過程の完全なノンパラメトリックな表現力を保持する手法を提示しており、関数空間の離散化やダイナミクスに対する特定のパラメトリックな形式の仮定を回避している。
• 周辺化戦略： 遷移関数 $f$ を周辺化することにより、ダイナミクスの学習と状態推定を分離し、状態の軌跡が与えられた場合の平滑化分布の正確な推論を可能にしている。
• SSMへのPGASの適用： GP-SSMへの粒子ギブス・アンセスターサンプリングの適用は、標準的な粒子フィルタのパス退化問題を克服し、結合平滑化分布およびハイパーパラメータ事後分布からの効率的なサンプリングを可能にする。
• 計算効率： 疎なGP手法（FIC事前分布）の統合により、計算負荷が軽減され、より長い時系列へのスケーラビリティが実現されている。

実験結果

著者らは、以下の2つのベンチマークで提案手法を評価している：

1. 非線形システムベンチマーク： 観測の符号の曖昧さに起因する二峰性の平滑化密度を持つシステム。GP-SSMは、状態の軌跡の二峰的な性質を捉え、パラメトリックな平均関数を不適切な状態で初期化した場合でもダイナミクスを正確に学習した。学習されたダイナミクスの平方根平均二乗誤差（RMSE）は、パラメトリックなベースラインよりも大幅に低く、既知のパラメータを持つ真のモデルと同等であった。
2. カート・ポールシステム： 4次元の状態空間を持つ強化学習のベンチマーク。わずか100個のノイズを含む観測のみを使用して、モデルは一歩先の予測が可能なダイナミクス表現を学習した。得られた予測分布（ガウス混合分布）は、訓練データから遠い状態空間の領域では高い不確実性を、訓練データの近くでは低い不確実性を正しく反映していた。

意義と主張

本論文の主要な意義は、GPベースのSSMにおける推論のための不可欠な要素を提供することにある。すなわち、GPモデル自体を完全なベイズ的手法で学習する能力である。GPダイナミクスが既に学習されていると仮定したり、パラメトリックな近似を使用したりした従来の研究とは異なり、このアプローチは適応的なモデルの複雑さを可能にする。

著者らは、本手法がモデルのノンパラメトリックな表現力を保持し、パラメトリックなモデルが見逃す可能性のある複雑な動的現象を捉えられることを強調している。また、本アプローチは、平滑化分布における不確実性が高いシナリオにおいて特に堅牢であり、従来のMAPベースまたはEMベースのアプローチが過学習を起こしやすい状況に適していると述べている。PGASの使用により、推論が従来の平滑化技術の固定されたモデル仮定に制限されることがなく、非線形かつノンパラメトリックな設定におけるシステム同定のための柔軟なフレームワークを提供している。