🌀 nonlinear sciences

Dynestyx: A Probabilistic Programming Library for Dynamical Systems

本論文では、状態空間モデルへのファーストクラスのサポートを提供し、ユーザーが事前分布を容易に指定し、混合効果データに対して推論を行い、離散および連続的な動的システムの両方に対して原理的な不確実性定量化を得ることを可能にする確率的プログラミングライブラリ、Dynestyxを紹介する。

原著者： Daniel Waxman, Dmitry Batenkov, John Feser, Andy Zane, Eli Bingham, Youssef Marzouk, Matthew E. Levine

公開日 2026-06-16

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daniel Waxman, Dmitry Batenkov, John Feser, Andy Zane, Eli Bingham, Youssef Marzouk, Matthew E. Levine

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、複雑な機械（例えば車のエンジン）を理解しようとしていると想像してください。しかし、その内部を見ることはできません。あなたに見えるのは、スピードメーターや燃料計、そしてエンジンから聞こえる音（これらが観測値です）だけです。また、エンジンの内部では隠れた部品が動いており（これが潜在状態）、アクセルを踏むことでその動きを変えられることも分かっています（これが制御です）。

Dynestyxは、データが乱れていたり不完全であったりする場合でも、その隠れたエンジンの内部で一体何が起きているのかを科学者やエンジニアが正確に解明するための、新しいソフトウェアツールです。

以下に、この論文の主張を簡単な比喩を用いて解説します。

1. 問題点：「サイロ化」されたツール

このツールが登場する前、こうした隠れた機械の仕組みを解明することは、設計図を描く人、レンガを積む人、壁を塗る人が、それぞれ異なる言語を使い、異なる道具を使っている状態で家を建てようとするようなものでした。

問題の本質: 科学者は、新しい問題ごとにカスタムの使い捨てコードを書かなければなりませんでした。もし、エンジンの内部状態を推測する新しい方法をテストしたいと思っても、多くの場合、ソフトウェア全体をゼロから作り直す必要がありました。これにより、異なる手法を比較したり、発見のための標準的な「レシピ」に従ったりすることが困難になっていました。

2. 解決策：ユニバーサル・アダプター

Dynestyxは、これらの問題に対するユニバーサル・アダプター、あるいは「スイスアーミーナイフ（万能ナイフ）」として機能します。これは、NumPyroと呼ばれる人気の高いプログラミング言語の上に構築されています。

「関心の分離」: 著者らは、Dynestyxを、機械が「何であるか」（モデル）と、それを「どのように解明するか」（数学的アルゴリズム）を明確に分離できるように設計しました。
- 比喩: あなたがレシピ（モデル）を書いていると想像してください。Dynestyxを使えば、一度レシピを書けば、そのレシピを書き直すことなく、電子レンジ、オーブン、あるいはグリルといった異なる調理法（数学的アルゴクション）を選択して料理することができます。

3. 仕組み：「ブラックボックス」と「推測器」

このツールは、主に2種類の時間に基づくシステムを扱います。

離散時間: ビデオゲームのように、世界がフレームごとに更新されるもの。
連続時間: 複雑な物理方程式によって記述される、現実世界の川の流れのように滑らかに流れるもの。

Dynestyxでは、システムのルール（「ドリフト」と「拡散」。これらは、システムが自然にどのように動くか、およびどれくらいランダムに揺れ動くかを表す専門用語です）を定義できます。一度ルールを定義すれば、Dynestyxはエフェクトハンドラ（effect handlers）（巧妙なプログラミングのトリック）を使用して、異なる「推測」アルゴリズムを即座に切り替えることができます。

4. 「ミックス・アンド・マッチ」のメニュー

論文では、膨大なメリットである**「組合せの力（Combinatorial Power）」**を強調しています。

メニュー: 特定の隠れた状態を推定する方法（例：移動物体を追跡する標準的な方法である「カルマンフィルター」）と、特定のパラメータを推測する方法（例：あらゆる可能性を探索する方法である「MCMC」）を組み合わせることができます。
革新性: 著者らは、これらすべての組み合わせを示す表（論文内の表1）を作成しました。
- 一部の組み合わせは、他のソフトウェアですでに実現されていました。
- 「＋」記号: 論文では、Dynestyxが特定の組み合わせを初めて実現したことを主張しています。例えば、特定の種類の「アンサンブル・カルマンフィルター」と「勾配情報を利用したMCMC」を組み合わせることは、以前は不可能であったり、カスタムコードを必要としたりしました。Dynestyxは、これを標準的な「プラグ・アンド・プレイ（差し込むだけで使える）」機能にしました。

5. 「混合効果」の処理

このツールは、**混合効果モデル（Mixed-Effect Models）**も扱います。

比喩: 様々な車（個体）がどのように振る舞うかを研究していると想像してください。速い車もあれば遅い車もありますが、すべては同じ基本的なエンジンのルールに従っています。Dynestyxは、すべての車に共通する一般的なルールを学習すると同時に、それぞれの個体特有の癖も一度に解明することができます。

主張の要約

この論文は、特定の医療問題やエンジニアリング上の危機を解決すると主張しているわけではありません。代わりに、ワークフローの問題を解決すると主張しています。

統一されたインターフェース: Python内で動的なシステムを一度だけ記述すればよい。
交換可能な手法: モデルの記述を変更することなく、数学的アルゴリズム（フィルター、サンプラー、オプティマイザ）を入れ替えることができる。
新しい組み合わせ: これまで容易ではなかったアルゴリズムの組み合わせを解禁し、研究者が自身の特定の問題に対してどの「推測」方法が最適であるかを体系的に比較できるようにした。

要するに、Dynestyxは、隠れたシステムを追跡するという、乱雑でカスタムコードだらけの世界を、クリーンでモジュール化された、実験に適した環境へと変えるライブラリなのです。

技術要約：Dynestyx – 動的システムのための確率的プログラミングライブラリ

問題提起
状態空間モデル（SSM）は、動的システムのベイズ的取り扱いにおける標準的な定式化であり、神経科学、信号処理、機械学習などの分野で極めて重要な応用先を持っています。その理論的重要性と実用的な有用性にもかかわらず、動的システムを現代的な確率的プログラミング言語（PPL）に統合することは困難であることが証明されてきました。その結果、最先端の推論手法は独自の専用コードベースに限定されることが多く、厳格な「ベイズ・ワークフロー」に従おうとする実践者に摩擦を生じさせています。この分離は、推論アルゴリズムの系統的な比較を妨げ、潜在状態とモデルパラメータの両方を推定するための高度な手法へのアクセシビリティを制限しています。

手法
著者らは、NumPyroの拡張として構築された確率的プログラミングライブラリであるdynestyxを導入します。Dynestyxは、SSMに対するファーストクラスのサポートを提供しつつ、PPLの原則である「関心の分離（separation of concerns）」を遵守するように設計されています。

統一インターフェース: 本ライブラリは、離散時間および連続時間の動的システムの両方に対して、単一の統一されたインターフェースを通じて任意の事前分布を指定することを可能にします。
- 離散時間: $x_{t+1} \sim p(x_{t+1} | x_t, u_t, t)$ によって定義されます。
- 連続時間: 確率微分方程式（SDE） $dx_t = f(x_t, u_t, t) dt + L(x_t, u_t, t) d\beta_t$ によって定義されます。
- 観測: 状態は $y_t \sim p(y_t | x_t, u_t, t)$ を通じて結合されます。
コンポーネントの直交化: Dynestyxは、以下の3つの異なるコンポーネントをデカップル（分離）します。
1. モデル仕様: 結合事前分布 $p(\theta, \phi)$ と動的構造（DynamicalModelを使用）を定義するPython関数。
2. 周辺尤度（ML）推定: ユーザーは、扱いにくい周辺尤度 $p(y_{1:T} | \theta, \phi)$ を近似するための推論アルゴリズム（例：カルマンフィルタ、パーティクルフィルタ、アンサンブルカルマンフィルタ）を選択します。
3. パラメータ推論: 得られた対数事後分布は、標準的なNumPyroの推論ルーチン（例：HMC、NUTS、変分推論、SG-MCMC）に渡されます。
エフェクトハンドラによる実装: 本ライブラリは、dsx.sampleステートメントを解釈するために、エフェクトハンドラ（Plotkin and Pretnar, 2009に触発されたもの）を利用しています。これにより、モデルの定義は特定の数値離散化器やフィルタリングアルゴリズムに依存しない状態を維持でき、すべての近似処理を推論フェーズへと委ねることができます。
混合効果サポート: 本ライブラリは、プレート・プリミティブを介して混合効果動的システムを実装しており、あらゆる組み合わせのML推定器およびパラメータ推論法と互換性のある階層的データ構造に対する推論を可能にします。

主な貢献

PPLにおけるファーストクラスのSSMサポート: Dynestyxは、複雑な動的システム理論と現代的な確率的プログラミングの間の溝を埋め、最先端の手法を標準的なNumPyroのワークフロー内で利用可能にします。
組合せの柔軟性: モデル仕様、ML推定、およびパラメータ推論を直交化することで、Dynestyxは膨大なアルゴリズムの組み合わせのデザイン空間を可能にします。ユーザーは、モデルのコードを書き換えることなく、フィルタリングアルゴリズム（例：EKF、UKF、パーティクルフィルタ）とパラメータ推論法（例：HMC、変分ベイズ）を入れ替えることができます。
新規な手法の組み合わせ: 本ライブラリは、著者らの知る限り、文献には登場していない推定器と推論法の組み合わせを実装しています。これには、連続・離散SSMと勾配情報を利用したMCMC（例：CD EnKFとMALA）の組み合わせや、論文の対応表に詳述されているその他の様々なハイブリッド構成が含まれます。
既存のエコシステムとの統合: Dynestyxは、カルマンフィルタリング、RTSスムージング、および微分可能なパーティクルフィルタリングを含む幅広い状態推定アルゴリズムを提供するために、dynamax、cd-dynamax、cuthbertといった既存のソフトウェアライブラリと統合されています。

結果と能力
本論文は、dynestyxが理想化されたデータ生成プロセスと柔軟な推論戦略の統合に成功していることを示しています。主な能力は以下の通りです。

状態およびパラメータ推定: 混合効果データに対して推論を行い、潜在状態とパラメータの両方について、原理に基づいた不確実性定量化を伴う推定値を生成する能力。
アルゴリズム比較: 本フレームワークは、異なる推論手法の構成を直接比較することを容易にし、実務者が複雑、柔軟、または潜在的に誤設定されたモデルにおける「経験則」や病理を特定することを可能にします。
互換性: 得られるモデルは、変分推論、HMC/NUTS、および確率的勾配MCMCを含む、ジェネリックなJAXルーチンと完全に互換性があります。

意義
著者らは、dynestyxを、動的システムへのベイズ・ワークフローの適用に伴う現在の摩擦を取り除くツールとして位置付けています。SSMのための統一された表現を提供することで、本ライブラリは高度な手法を実務者にとってより身近にするだけでなく、手法革新のための自然なテストベッドをも提供します。推論アルゴリズムを体系的に構成し比較できる能力は、複雑なモデルの挙動に関する新たな洞察の発見を促進し、ベイズ動的システム分野におけるさらなる進展を駆動する可能性があります。