🧬 biology

Online Generalised Predictive Coding

本論文は、時間スケールの分離を通じて動的環境における潜在状態の同時オンライン推論、モデルパラメータの学習、および不確実性の推定を可能にする動的期待最大化の拡張であるオンライン一般化予測符号化（ODEM）を導入し、不一致またはカオス的な生成モデルであってもその堅牢性を示す。

原著者： Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

あなたの脳を、リアルタイムで謎を解こうとする探偵だと想像してみてください。毎秒、新しい手がかり（感覚データ）が到着し、探偵は瞬時に何が起きているかについての仮説を更新し、ゲームのルールを学び、自分の感覚をどの程度信頼できるかを判断しなければなりません。

この論文は、コンピューターにまさにこの探偵が行うことを可能にする新しい数学的ツール「ODEM（オンライン動的期待値最大化）」を紹介します。これは、世界が動き続ける中で、機械が周囲の隠れた原因を「推測」し、間違いから学び、自信を調整する方法です。

以下に、簡単な比喩を用いてその仕組みを解説します。

1. 探偵の三つの役割（三重推定）

ほとんどのコンピュータープログラムは、一度に一つの事柄しか行おうとしません。一方、ODEM は「オンライン三重推定」と呼ばれる三つのことを同時に実行しようとします。

隠れた状態の追跡: 今、物事がどこにあるかを突き止めること（例：「あの鳥は左へ飛んでいるのか、右へ飛んでいるのか？」）。
ルールの学習: 世界がどのように機能するかを突き止めること（例：「鳥は通常、直線ではなく曲線を描いて飛ぶ」）。
不確実性の推定: データをどの程度信頼すべきかを決定すること（例：「霧が濃いため視覚は頼りにならない。鳥の飛行パターンに関する記憶をより信頼すべきだ」）。

この論文は、真に「オンライン」であるためには、システムが決定を下す前にすべてのデータを見るのを待ってはならないと主張しています。推測を行い、瞬時にそれを更新し、振り返ることなく次の秒のデータへと進まなければなりません。

2. 「滑らかさ」のトリック（一般化座標）

1 秒後の車がどこにいるかを予測しようとしていると想像してください。

従来の方法: 車が「現在」どこにいるかだけをみます。車が急に曲がれば、予測が遅れる可能性があります。
ODEM の方法: 車の位置、速度、加速度、さらには加速度がどのくらい速く変化しているか（ジャーク）を考慮します。

この論文では、これを「運動の一般化座標」の使用と呼んでいます。これは、車の位置の写真を撮るだけでなく、その速度やドライバーがアクセルをどの程度強く踏んでいるかも記録する映画カメラのようなものです。動きの「滑らかさ」を知ることで、システムは車が混沌とした予測不可能な動きをしていても、未来をはるかに正確に予測できます。

3. 速度の罠（時間スケールの分離）

この「探偵仕事」における最大の課題の一つは、変化が速いものもあれば、遅いものもあることです。

速い: 移動物体の位置（ミリ秒単位で変化する）。
遅い: ゲームのルールや空気中のノイズの量（数分や数時間かけて変化する）。

ODEM は、「時間スケールの分離」と呼ばれる巧妙なトリックを使用します。これは、物体の追跡といった「速い」更新と、ルールの学習といった「遅い」更新を、異なる速度で実行される二つの異なる仕事として扱います。

速い仕事: 反射のように絶えず更新されます。
遅い仕事: 新しい習慣を学ぶように、時折のみ更新されます。

これにより、システムが混乱することを防ぎます。鳥が羽ばたくたびに物理法則を書き換えようとはせず、パターンが長期間持続する場合にのみ法則を更新します。

4. 試験：「間違った」地図

システムが機能することを証明するため、研究者たちは困難な試験を設定しました。

現実: 彼らは、一般化ロトカ・ヴォルテラ方程式と呼ばれる数学モデルを用いて、複雑で混沌とした世界を作成しました（これは、餌を求めて相互作用し戦う 3 種の動物のシミュレーションだと考えてください）。
探偵: 彼らは ODEM システムに、ローレンツ系と呼ばれる全く異なる数学モデルに基づいた「地図」を与えました（これは通常、気象パターンのシミュレーションに使用されます）。

通常、ジャングルを都市の地図を使ってナビゲーションしようとすれば、道に迷ってしまいます。しかし、ODEM が「滑らかな運動」のトリック（一般化座標）と「速度の罠」のトリック（時間スケールの分離）を使用していたため、内部の地図が自分がいる世界のタイプについて根本的に間違っていたにもかかわらず、動物の動きを驚くほどよく追跡することができました。

5. 結果：より優れた探偵

この論文は、ODEM が以下のことを可能にすることを示しています。

世界が混沌としていても、隠れた状態を正確に追跡する。
間違ったパラメータから始めても、時間とともに正しい「ルール」（パラメータ）を学習する。
データのノイズの程度に基づいて、自信（不確実性）を調整する。

著者らは、この手法が、新しいデータが到着するたびに過去のすべての事象を停止して再分析する必要なく、人間の脳と同様に、機械がリアルタイムで学習し適応するための、生物学的に着想を得た方法を提供すると結論付けています。

要約すると: ODEM は、物事がどのように滑らかに動くかを見ることで未来を推測し、ルールをゆっくりと学習し、視覚と記憶のどちらを信頼すべきかを知りながら、世界が回り続ける中で推測する、賢く速く学習するシステムです。

技術的サマリー：オンライン一般化予測符号化

問題定義

本論文は、動的環境におけるオンライン三重推定の課題に取り組んでいる。脳に着想を得た計算の文脈において、これは感覚データが到着するにつれて、リアルタイムで以下の 3 つのタスクを同時に実行することを意味する：

オンライン隠れ状態推論：世界の潜在動的状態を推定する。
オンラインパラメータ学習：生成モデル（GM）の未知パラメータを推論する。
オンライン不確実性推定：状態および観測ノイズの精度（分散の逆数）を推定する。

主な困難さは、問題のオンライン性にある。全時系列を再訪して解に収束できるオフライン方式とは異なり、オンラインシステムは各データ点を正確に 1 回だけ処理しなければならない。次の観測が到着する前に、内部状態やパラメータを反復的に洗練させることはできない。これは、特に真の生成過程（GP）の関数形式が推論に用いられるモデルと異なる場合、厳密な時間制約下で迅速かつ正確な更新を可能にする計算スキームを必要とする。

手法

理論的枠組み

提案された手法であるオンライン動的期待最大化（ODEM）は、自由エネルギー原理（FEP）と変分推論（VI）に基づいている。これは、負の対数モデル証拠の上限となる変分自由エネルギー（VFE）の最小化として知覚を定式化する。VFE は、データへの適合を表す精度項と、事前信念からの乖離を罰する複雑性項に分解され、オッカムの剃刀に従う。

連続時間ダイナミクスに対して VFE を扱いやすくするため、著者らはラプラス近似を用い、事後分布をガウス分布で近似する。これにより、VFE は精度で重み付けされた予測誤差の和に還元される。

運動の一般化座標（GCM）

ODEM の中核的な構成要素は、**運動の一般化座標（GCM）**の使用である。隠れ状態の位置（ $x_t$ ）のみをモデル化するのではなく、このモデルは高次時間微分（速度、加速度、ジャークなど）のベクトルを推論する： $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$ 。

これにより、モデルはカルマンフィルタや粒子フィルタとは異なり、閉形式の遷移密度やモンテカルロシミュレーションを必要とせずに、システムの滑らかなダイナミクスを捉えることができる。
このモデルは、GP におけるランダムな変動が一定の滑らかさを持つと仮定し、標準的なウィーナー過程の仮定を緩和する。
一般化観測（ $\tilde{y}_t$ ）は、有限差分を介して感覚入力の高次微分を近似することで構築される。

時間スケールの分離

ODEM は、ハッケンのシナジェティクスに着想を得て、3 つの推定タスクを管理するために重要な時間スケールの分離を実装している：

高速 D ステップ（状態推論）：すべての観測で発生する。VFE 表面の曲率（大崎方式）によって正則化された、VFE の勾配ベースの最小化を用いて隠れ状態を継続的に更新する。これは高速に移動する外部状態を追跡する。
低速 E ステップ（パラメータ学習）：より頻度が低い（interEM 観測ごと）。データウィンドウにわたって蓄積された勾配を用いてモデルパラメータ（ $\theta$ ）を更新する。これは、シナプス可塑性や変化するコンテキストのより遅い時間スケールを反映する。
低速 M ステップ（不確実性/精度推定）：E ステップと同じ遅い時間スケールで発生する。状態および観測ノイズの精度ハイパーパラメータ（ $\lambda$ ）を更新する。これは注意メカニズムと解釈され、予測誤差の重み付けを調節する。

アルゴリズム

ODEM アルゴリズムは、観測 $y_t$ を反復処理する：

観測を $\tilde{y}_t$ に一般化する。
D ステップを実行する：ヤコビアンに基づく更新則を用いて、状態事後分布の平均（ $\tilde{\mu}_x$ ）を更新する。
パラメータおよび精度のための勾配を蓄積する。
interEM で定義された間隔で、E ステップおよびM ステップを実行する：ロビンス・モンロ学習率を用いてパラメータ（ $\theta$ ）および精度（ $\lambda$ ）事後分布の平均と共分散を更新し、その後、勾配蓄積子をリセットする。

主要な貢献

ODEM アルゴリズム：非線形で、潜在的にカオス的なシステムにおける三重推定のために特別に設計された、動的期待最大化（DEM）アルゴリズムのオンライン変種の導入。
一般化予測符号化の実装：閉形式の遷移密度なしでダイナミクスをモデル化するために GCM を利用する、ODEM の Python/PyTorch 実装。
モデルミスマッチに対する頑健性：高次の運動が使用される場合、GM の関数形式が GP と本質的に異なっても（例えば、一般化ロトカ・ヴォルテラ過程を推論するためにローレンツモデルを使用する場合など）、ODEM が潜在状態を正常に追跡できることの証明。

実験結果

著者らは、滑らかで相関のあるノイズを持つ**一般化ロトカ・ヴォルテラ（GLV）**生成過程（GP）を用いて ODEM を検証した。2 つの GM をテストした：

シナリオ - 同一：GLV-GM（GP と一致）。
シナリオ - 異なる：ローレンツ-GM（ミスマッチした関数形式）。

主要な知見：

GCM 次数の影響：運動の次数（ $k_x$ ）を 2 から 3 に増加させることは、特にシナリオ - 異なるの場合、追跡性能を著しく向上させた。 $k_x=2$ では、ローレンツ-GM は GLV-GP の追跡に苦労したが、 $k_x=3$ では追跡が大幅に改善された。シナリオ - 同一の場合、GLV-GM はどちらの次数でも良好に機能した。これは、構造的仮定がミスマッチする場合に GCM が最も重要であることを示唆している。
収束：パラメータ（ $\mu_\theta$ ）および精度（ $\mu_\lambda$ ）の事後推定値は時間とともに安定した。パラメータ推定値周りの不確実性（信頼区間）は、運動の次数が高いほど速く減少した。
自由行動（FA）：FA 値（モデル証拠の代理）は、シナリオ - 同一（GLV-GM）の方がシナリオ - 異なる（ローレンツ-GM）よりも低かった。運動の次数が高いほど精度は向上したが、複雑性も増加したため、次数全体を通じて同様の全体的な FA 値となった。
精度比の感度：性能は事前精度比 $C$ （期待される観測ノイズ精度と状態ノイズ精度の比）に対して非常に敏感であり、感覚データと内部ダイナミクスに対する相対的な信頼の調整の重要性を浮き彫りにした。

意義と主張

本論文は、ODEM がオンライン推論、学習、および不確実性推定に対する生物学的に着想を得た解決策を提供すると主張している。時間スケールを分離することで、それは脳が高速な状態推定（高速な神経ダイナミクス）を実行しつつ、同時により遅いパラメータ（シナプス可塑性）と注意（ニューロモジュレーション）を適応させる能力を模倣する。

著者らは、ODEM が生物学的および人工的なエージェントの両方における適応的推論を研究するためのスケーラブルな枠組みを提供すると主張している。重要なのは、運動の一般化座標における推論が、モデルの構造的仮定が真の生成過程と異なっても、モデルが高次微分を通じてダイナミクスの滑らかさを捉えることができれば、複雑で非線形なダイナミクスを追跡可能にすることを示している点である。この研究は、予測符号化、変分推論、およびオンライン動的システムモデリングを架橋し、バッチ最適化や回顧的平滑化を必要としない手法を提供している。