🤖 machine learning

In-Context Learning of Stochastic Differential Equations with Foundation Inference Models

本論文は、多様なSDEパスに対するインコンテキスト学習と教師あり学習を活用することで、ノイズを含む時系列データからドリフト関数および拡散関数を正確かつゼロショットで推定する事前学習済み基盤モデルであるFIM-SDEを導入しており、ターゲットデータセットに対してファインチューニングを行った際にも、従来のベースラインを一貫して上回る性能を示す。

原著者： Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

公開日 2026-06-09

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Patrick Seifner, Kostadin Cvejoski, David Berghaus, Cesar Ojeda, Ramses J. Sanchez

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、誰かがゲームをしている様子を観察することで、そのゲームのルールを解明しようとしていると想像してください。ただし、そこには一つ、厄介な条件があります。プレイヤーは目に見えないランダムな突風に翻弄されているのです。プレイヤーがどこへ動いたかは見えますが、風自体は見えません。さらに、あなたの視界は時々ぼやけたり、遮られたりします。

これは、科学者が**確率微分方程式（SDE）**を研究する際に直面する問題です。SDEとは、予測可能な流れ（川の流れのようなもの）と、ランダムな混沌（風のようなもの）が混ざり合った状態で動くシステムを記述する数学的な公式です。目的は、これらを制御している2つの隠れた「関数」を見つけ出すことです。

ドリフト（Drift）: 予測可能な部分（川の流れ）。
拡散（Diffusion）: ランダムな部分（風）。

通常、これらのルールを解明するには、膨大なデータ、多大な時間、そしてルールがどのような形をしているかという多くの推測が必要になります。もしデータが乱れていたり、乏しかったりする場合、従来の手法は失敗したり、計算に膨大な時間がかかったりします。

新しい解決策：FIM-SDE

この論文の著者たちは、FIM-SDE（SDEのための基盤推論モデル）と呼ばれる新しいツールを紹介しています。FIM-SDEを、シミュレーション・ラボで何百万もの偽のゲームを研究してきた超スマートな探偵だと考えてください。

その仕組みを、簡単な比喩を使って説明します。

1. 「トレーニングキャンプ」（事前学習）

探偵が初めて本物の事件に遭遇する前に、彼らは大規模なトレーニングキャンプに入ります。

シミュレーション: 研究者たちは60万個の偽のシナリオを生成します。彼らはランダムな「ドリフト」と「拡散」のルール（主に多項式のような単純な数学公式）を考案し、ゲームをシミュレートした後、意図的にデータを「汚染」します。ノイズを加え、視界をぼやけさせ、時間ステップを飛ばします。
レッスン: 探偵（AIモデル）は、これらの乱れた偽のゲームログを見て、それらを作り出した隠れたルールを即座に推測するように訓練されます。これにより、混沌の中にあるパターンを認識する方法を学びます。

2. 「ゼロショット」の超能力（インコンテキスト学習）

訓練を終えた探偵は、全く新しいゲームログ（現実世界のデータ）を見ても、そのゲームを何時間も研究することなく、即座にルールを推測できます。

比喩: あなたが何千もの異なる種類の気象パターンを見たことがあると想像してください。もし誰かが、少しぼやけた新しい嵐の写真をあなたに見せたら、あなたは新しいコンピュータ・シミュレーションを実行する必要はなく、「ああ、これは低気圧による高風速のシステムだ」と即座に言えるはずです。
結果: FIM-SDEは、株価、原油価格、風速などの乱れたデータを見て、その背後にあるルールを、そのデータを数日間分析してきた専門家とほぼ同等の精度で推測できることを、この論文は示しています。

3. 「短期集中学習」（ファインチューニング）

時には、探偵の最初の推測は良くても、完璧ではないことがあります。もしかすると、現実のゲームにはトレーニングキャンプではカバーできなかった奇妙な癖があるのかもしれません。

比喩: 最初からやり直すのではなく、探偵には短い復習コースが必要です。
結果: 論文によれば、FIM-SDEはわずか100ステップ（イテレーション）で特定の新しいデータに適応できます。他の手法では、同じ精度を得るために5,000ステップが必要になるかもしれません。これは、探偵はすでに言語を知っており、単に新しい流行語を学ぶ必要があるだけであり、他の手法はゼロから言語全体を学ぼうとしている状態に似ています。

何をテストしたのか？

著者たちは、この探偵を2種類のチャレンジでテストしました。

古典的な物理学の問題: 「ダブルウェル（二重井戸）」（2つの丘の間を転がるボール）や「ローレンツ・アトラクター」（有名な混沌とした気象モデル）のようなシステム。
現実世界のデータ: FacebookやTeslaの株価、原油価格の変動、および風速の記録。

判定

乱れたデータに対して: FIM-SDEは、従来の手法よりもはるかに堅牢です。データにノイズが多い、あるいは乏しい場合、従来の手法はしばしばお手上げ状態になったり、誤った答えを出したりします。しかし、FIM-SDEは機能し続けます。
スピードについて: 適応が驚異的に速いです。以前のディープラーニング手法よりも50倍速く、新しいシステムを学習できます。
精度について: 特定のデータに対して手短な「ファインチューニング」を行うと、FIM-SDEは（記号数学やガウス過程を含む）他のすべての手法を精度で上回ります。

限界（注釈）

論文は、この探偵がまだできないことについても正直に述べています。

単純なルールのみ: 探偵は比較的単純な数学的ルール（多項式）に基づいて訓練されています。もし現実世界が非常に複雑で非数学的なルールを使用している場合、探偵は苦戦する可能性があります。
小さなシステム: これは1〜3個の変数を持つシステム（3次元空間を動くボールなど）に最適です。数百の変数を持つシステムに適用しようとすることは、現在のところ、トレーニングキャンプのシミュレーションが遅くなりやすく、エラーも発生しやすいため、非常に困難です。

要約すると： FIM-SDEは、何百万ものシミュレーションからランダムな運動の「文法」を学ぶ、事前学習済みのAIです。それは、乱れた現実世界の物語を即座に読み取り、そのルールを推測できます。そして、少しの助けを与えれば、他の誰よりも速く、そのルールを当てるための最高の存在となります。

技術要約：基礎推論モデルによる確率微分方程式のインコンテキスト学習

問題提起

確率微分方程式（SDE）は、決定論的な流れ（ドリフト）にランダムな変動（拡散）が重畳された動的システムをモデル化する。機械学習や科学的発見における中心的な課題は、ノイズを含む時系列データからこれらのドリフト関数および拡散関数を正確に推定、あるいは「発見」することである。

既存のアプローチには、以下のような重大な制限がある：

記号回帰（Symbolic Regression）: 基底関数の辞書を事前に指定する必要があり、多くの場合、高密度でクリーンなデータを必要とする。
ガウス過程（GP）回帰: 非パラメトリックな事前分布を用いるが、事前知識に敏感であり、データが疎（スパース）であったりノイズが多い場合には収束に苦慮することが多く、しばしば変分近似を必要とする。
ニューラルSDE（Neural SDEs）: ドリフトと拡散をニューラルネットワークで表現するが、通常、SDEソルバーを通じたバックプロパゲーション（多くの場合、随伴感度法を用いる）を伴うコストの高い学習が必要であり、新しいシステムごとにゼロから再学習しなければならない。

本論文は、広範な再学習を行うことなく、ノイズを含むデータからSDE関数をインコンテキスト（ゼロショット）で推定でき、かつ疎な観測やノイズに対して堅牢である手法へのギャップを特定している。

手法：FIM-SDE

著者らは、ノイズを含む離散観測されたSDEパスから、その背後にあるドリフトおよび拡散関数を直接マッピングするように設計された、事前学習済みのニューラル認識モデルであるFIM-SDE（Foundation Inference Model for SDEs）を導入する。この手法は、主に2つのコンポーネントで構成されている。

1. データ生成モデル

未知のシステムへと汎化可能なモデルを構築するために、著者らは生成的事前分布 $p_{prior}(f, G)$ に基づく合成データセットを構築した。

関数空間: ドリフト関数は次数 $\leq 3$ の多項式から、拡散関数は正の次数 $\leq 2$ の多項式からサンプリングされる。これは、カオス系を含む幅広い物理モデルをカバーしている。
シミュレーションと破損: SDEパスはオイラー・丸山法（Euler-Maruyama scheme）を用いてシミュレートされる。これらのパスは、現実世界のデータを模倣するために「破損」される：
- ノイズ: 加法的ガウスノイズが適用される。
- 不規則なサンプリング: パスはサブサンプリングされ、シミュレーションステップ（ $\Delta t$ ）よりも大幅に大きい不規則な観測間隔（ $\Delta \tau$ ）が作成される。
学習データ: データセットは、破損した時系列の組と、それらに対応する正解のドリフト／拡散ペアで構成される。

2. ニューラル認識モデルアーキテクチャ

FIM-SDEは、ニューラルオペレータ（特にDeepONet）とアモルタイズド推論（amortized inference）に着想を得たTransformerベースのアーキテクチャである。

入力表現: 入力コンテキストは、ノイズを含む時系列から導出された遷移タプル $(y_i, \Delta y_i, \Delta y_i^2, \Delta \tau_i)$ である。 $\Delta y^2$ を含めることで、ネットワークはドリフトと拡散の推定のための別個のフィーチャチャネルを学習できる。
コンテキスト行列: 自己注意機構を持つTransformerエンコーダ（ $\Psi$ ）が、埋め込まれた遷移タプルを処理して「コンテキスト行列」を作成する。これは、観測履歴全体をエンコードするDeepONetのBranch-netに相当する。
関数的アテンション（Functional Attention）: 特定のクエリ位置 $x$ におけるドリフトまたは拡散を推定するために、モデルは「関数的アテンション」メカニズムを採用する（これはDeepONetのTrunk-netに相当する）。このメカニズムは、 $x$ をクエリとしてコンテキスト行列を照会し、 $x$ への空間的な近接性に基づいて遷移を動的に重み付けする。
学習目的関数: 推定された関数と正解との間の加重平均二乗誤差（MSE）を最小化するようにモデルが訓練される。モデルが不確実な領域（例：疎な領域やノイズが多い領域）で数値的不安定性を防ぐために、学習可能な不確実性推定器 $U_\theta$ が使用される。

3. ファインチューニング戦略

FIM-SDEはゼロショットモードで動作するが、迅速なファインチューニングもサポートしている：

高密度データ: 短時間の遷移の尤度を最大化する。
疎なデータ: 観測間のギャップにおいてSDEをシミュレートし、シミュレートされた状態と観測された状態の間の不一致を最小化する。
これにより、モデルは標準的なNeural SDEの手法よりも大幅に少ない反復回数で、特定のターゲットデータセットに適応することができる。

主な貢献

データ生成モデル: 多項式のドリフトおよび拡散に限定されたSDEパスをサンプリングおよび破損させるための新しいモデル。著者らは、このモデルが強力な事前知識をエンコードしており、イン分布の合成システムと実世界のデータセットの両方への汎化を可能にすることを経験的に示している。
初のインコンテキスト・ニューラル認識器: FIM-SDEは、ノイズを含むデータから低次元SDEのドリフトおよび拡散関数をゼロショットで推定できる初のニューラルモデルである。
迅速な適応: ファインチューニングにおいて、FDE-SDEは標準的なNeural SDE手法よりも最大50倍速く収束し、最終的にはそれらを凌駕する。

実験結果

著者らは、8つの典型的なSDEシステム（例：ダブルウェル、ローレンツ・アタトラクター）と4つの実世界のデータセット（Facebook/Teslaの株価、原油価格、風速）を用いてFIM-SDEを評価した。

ゼロショット性能: 様々なノイズレベル（ $\rho$ ）および観測ギャップ（ $\Delta \tau$ ）を持つ典型的なシステムにおいて、FIM-SDEは堅牢な性能を示した。ノイズが多い、あるいは疎な設定において、FIM-SDEは記号回帰（BISDE）やガウス過程（SparseGP）のベースラインを一貫して上回った。クリーンで高密度なデータにおいては、これらのベースラインと同等の性能を発揮した。特筆すべきは、記号的手法やGP手法がしばしば無効なSDE推定値を生成したり収束に失敗したりする場面でも、FIM-SDEは安定性を維持した点である。
実世界データ: 株価データにおいて、FIM-SDEのゼロショット性能はBISDEおよびLatentSDEを上回った。風速および原油のデータでは、ゼロショット性能はBISDEにわずかに及ばなかったものの、FIM-SDEのファインチューニングはすべてのシステムにおいて最高の全体的性能をもたらした。
効率性: ローレンツ・アタトラクターでファインチューニングを行った際、FIM-SDEは100回の反復未満で、LatentSDE（5000回の反復で訓練）を上回る性能を示した。実世界のデータセットにおいて、FIM-SDEはLatentSDEの5000回に対し、わずか100回のファインチューニング反復を必要とし、50倍の計算量削減を実現した。

意義と主張

本論文は、FIM-SDEがSDE発見のための真の**基礎モデル（foundation model）**として機能すると主張している。その意義は以下の通りである：

学習のボトルネックの回避: 新しいデータセットごとに、コストのかかるシステム固有の学習パイプラインやSDEソルバーを通じたバックプロパゲーションを必要とするプロセスを排除する。
堅牢性: 明示的な変分正則化を必要とせずに、ノイズが多く、疎で、不規則にサンプリングされたデータを効果的に扱うことができる。
科学的自動化: ゼロショットでの解決策を提供し、迅速に適応可能にすることで、ダイナミクスに関する事前知識が乏しいシナリオにおける科学的発見の自動化への道筋を示す。

著者らは、現在の事前分布が低次の多項式ドリフト／拡散および低次元システムに制限されているという限界を認めている（高次元サンプリングにおける拒絶率のため）。しかし、この制限されたクラスから学習された強力な帰納バイアスが、実世界のアプリケーションに対する強力な初期化として機能するのに十分であると断じている。