JointFM-0.1: A Foundation Model for Multi-Target Joint Distributional Prediction

この技術報告書は、確率微分方程式（SDE）をデータに適合させる従来のアプローチを逆転させ、合成 SDE の無限ストリームを学習させることで、タスク固有の調整を一切必要とせず、ゼロショットで結合時系列の未来の確率分布を直接予測する初の基盤モデル「JointFM」を提案し、未知の SDE によるオラクル分布の回復において最強力なベースラインと比較してエネルギー損失を 14.2% 削減することを示しています。

要約

🌊 未来の「確率」を瞬時に読み解く AI：JointFM の解説

この論文は、「未来の予測」を劇的に変える新しい AI（JointFM）について書かれています。

従来の金融や科学の分野では、未来を予測するために「複雑な数式」を一つ一つ手作業で調整する必要がありました。しかし、この新しい AI は、「未来の全パターン（確率分布）を、数式を調整することなく、一瞬で答えてくれます。

まるで、「未来の天気予報」を、過去のデータから数式を作るのではなく、AI が「未来の空」を直接イメージして描き出すようなものです。

---

🧐 従来の方法：手作業の「料理人」

これまでの予測モデル（SDE：確率微分方程式）は、まるで**「完璧なレシピを探し回る料理人」**のようでした。

1. 材料を選ぶ（モデル選択）：「今日は魚料理かな？それとも肉料理？」と、どの数式を使うか決めます。
2. 味付けを調整（パラメータ調整）：過去のデータ（歴史）を見て、「塩分はこれくらい」「火加減はこれくらい」と、一つ一つ数値を微調整します。
3. 試食と再調整（シミュレーション）：計算して結果を出しますが、もし新しいデータ（新しい食材）が入ってくると、また最初からやり直しです。

問題点：

• 時間がかかる：毎回調整が必要なので、リアルタイムの判断が難しい。
• 壊れやすい：少しのデータの変化で、全体が崩れてしまうことがある。
• コストが高い：複雑な計算を何万回も繰り返す必要があり、計算資源を大量に消費する。

---

🚀 JointFM の方法：「未来の味」を覚えた天才シェフ

JointFM は、この「手作業のレシピ調整」を完全に捨て去りました。代わりに、「無限の未来のシナリオ」を事前に学習した天才シェフのような存在です。

🎓 学習の仕組み：「無限の料理教室」

この AI は、現実のデータではなく、**「人工的に作られた無限の未来シナリオ」**で訓練されました。

• 株価が跳ねるシナリオ、エネルギー需要が急変するシナリオ、天候が激変するシナリオ……など、ありとあらゆる「未来の法則（物理法則）」を、コンピュータ上で無数に生成して学ばせました。
• これにより、AI は「未来がどうなるか」を、特定の数式に依存せず、直感的に理解できるようになりました。

⚡ 予測の仕組み：「一瞬で描く未来の地図」

ある日、新しいデータ（例えば「今日の株価と天気」）が入ってきたとします。

• 従来の方法：「あ、これは GBM というモデルを使おう。パラメータを調整して……」と数十分かかる。
• JointFM：「あ、このパターンは、私が過去に『無限の料理教室』で見たあのシナリオに似ているな」と即座に判断し、「未来の全パターン（確率分布）を、一瞬（10 ミリ秒程度）で描き出します。

---

🌟 何がすごいのか？3 つのポイント

1. 🎯 「個別」ではなく「全体」を見る（同時分布の予測）

従来の AI は、「A 社の株価はこうなる」「B 社の株価はこうなる」と個別に予測していました。
しかし、JointFM は**「A 社と B 社の関係性**（相関）まで含めて予測します。

• 例え：従来の方法は「雨の日は傘が必要」「風の日には帽子が必要」と別々に言いますが、JointFM は**「雨と風が同時に吹く日には、傘と帽子を両方持たないと危ない**（相関）まで理解しています。これは、ポートフォリオ管理やサプライチェーン管理などで非常に重要です。

2. 🛠️ 調整不要の「ゼロショット」能力

JointFM は、新しい業界や新しいデータに対しても、「調整（ファインチューニング）で即座に対応できます。

• 例え：従来の方法は、新しい国に行ったら「その国の言語を勉強して、現地のレシピを覚える」必要がありましたが、JointFM は**「どんな国に行っても、その国の料理を瞬時に作れる万能シェフ」**です。

3. ⚡ 超高速で、エネルギーも節約

複雑な計算を何万回も繰り返す必要がないため、1000 回以上の未来シミュレーションを、たった 10 ミリ秒で終わらせます。

• 例え：従来の方法は「未来を 1 回ずつシミュレーションして、何千回も繰り返す」のに数時間かかるのに対し、JointFM は**「未来の全パターンを一度にイメージして、瞬時に描き出す」**ようなものです。これにより、エネルギー消費も 14% 以上削減されました。

---

🌍 実際の活用例：どんな世界が変わる？

この技術は、金融だけでなく、あらゆる分野で使えます。

• 📈 金融（投資）：ETF（上場投資信託）のリスクを、構成銘柄の動きから「その瞬間」に即座に評価できます。
• ⚡ エネルギー（電力）：風力発電の出力変動と需要を同時に予測し、停電を防ぐための最適な配電をリアルタイムで行えます。
• 📦 物流（在庫）：天候、交通渋滞、需要の急変が同時に起きた時の「在庫リスク」を即座に計算し、最適な発注量を提案できます。

---

💡 まとめ：未来は「数式」ではなく「直感」で

この論文が伝えているのは、**「未来を予測するために、複雑な数式を一つ一つ手作業で調整する時代は終わった」**ということです。

JointFM は、「未来の法則」を事前に学んだ AIとして、どんな複雑な状況でも、「未来の全パターン」を瞬時に、正確に、そして関係性を含めて描き出してくれます。

まるで、「未来の量子（確率）のように、AI が瞬時に答えを出す時代が来たのです。これは、人間が手作業で計算していた「リスク管理」や「予測」を、AI が自律的に行う「エージェント AI」の時代への大きな一歩です。

技術概要

JointFM-0.1: 多ターゲット結合分布予測のための基盤モデル

技術サマリー

1. 背景と課題 (Problem)

従来の量的モデリング（Quantitative Modeling）は、「モデル選択 → 歴史データへのパラメータ較正（Calibration）→ 将来パスのシミュレーション」という 3 段階のフローに従っていました。しかし、このアプローチには以下の重大な課題がありました。

• モデルの限界とトレードオフ: 単純なモデル（幾何ブラウン運動など）は確率的変動性やジャンプ、レジームシフトを捉えきれず、より現実的なモデルは較正が複雑で計算コストが膨大になります。
• 脆さと非効率性: 新しいデータポイントが入るたびにモデル全体が破綻し、再較正が必要になることがあります。また、リアルタイムなリスク評価にはシミュレーションコストが高すぎます。
• 結合分布の欠如: 既存の AI 時系列モデル（Chronos, Moirai など）は単変量予測に特化しており、変数間の依存構造（相関関係）を含む「将来の結合確率分布」を直接予測することはできません。ポートフォリオ最適化やサプライチェーン管理などでは、個々の変数の分布だけでなく、変数間の相関が意思決定の鍵となります。

2. 提案手法：JointFM (Methodology)

本研究は、SDE（確率微分方程式）をデータに適合させる従来のパラダイムを逆転させ、**「合成 SDE の無限ストリームを学習し、文脈（コンテキスト）から将来の結合確率分布を直接予測する」**という新しいアプローチを提案しました。

2.1 合成物理学による事前学習 (Synthetic Physics Pretraining)

• データ生成: 実データではなく、多様な SDE 系（ドリフト、拡散、ジャンプ、レジームスイッチング、メモリ効果など）からランダムにサンプリングされた「合成データ」でモデルを事前学習します。
• カリキュラム学習: 複雑性のレベル（0〜9）を段階的に上げるカリキュラムを採用し、モデルに多様な確率過程の「法則」を学習させます。
  • 例：金融（レジームスイッチング・ジャンプ拡散）、エネルギー（平均回帰・スパイク）、コモディティ（シュワルツ＝スミスモデル）など、業界横断的なダイナミクスを網羅。
• 無限ストリーム: 学習バッチごとに異なる SDE 仕様をサンプリングするため、モデルは同じサンプルを二度と見ることなく、汎用的な分布予測能力を獲得します。

2.2 アーキテクチャと出力

• Transformer ベース: 可変数のアセットを処理するための「Variable-Factored Attention」を採用。
• 分布予測ヘッド: 単なる点予測ではなく、将来の結合分布のパラメータを出力します。
  • MV-GMM: 多変量ガウス混合モデル。
  • Skewed Student-t Mixture: 歪んだ多変量 Student-t 混合モデル。金融リスクモデリングに不可欠な「重い裾（Heavy tails）」と「非対称性」を明示的に捉えます。
• ゼロショット推論: 特定のタスクへの微調整（Finetuning）や較正なしで、新しいデータに対して即座に結合分布を生成します。

3. 主要な貢献 (Key Contributions)

1. 合成物理学による事前学習の拡張: 単一の変数・単一レジームの学習（既存研究）から、相関拡散、ジャンプ、レジームスイッチングを含む多変量 SDE の無限ストリーム学習へスケールアップしました。
2. 多ターゲット結合分布予測: 既存のモデルが単変量や独立な周辺分布を予測するのに対し、JointFM はすべてのターゲット変数にわたる完全な結合確率分布を予測します。これにより、変数間の依存構造を明示的に捉え、ポートフォリオ最適化などの意思決定を最適化します。
3. 統合推論（シミュレーションのショートカット）: 従来の「選択 - 較正 - シミュレーション」パイプラインを、単一のフォワードパスで代替します。推論コストは背後のダイナミクスの複雑さに依存しないため、リアルタイムでの高品質な分布予測が可能になりました（例：H100 GPU で 10ms 以内に 10 変数・63 時間先・1 万サンプル生成）。

4. 実験結果 (Results)

設定:

• 学習済みモデル（JointFM-0.1）を、学習時に使用していない 200 種類の新しい SDE システム（レベル 7、ジャンプとレジームスイッチングを含む）に対してゼロショットで評価。
• 比較対象：DCC-GARCH（パラメトリック較正）、Historical Simulation（ノンパラメトリックブートストラップ）。
• メトリクス：エネルギー損失（結合分布の一致度）、周辺エネルギー、CRPS-sum。

結果:

• 全体的な性能: JointFM（特に Student-t ヘッド）は、すべてのメトリクスでベースラインを凌駕しました。
• エネルギー損失: 平均してベースラインに対し**14.2%**の削減（改善）を達成。
• 時間的安定性: 予測時間軸（Horizon）が長くなるにつれて、ベースライン（特に Historical Simulation）の性能が劣化するのに対し、JointFM は高い精度を維持しました。
• 計算効率: 従来の Monte Carlo シミュレーションや GARCH 較正に比べ、推論が極めて高速かつ軽量です。

5. 意義と将来展望 (Significance & Future Work)

意義:

• AI 時代の量的モデリング: 手動でのモデル選択や較正を不要にし、AI が複雑な確率過程の空間をゼロショットで一般化できることを実証しました。
• リアルタイム意思決定: 結合分布を瞬時に生成できるため、エージェント型 AI がリスクを考慮した自律的な意思決定を行うための基盤技術となります。
• 業界横断応用: 金融、エネルギー、物流、小売など、確率的なダイナミクスを持つあらゆる分野での適用が可能です。

限界と今後の課題:

• ダイナミクスの網羅性: 現在の学習カリキュラム（レベル 0-7）はマルコフ過程が中心であり、より複雑な確率的変動性（Heston モデルなど）や非マルコフ過程（Volterra 記憶）への対応は今後の課題です。
• スケール: 現在のプロトタイプは 10 変数・504 ステップのコンテキストですが、より高次元・長系列へのスケーリングが計画されています。
• データタイプ: 連続値時系列のみに対応しており、カテゴリカル変数や離散事象への対応が必要です。
• ハイブリッド推論: 文脈内に特定のリスク（例：デフォルト）が現れていない場合、モデルがその確率を割り当てられないという課題に対し、ドメイン知識をトークンとして注入する「ハイブリッド推論」モードの導入を検討しています。

---

結論:
JointFM-0.1 は、確率微分方程式の明示的な復元や較正を行わずに、事前学習されたニューラルネットワークが複雑な多変量確率過程の結合分布をゼロショットで高精度に予測できることを実証した、世界初の基盤モデルです。これは、従来の量的モデリングのパラダイムシフトを意味し、AI によるリアルタイム・リスク管理の新たな時代を開くものです。