Same Error, Different Function: The Optimizer as an Implicit Prior in Financial Time Series

金融時系列の予測において、モデルのテスト誤差が同一であっても最適化手法の違いが関数の性質や意思決定（ポートフォリオのターンオーバーなど）に決定的な影響を与えるため、モデル評価は単なる損失値の比較を超えて関数的・意思決定レベルの側面を考慮する必要があると結論づけています。

要約

🎯 結論：同じゴールでも、道は違う

Imagine（想像してください）：
あなたは**「明日の天気を当てる」**というゲームをしています。
3 人の予報士（A さん、B さん、C さん）がいます。

• A さん：昔ながらの経験則で、穏やかに予測する。
• B さん：最新の AI を使い、激しく変動する予測をする。
• C さん：別の AI を使い、A さんとは違うパターンで予測する。

結果を見てみると、**「3 人とも、過去 1 年間の天気的中率（エラー率）は全く同じ」**でした。
「え？じゃあ、誰を使っても同じじゃん！」って思いますよね？

でも、この論文は言います。
**「いいえ、彼らは『同じ天気』を『全く違う理由』で予測しています。そして、その違いが『取引コスト』という形で、あなたの財布に大きな影響を与えます」**と。

---

🧠 核心となる発見：3 つのポイント

1. 「同じ点数」は「同じ答え」ではない（Rashomon 効果）

映画『羅生門』のように、同じ出来事（過去の株価データ）を見ても、人によって（AI の学習方法によって）解釈が全く違うことがあります。

• 従来の考え方：「予測の誤差（スコア）が同じなら、どれを使っても同じ」
• この論文の発見：「スコアが同じでも、『どんな時にどう反応するか』という性格が全く違う」

例えば、株価が急落したとき：

• SGD（ある種の学習方法）：「まあ、一時的なノイズだろう」と冷静に反応し、あまり動かない。
• Adam（別の学習方法）：「これは大事件だ！」と過敏に反応し、すぐに方向転換する。

どちらも「最終的な的中率」は同じですが、**「反応の仕方が違う」**のです。

2. 「学習のやり方（オプティマイザー）」が「性格」を決める

AI を教えるとき、先生（オプティマイザー）の指導方法が、生徒の性格を決めてしまいます。

• SGD（確率的勾配降下法）：
  • 比喩：「ゆっくり、確実に、石を転がすような先生」。
  • 特徴：生徒は**「平坦で、安定した」**答えを好むようになります。急な変化を嫌がり、予測が安定しています。
• Adam / Muon（適応型オプティマイザー）：
  • 比喩：「勢いよく、複雑な地形を駆け抜けるような先生」。
  • 特徴：生徒は**「曲がりくねった、複雑で鋭い」**答えを好むようになります。細かい変化に敏感で、予測が激しく揺れます。

重要なのは：金融市場のような「ノイズが多い（予測が難しい）」世界では、「正解」が一つに定まらないため、先生（オプティマイザー）の選び方が、最終的に「どんな性格のモデル」ができるかを決定してしまうのです。

3. 実生活への影響：「手数料」が命取りになる

ここがこの論文の最も重要なポイントです。

もしあなたが「天気予報」を使って傘をさすか決めるなら、A さんでも B さんでも大差ないかもしれません。
でも、**「株式投資」**でこの予報を使うとどうなるか？

• 過敏なモデル（Adam など）：
  • 「あ、少し変動したから売ろう」「あ、また戻ったから買おう」と頻繁に取引します。
  • 結果：予測の精度は高いのに、「取引手数料」ばかり取られて、手元に残るお金が減る（シャープレシオは同じでも、実質的な利益は低い）。
• 安定したモデル（SGD など）：
  • 「まあ、ノイズだろう」とあまり動かず、取引回数が少ない。
  • 結果：手数料がかからず、実質的な利益が最大化される。

「同じ正解率」でも、取引回数が 3 倍違うことが実験で分かりました。つまり、「どの AI を使うか」ではなく、「AI をどう学習させたか（オプティマイザーの選び方）」が、投資の成否を分けるのです。

---

💡 要約：私たちが学ぶべきこと

1. スコアだけ見てはいけない：
   「この AI は精度 90% で素晴らしい！」と言っても、それが「安定した性格」なのか「神経質な性格」なのかまで見ないと、実運用では失敗します。
2. 「学習方法」は「設計図」の一部：
   AI の性能を上げるには、ただ「もっと複雑なモデル」を作るだけでなく、「どの先生（オプティマイザー）に教えるか」が重要な設計要素です。
3. 金融では「安定性」が価値：
   予測が同じでも、頻繁に取引を促すモデルは手数料で損をします。逆に、少し鈍感でも安定しているモデルの方が、結果的に儲かる可能性があります。

🎁 一言で言うと

「同じ正解率でも、AI の『性格』は学習方法で変わる。金融の世界では、その『性格（安定性）』が、最終的なお金の残高を左右する」

この論文は、AI をブラックボックスとして扱うのではなく、「どう学習させたか」というプロセス自体が、モデルの重要な一部であることを教えてくれています。

技術概要

論文要約：「The Optimizer as an Implicit Prior in Financial Time Series」

（金融時系列におけるオプティマイザは暗黙の事前分布である）

1. 概要と背景

本論文は、金融時系列（特に S&P500 構成銘柄のボラティリティ予測）における機械学習モデルの評価と選択に関する根本的な問題提起を行っています。従来の金融予測研究では、モデルの性能を「テストデータにおける損失値（NMSE など）」のみで比較する傾向があり、深層学習モデルが線形モデル（OLS, LASSO）と統計的に同等の精度しか示さない場合、深層学習の有用性が疑問視されてきました。

しかし、著者らは**「同じテスト損失値を持つモデルは、機能的にも実用的にも等価である」という前提が誤りである**ことを実証しました。低信号対雑音比（Low Signal-to-Noise Ratio）の環境下では、異なるオプティマイザ（SGD, Adam, Muon）やアーキテクチャの組み合わせが、同じ予測誤差を持ちながら、本質的に異なる関数（入力から出力へのマッピング）を学習する現象（予測的同等性：Predictive Equivalence）が発生します。

2. 研究問題

論文は以下の 2 つの核心的な問いに答えることを目的としています。

1. Q1: 同じテスト損失を持つモデルは交換可能か？深層ネットワークを使う意味はあるか？
   • 損失値が同じでも、モデルが学習する「関数の形状」や「意思決定のロジック」が異なる場合、それらは交換可能ではありません。
2. Q2: オプティマイザの選択は単なる実装上の効率の問題か、それとも学習された関数に実質的な影響を与えるか？
   • テスト損失が同じであっても、オプティマイザの選択が学習される関数の特性（非線形性、時間依存性など）を決定づける「暗黙の事前分布（Implicit Prior）」として機能しているかどうかが問われます。

3. 手法と実験設定

著者らは、S&P500 構成銘柄の 2000 年〜2024 年のデータを用いた厳密な実験枠組みを構築しました。

• タスク: 1 日先のボラティリティ（実現分散）の予測。
• データ: CRSP データベースから構築された、生存者バイアスを排除した S&P500 構成銘柄のデータセット。
• モデルとオプティマイザの組み合わせ:
  • アーキテクチャ (4 種類): MLP, CNN, LSTM, Transformer。
  • オプティマイザ (3 種類): SGD, Adam, Muon（行列認識型の新しいオプティマイザ）。
  • 合計 12 の学習システムを、13 回の異なるランダムシードで訓練し、結果の平均と標準偏差を報告。
• 評価指標:
  • 従来の指標：NMSE（正規化平均二乗誤差）。
  • 機能的診断（Functional Diagnostics）:
    • インパルス応答分析: 入力の変動に対するモデルの感度（非線形性の有無）を可視化。
    • 機能差表面（Functional Difference Surfaces）: 異なるオプティマイザで学習したモデル間の出力差を可視化。
    • SHAP 値: 特徴量（ラグ）の重要度分析。
    • アンサンブル: 異なるオプティマイザで学習したモデルの組み合わせによる誤差低減効果の確認。
  • 意思決定レベルの評価: ボラティリティに基づくポートフォリオ構築時のシャープレシオと**ターンオーバー（売買頻度）**の関係。

4. 主要な結果と知見

4.1. 予測的同等性とリーダーボードの同点

• 結果: どのアーキテクチャやオプティマイザを選んでも、テスト NMSE は線形モデル（OLS/LASSO）と統計的に区別がつかないレベルで同点となりました。
• 意味: 従来の「損失値最小化」ベースの評価では、どのモデルが優れているか判別できません。これは「過剰指定（Underspecification）」の状態です。

4.2. 関数の分岐（Functional Divergence）

同じ損失値でも、学習された関数は質的に異なります。

• SGD: より単純で平坦な応答曲面（線形に近い）を学習する傾向があります。
• Adam/Muon: 複雑な非線形応答（極端なボラティリティショックを減衰させるシグモイド型など）を学習します。
• 時系列依存性: 最適化手法によって、どのラグ（過去の期間）に注目するかが異なります。例えば、LSTM において Muon は長期的な依存性を活用しますが、Adam は最近の履歴に集中します。これはアーキテクチャの能力ではなく、オプティマイザの「暗黙のバイアス」によるものです。

4.3. メカニズム：曲率と安定性のエッジ

• Edge of Stability (EoS): SGD は学習過程で損失関数の「平坦な極小値（Flat Minima）」に収束する傾向があり、これはより単純な関数に対応します。
• 適応型オプティマイザ: Adam や Muon は、前処理（Preconditioning）により、SGD が到達できない「鋭い極小値（Sharp Minima）」に安定して収束できます。金融時系列において、この「鋭い極小値」は高度に非線形な関数に対応しています。
• 介入実験: 学習途中にオプティマイザを切り替える実験により、SGD は複雑な解から単純な解へ急速に収束し、Adam はその逆の挙動を示すことが確認されました。

4.4. 意思決定への影響：シャープレシオとターンオーバー

最も重要な発見は、予測精度が同等でも、ポートフォリオ運用における実務的な影響が全く異なる点です。

• シャープレシオ・ターンオーバーフロンティア: 予測精度（シャープレシオ）がほぼ同じモデル間でも、オプティマイザの違いによりポートフォリオのターンオーバー（売買頻度）が最大 3 倍まで変動しました。
• SGD: 安定したボラティリティ順位付けを行い、ターンオーバーが低く、取引コストを抑制します。
• Adam/Muon: 入力状態の微小な変化に対して敏感に反応し、頻繁な順位入れ替え（ランク転換）を引き起こし、高いターンオーバーを招きます。
• 結論: 予測誤差が同じでも、実装可能性（Implementability）や取引コストを考慮すると、モデルの選択は極めて重要です。

4.5. アンサンブルによる誤差の非相関

異なるオプティマイザで学習したモデルをアンサンブルすると、単一の最良モデルよりも NMSE が改善しました。これは、各モデルが信号の異なる（直交する）成分を捉えており、誤差が完全に相関していないことを示しています。

5. 結論と意義

結論

金融時系列のような低信号環境では、「モデル選択」は「関数選択」であると言えます。

• リーダーボード（損失値）が同点の場合、どのモデルを選ぶかは、単なるパフォーマンスの問題ではなく、**「どのようなインダクティブバイアス（関数の形状、安定性、解釈性）を持つモデルを望むか」**という問題です。
• オプティマイザは単なる訓練ツールではなく、**「暗黙の事前分布（Implicit Prior）」**として機能し、学習される関数の特性（単純か複雑か、短期的か長期的か）を決定づけます。

学術的・実務的意義

1. 評価基準の転換: 金融 ML におけるモデル評価は、スカラーの損失値（NMSE）だけでなく、関数的特性（解釈性、安定性）や意思決定レベルの指標（ターンオーバー、取引コスト）を含めるべきです。
2. オプティマイザの再評価: 深層学習の導入において、オプティマイザの選択は「実装上の細部」ではなく、モデルの核心的な設計パラメータです。
3. 実務への示唆: 予測精度が同等であれば、取引コストを最小化できる「安定した（SGD 的な）関数」を選ぶべきか、あるいは特定の市場メカニズムを捉える「複雑な（Adam 的な）関数」を選ぶべきかは、投資戦略の目的によって異なります。

本論文は、金融分野における機械学習の適用において、「同じ正解（損失）でも、異なる答え（関数）」が存在しうることを示し、より慎重で多角的なモデル選択の必要性を説いています。