💰 quantitative finance

Emergent Latent-State Computation under Stochastic Volatility

本論文は、確率的ボラティリティ・データで学習されたシーケンスモデルが、潜在的なボラティリティ状態を符号化しリターンを予測するための解釈可能な二段階の内部メカニズムを発達させることを示し、ノイズの多い学習下での性能低下は、表現の失敗ではなく読み出しの不整合に起因することが多いことを明らかにしている。

原著者： Xiaoyu Huang, Lulu Wang

公開日 2026-07-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiaoyu Huang, Lulu Wang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

AIの秘密の生活：見えないものに耳を澄ます

天気を予測しようとしている場面を想像してみてください。雲が見え、風を感じ、雨を測ることはできますが、嵐を実際に「引き起こしている」数マイル上空で渦巻く目に見えない気圧系を見ることはできません。人工知能の世界では、科学者たちはコンピュータの脳（ニューラルネットワークと呼ばれます）がどのように世界を理解しているのかを解明しようとしています。通常、彼らはこれらの脳に対して、数学の問題を解いたり文章を完成させたりといった、答えが明白で明快な単純なパズルを用いてテストを行います。しかし、現実の世界は混沌としています。多くの場合、最も重要な情報は隠されていたり、ノイズが含まれていたり、予測不可能な形で変化したりしています。ここで、「メカニスティック・インタープリタビリティ（機械論的解釈可能性）」と呼ばれる分野が登場します。これはAIの探偵になるようなものです。単に「AIは何を予測したか？」と問うのではなく、「AIはどうやってそれを導き出したのか？」「その脳の中にどのような秘密の手がかりを見つけたのか？」と問うのです。この論文は、この探偵業務の非常にトリッキーなバージョン、つまり、真の「ボラティリティ（市場の激しさ）」が、画面上のノイズ混じりの数字を観察することによってのみ推測できる、隠れた、移ろいゆく幽霊のようなものである金融データにおいて、AIがどのように対処するかを掘り下げています。

論文：AIに「見えない幽霊」を見ることを教える

この研究において、研究者のXiaoyu Huang氏とLulu Wang氏は、小さなAIモデルが「隠れた幽霊」を見る方法を学習できるかどうかを確認するためのデジタルな遊び場を設定しました。彼女たちは、6つの異なる資産を持つ株式市場のシミュレーションを作成しました。彼女たちの世界では、実際の「ボラティリティ」（価格がどれほど変動するか）は、家の中を移動する幽霊のように、時間の経過とともに変化する隠れた状態です。AIが見ることができるのは「リターン」（価格の変化）だけであり、それは床板のきしみを聞くことだけで幽霊の居場所を推測しようとするかのように、ノイズが多く、ぼやけています。目標は単純でした。AIは、隠れた幽霊がどこにいるのかをまず突き止めることで、次の価格変動を予測することを学習できるか？というものです。

研究者たちは2種類のAIの脳を訓練しました。一つは、各銘柄を個別に観察する単純なもの（MLP）、もう一つは、銘柄同士がどのように対話するかを見ることができる、より複雑なもの（Transformer）です。彼女たちは、両方のタイプのAIが巧妙な2段階のトリックを学習したことを見出しました。第一に、AIの「隠れた脳」（中間層）は、目に見えない幽霊の位置に関するメンタルマップの構築に成功しました。第二に、AIの「出力の口」（最終層）はそのマップを使用して、次の価格変動を推測しました。それはまるで、AIがまず幽霊を追跡する方法を学び、次にその追跡を利用して嵐を予測するかのようでした。

しかし、ここからが本当に興味深いところです。研究者たちは、Transformerがこのトリックをどのように学習するかは、幽霊がどれほどの速さで動いているかに依存していることを発見しました。

ゆっくりとした幽霊（長いサイクル）： ボラティリティが非常にゆっくりと変化する場合（ゆっくりとした、怠惰な波のように）、Transformerは超単純なショートカットを見つけ出しました。それは、生のデータを特定の形状へと変換する数学的な「フィルター」（線形投影と正規化ステップによるもの）を使用し、すると、ほら――幽太の場所が突然明らかになりました。それは、AIがぼやけた画像を瞬時に焦点を合わせる魔法のレンズを見つけたようなものでした。
速い幽霊（短いサイクル）： ボラティリティが素早く変化する場合、AIにはさらなる助けが必要でした。AIは、その「アテンション（注意）」メカニズム（銘柄間の相互作用を見ること）と内部の「思考」層を使用して、パズルを組み立てる必要がありました。
「幽霊」対「翻訳者」： 研究ではまた、おかしなグリッチ（不具合）も見つかりました。時として、AIの隠れた脳は幽霊がどこにいるかを正確に把握しているのに、最終的な予測を行う部分（出力ヘッド）が、その知識を数値へと翻訳する際に少し不器用になることがあります。それは、犯人の正体を知っているものの、報告書を書くときに躓いてしまう優秀な探偵のようなものです。研究者がこの不器用な報告者をより優れたものに置き換えたところ、AIの予測は大幅に向上しました。これは、AIが実際には最初から秘密を理解していたことを証明しており、ただそれを伝えるためのより良い方法が必要だっただけなのです。

この論文は、これらの金融シミュレーションがAI科学者にとって素晴らしい新しい遊び場であることを示唆しています。答えが紙の上にそのまま載っている単純なパズルとは異なり、これらのモデルは、人間が現実世界で行うのと同様に、ノイズ混じりの手がかりから隠れた真実を推測するという「暗黙的なフィルタリング」をAIに強いるのです。AIがこれらの隠れた状態を抽出することを学習できること、そして、コード内のまさに「どこで」、そして「どのように」それが起こるのかを特定できることを示すことで、著者らは、私たちがデジタルな脳の秘密の生活を真に理解することに近づいていると示唆しています。

技術要約：確率的ボラティリティ下における創発的潜在状態計算

問題提起

メカニスティック・インタープリタビリティ（機械論的解釈可能性）の研究は、主に言語モデルや、ターゲットとなる計算が完全に観測可能な決定論的な合成タスクに焦点を当ててきた。しかし、ノイズの多い部分観測環境において、ニューラル・シーケンス・モデルが潜在的な確率的ダイナミクスを内部的にどのように表現しているかという理解には、大きな空白が存在する。

本論文では、この空白を埋めるために、制御されたベンチマークとして確率的ボラティリティ（SV）モデルを用いる。SVモデルにおいて、資産収益率は、観測されない潜在的な対数ボラティリティ状態（ $h_t$ ）のノイズを含む観測値である。過去の収益率の決定論的な関数であるARCH/GARCHモデルとは異なり、SVモデルは、ノイズを含むデータから隠れた状態を推論するための暗黙的なフィルタリングを行う必要がある。ここでの課題は、将来の二乗収益率（ $r^2_{t+1}$ ）のみを予測するように訓練された小さなニューラルネットワークが、真の潜在ボラティリティ状態（ $h_{t+1}$ ）の内部表現を回復できるのか、そしてこれらの表現がネットワーク・アーキテクチャ全体でどのように創発するのかを明らかにすることである。

手法

実験設定

データ生成: 著者らは、 $N=6$ の資産を用いた制御された**多変量確率的ボラティリティ（MSV）**プロセスを利用している。収益率（ $r_t$ ）は、クロスアセット・スピルオーバーを伴う線形状態空間モデルに従う、潜在的な対数ボラティリティ状態（ $h_t$ ）のノイズを含む観測として生成される。
タスク: モデルは、 $T=21$ の過去の収益率の履歴から、次のステップの二乗収益率（ $y = r^2_{T+1}$ ）を予測するように訓練される。真の潜在状態 $h_{T+1}$ は研究者には既知であるが、モデルからは隠されている。
アーキテクチャ:
- Transformer: 1層のエンコーダと1つのアテンション・ヘッドを持つコンパクトなエンコーダ。資産はトークンとして扱われ、収益の履歴が特徴量となる。このアーキテクチャには、線形埋め込み、 $\ell_2$ 正規化、位置エンコーディング、セルフアテンション、およびGELU活性化関数を備えたフィードフォワード・ネットワーク（FFN）が含まれる。
- MLP ベースライン: 各資産の履歴を独立して処理する3層のMLPであり、アテンションによるクロスアセット相互作用の影響を分離する。
学習目的関数: 2つの損失関数が比較される：
1. MSE: 二乗収益率に対する平均二乗誤差（条件付き分散のノイズを含むプロキシ）。
2. NLL: ガウス型負の対数尤度。これは理論的に条件付き分散の推定と整合している。

分析手法

線形プロービング: 中間的な隠れ表現（ $z_i$ ）に対してリッジ回帰プローブを適合させ、潜在状態 $h_{i, T+1}$ の線形デコーダブル性（復号可能性）を測定する。
段階的分析: 潜在情報のデコーダブル性が、どのアーキテクチャの段階（埋め込み、正規化、アテンション、FFN、出力）で出現するかを追跡する。
因果的介入:
- 出力ヘッドの置換: 学習された出力ヘッドをプローブに整合した読み出し（readout）に置き換え、予測の劣化が表現の失敗によるものか、あるいは読み出しの不整合によるものかをテストする。
- 活性化アブレーション: 特定のコンポーネント（例：ポスト $\ell_2$ 正規化）を摂動させ、ダウンストリームへの影響とデコーダブル性および予測誤差を測定する。

主要な知見

1. 堅牢な二段階潜在状態分解

TransformerとMLPの両方において、また損失関数や活性化関数に関わらず、モデルは一貫した二段階の計算を示す：

潜在推論: 隠れ表現は、次の潜在ボラティリティ状態（ $h_{T+1}$ ）に関する実質的な情報を符号化する。線形プローブは高い $R^2$ （しばしば0.85超）を達成する。
予測マッピング: 出力ヘッドはこの表現を二乗収益率の予測へと写像する。

観察: MSEによる訓練下では、学習された出力ヘッドは、隠れ状態が高度にデコーダブルである場合でも、プローブと比較して潜在状態との整合性（ $R^2$ ）が著しく低くなることが多い。これは、MSE下での予測誤差が、潜在状態を符号化できていないことではなく、**読み出しの不整合（readout misalignment）**から生じていることを示唆している。

2. Transformerにおける段階的な創発

潜在状態のデコーダブル性が現れる点は、**ボラティリティ・サイクル（ $\omega$ ）**に決定的に依存する：

長周期レジーム ( $\omega \ge 365$ ): デコーダブル性は、線形埋め込みの $\ell_2$ 正規化直後に即座に現れる。表現は、アテンションやFFNによる処理が行われる前に、大部分がデコーダブルになる。
中間レジーム ( $\omega \in \{30, 90\}$ ): デコーダブル性は、アテンション後のFFNによる追加の精緻化を必要とする。
短周期コントロール ( $\omega = 21$ ): デコーダブル性は位置エンコーディングが加わるまでほぼゼロであるが、加わった直後に $\approx 1.0$ まで跳ね上がる。これは、この特定のレジームにおいて、モデルが動的なフィルタリングではなく、周期性の記憶に依存していることを示唆している。
比較: MLPは、Transformerに見られるような鋭い段階的な遷移を欠いており、層全体にわたってより拡散的でモジュール性の低いデコーダブル性の出現を示す。

3. 長周期レジームにおける明示的な潜在フィルタ

長周期レジームにおいて、Transformerの計算は明示的なフィルタへと簡略化される：
$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$
これは、潜在状態の情報の大部分が、学習された線形投影とそれに続く $\ell_2$ 正規化によって抽出されていることを示している。因果的アブレーションにより、ポスト $\ell_2$ ノルム表現が、ダウンストリームの予測に対して潜在信号が因果的に関連する最も早い段階であることが確認された。この段階を摂動させると、デコーダブル性に最大の崩壊が生じる。

意義と主張

本論文は、確率的ボラティリティモデルが、ノイズの多い潜在ダイナミクスと部分観測性を伴うメカニスティック・インタープリタビリティのための有用なベンチマークを提供することを主張している。

ギャップの架け橋: 決定論的なトイ・タスクとは異なり、SVモデルは暗黙的な状態推論を必要とするが、評価のための真の解（グラウンドトゥルース）は利用可能である。これにより、ニューラルネットワークがどのように潜在的な確率構造を表現、変換、および使用するかを制御された条件下で研究することが可能となる。
メカニスティックな洞察: 本研究は、コンパクトなTransformerであっても、古典的な計量経済学のパイプライン（推論に続く予測）を模倣する明示的なフィルタリングを実行できることを明らかにしている。
金融モデルの解釈可能性: これらの知見は、金融時系列予測タスクが、メカニスティック・インタープリタビリティ、時系列モデリング、および状態空間推論の間の架け橋となり、ニューラルネットワークが不可逆的な不確実性をどのように扱うかを研究するための設定を提供することを示唆している。

著者らは、結果が既知の潜在状態を持つ合成データと小さなアーキテクチャに基づいていることを踏まえ、主張に対して謙虚な姿勢を保っている。彼らは、これらのメカニズムが大規模な現実世界の金融モデルに直接スケールすることや、すべてのSV計算に関する完全な回路レベルの説明を提供することを主張しているのではなく、制御された設定において、特定の解釈可能な創発メカニズムを特定したものであるとしている。