💰 quantitative finance

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

本論文は、短期的な期間におけるファットテイルな金融リターンの予測において、出力ヘッドの選択（具体的にはガウス混合モデル）が、テールリスクを捉え分布の正確性を向上させる上でバックボーンのアーキテクチャの影響を大きく上回る一方で、長期的な期間においてはバックボーンがより重要になることを示している。

原著者： Sichao He, Yansong Zhang

公開日 2026-06-30

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Sichao He, Yansong Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、数日間の天気を予測しようとしていると想像してください。あなたには、それを助けるための2つの主要なツールがあります：

エンジン（バックボーン）： すべてのデータ（衛星画像、気圧、風速など）を処理する複雑なコンピュータ・システム。
レポート（出力ヘッド）： 最終的な予測がどのように提示されるか。それは単一の気温の数値ですか？「おそらく70°Fになるでしょう」というベルカーブ（正規分布）ですか？それとも、「降水確率90%、竜巻の確率5%、熱波の確率5%」といった詳細なマップですか？

「Heads, Not Backbones（バックボーンではなく、ヘッドを）」と題されたこの論文は、金融市場（具体的にはS&P 500株価指数）の予測について、シンプルな問いを投げかけています：「エンジンの複雑さが重要なのか、それともレポートの提示方法の方が重要なのか？」

著者たちは、4つの異なるハイテクな「エンジン」（現代のAIモデル）を用意し、それらを3種類の異なる「レポート」（出力ヘッド）と組み合わせるテストを行いました。その結果を、簡単な比喩を用いて以下に示します。

1. 「ファット・テイル（太い裾）」の問題

金融市場は、基本的には穏やかに動きますが、時折、恐ろしい極端な暴落や急騰を見せるジェットコースターのようなものです。統計学では、これを**「ファット・テイル（太い裾）分布」**と呼びます。

標準的なモデルは、市場が穏やかな湖のように振る舞う（正規分布）と想定しています。これらは平均的な日の予測には優れていますが、暴落や突然の急騰を予測することには全く長けていません。
目標： 著者たちは、これらの極端なリスクを認識できる、より優れた「レポート」を構築できるかどうかを検証したかったのです。

2. 実験：レポートの入れ替え

研究者たちは「エンジン」（AIバックボーン）を一定に保ったまま、「レポート」（ヘッド）を入れ替えました：

ポイント・ヘッド（単一の数値）： これは、「明日の気温は72°Fです」とだけ伝える天気予報アプリのようなものです。嵐のリスクについては教えてくれません。
ガウス・ヘッド（ベルカーブ）： これは、「明日はおそらく72°Fですが、プラスマイナス5度程度の変動があります」と言うものです。これは、上下の変動が対称的で滑らかであることを想定しています。
ミクチャー・ヘッド（マルチモード・マップ）： これは非常に高度なものです。「明日はおそらく72°Fですが、急激に60°Fまで下がる可能性がわずかにあり、また85°Fまで急上昇する可能性もわずかにあります」と伝えます。これは、複数のシナリオを組み合わせて、「ファット・テイル」（極端なリスク）を捉えようとするものです。

3. 大きな発見：レポートが勝る

結果は驚くほど明確でした：「レポート（ヘッド）」の方が、「エンジン（バックボーン）」よりも遥かに重要だったのです。

エンジンを変える： 最良のAIエンジンを別のものに入れ替えても、予測精度はほとんど変わりませんでした（差は1.5%未満）。これは、車のトヨタのエンジンをホンダのエンジンに入れ替えても、車の走り自体はほとんど変わらないようなものです。
レポートを変える： 同じエンジンを使いながら、「単一の数値」レポートから「マルチモード・マップ」レポートに切り替えると、精度が大幅に向上しました（約3.7%から6.4%の向上）。
比喩： もしあなたが目隠しをして運転しているなら、フェラーリのエンジンを持っていても意味がありません（間違ったレポート）。しかし、標準的なエンジンであっても、完璧なGPS（正しいレポート）があれば、目的地により正確に到達できます。

4. なぜ「マルチモード・マップ（ミクチャー）」が特別なのか

「ミクチャー・ヘッド（ガウス混合モデル）」が明確な勝者であり、特に危機的な時期（1970年代のスタグフレーションや2008年の金融危機など）においてその差が顕著でした。

単一の数値は、暴落のリスクを無視します。
ベルカーブは、暴落を単なる「大きな変動」として、滑らかな曲線の一部として扱います。
マルチモード・マップは、暴落のシナリオのために、明確に別の「レーン」を構築します。これにより、他のモデルが見逃してしまう「ファット・テイル」を捉えることができます。

論文は、この追加の価値は混沌とした状況において最も顕察されると指摘しています。市場が穏やかなとき、この高度なマップは単純な推測と大差ありません。しかし、市場がパニック状態にあるとき、この高度なマップだけが危険を察知できるのです。

5. 重要な注意点（この論文が述べていないこと）

著者たちは、自らの研究の限界についても非常に誠実に述べています。

これは「簡単に金持ちになれる仕組み」ではありません： 彼らはこれらの予測を用いた単純なトレーディング戦略をテストしましたが、結果として損失を出しました。リスクの予測精度を高めることが、自動的に利益を生むわけではありません。その情報を使いこなすためのスマートな戦略が別途必要です。
時間軸に依存します： 「レポート（ヘッド）」が王様となるのは、短期的な予測（数日または数ヶ月）においてです。しかし、長期的な予測（半年または一年）においては、「エンジン（バックボーン）」の重要性が再び高まります。
資産の種類によります： この手法は、激しく動き、ファット・テイルを持つ株式の収益率には非常に有効です。しかし、米国債利回りや為替レートのように、より安定した川の流れのように振る舞うものに対しては、それほど効果的ではありません。それらの場合、単純な「単一の数値」レポートでも十分であることが多いのです。

結論

もしあなたが株式市場の荒々しく予測不可能な変動を短期的に予測しようとしているなら、どの複雑なAIモデルを使うかに固執しないでください。 代わりに、データをどのように解釈するかに集中してください。

複数の起こりうる未来（恐ろしいシナリオも含めて）を記述できるモデルを使用することは、最も洗練されたコンピュータ・アーキテクチャを使用することよりも遥かに重要です。「ヘッド（出力）」は「バックボーン（構造）」を凌駕するのです。

テクニカル・サマリー：バックボーンではなくヘッド（Heads, Not Backbones）

問題提起

ファットテイル（太い裾）を持つ金融リターン（特に短期ホライゾン）の予測を行うディープラーニング・パイプラインにおいて、アーキテクチャの複雑さ（「バックボーン」）が性能の主要な推進力であるという仮説が広く流布している。しかし、リスク管理、資本配分、および規制上のストレス・テストには、点推定値ではなく分布予測（例：バリュー・アット・リスク（VaR）、期待ショートフォール（ES））が必要となる。

支配的なディープ予測アーキテクチャ（TimesNet, DLinear, N-BEATS, iTransformer）は、通常、Huber損失やMSEを用いて学習された**ポイント・ヘッド（点推定用ヘッド）**を搭載している。これらの損失関数は条件付き中央値や平均を促すが、ファットテイル分布に対して厳密な固有スコアリング・ルール（proper scoring rules）ではないため、テールリスクを捉えることに失敗する。標準的な解決策は、ポイント・ヘッドを密度ヘッド（例：ガウス混合モデル（GMM））に置き換え、負の対数尤度（NLL）で学習させることである。

本論文では、ファットテイルを持つ金融リターンにおいて、予測精度にとってより重要なのは、バックボーン・アーキテクチャなのか、それとも出力ヘッドなのか、という根本的な問いを調査する。

メソドロジー

データとプロトコル

データセット: Shillerデータセットから取得したS&P 500の月次対数リターン（1871–2023年、1,832観測値）。経験的尖度は $\approx 6$ であり、ガウス分布の値である3を大幅に上回っている。
検証: 訓練比率0.50、テスト窓0.07、ステップ0.10とし、5つのアンカー付きウォークフォワード・フォールドを用いた。実験は3つのランダムシードにわたって繰り返された。
ホライゾン: $h \in \{1, 3, 6, 12\}$ ヶ月。

実験設計

著者らは、バックボーンとヘッドの影響を分離するために、クリーンな $4 \times 3$ 要因実験（12バリアント）を構築した：

バックボーン (4種):
- TimesNet: FFTベースの周期発見 + 2D畳み込み。
- DLinear: トレンド/季節分解 + 線形投影。
- N-BEATS: ジェネリックな基底展開ブロックの残差スタック。
- iTransformer: ステップごとの埋め込み + 時間軸方向の自己注意（self-attention）。
- 注記: PatchTSTは、パッチングによる $\sigma$ の問題（patching- $\sigma$ issue）のため、密度ヘッドとの互換性がなく除外された。
出力ヘッド (3種): すべて同じバックボーン隠れ状態 ( $d_{hidden}=64$ $d_{hi dd e n} = 64$ ) を共有する。
- ポイント・ヘッド: $\hat{y} \in \mathbb{R}^H$ への線形投影。Huber損失で学習。（CRPS評価のために事後的なガウス近似を使用）。
- 単一ガウスヘッド: $(\mu, \sigma) \in \mathbb{R}^{2H}$ への線形投影。ガウスNLLで学習。
- ガウス混合ヘッド (GMM): $(\mu, \sigma, \pi) \in \mathbb{R}^{3HK}$ への線形投影（コンポーネント数 $K=4$ ）。GMM NLLで学習。

指標

主要指標: 連続ランク確率スコア（CRPS）およびCRPSスキル・スコア（TimesNetのポイント・ヘッドを基準とした相対値）。
副次的指標: $\tau \in \{0.05, 0.95\}$ におけるピンボール損失（分位点損失）、予測区間被覆率、および平均二乗誤差（MSE）。
統計検定: 二乗誤差に対するHansen–Lunde–Nasonモデル信頼集合（MCS）、および1フォールドごとのCRPS差分に対するDiebold–Marianoのペア $t$ 検定。

主要な結果

1. ヘッドがバックボーンを凌駕する（短期ホライゾン）

短期ホライゾン（ $h < 6$ ）における月次S&P 500リターンにおいて、出力ヘッドが支配的な要因となる：

厳密な勾配: ポイント $\to$ $\to$ ガウス $\to$ $\to$ GMMへと移行することで、CRPSにおいて厳密な改善が見られる。
- ポイント $\to$ ガウス: 約 $+1.3\%$ の改善。
- ガウス $\to$ GMM: 約 $+2.4\%$ の改善。
- 合計（ポイント $\to$ GMM）: 約 $+3.7\%$ の改善。
バックボーンの影響: ヘッドを固定した状態でバックボーンを切り替えても、ポイント・ヘッドの行におけるCRPSの変化は1.5%未満である。密度ヘッドにおいても、バックボーン間の差（N-BEATSによる最大5.1%）は、一般的にヘッドによる勾配よりも小さい。
MCSの結果: 二乗誤差に関するモデル信頼集合は、5%のレベルで12のバリアントのいずれも除外しなかった。バックボーンもヘッドも、**点予測の精度（MSE）**においてはモデルを区別できなかった。ヘッドは、**分布的指標（CRPS、ピンボール、被覆率）**においてのみモデルを分離した。

2. 「h-スプリット」（ホライゾンの依存性）

ヘッドの支配性はホライゾンに依存する：

短期ホライゾン ( $h \le 3$ ): ヘッドが支配的である。ディープなバックボーンを用いたGMMヘッドは、古典的なベースラインを凌駕する。
長期ホライゾン ( $h \ge 6$ ): バックボーンが再び主導権を握る。古典的な再帰モデル（GARCH, ARIMA）にGMMヘッドを組み合わせたものは、性能が崩壊する（例： $h=6$ においてGARCHgmmはCRPSスキルが $-50\%$ まで低下）。これは、それらのボラティリティ予測が無条件平均に回帰するためである。マルチステップ直接学習を行うディープ・バックボーンは性能を維持し、 $h=6$ において古典的モデルを約55パーセントポイント上回る。

3. クロスアセットの汎用性

ヘッドの勾配は普遍的なものではなく、データ生成プロセスに依存する：

リターン型プロセス: （月次/日次S&P 500、日次VIX）。GMMヘッドが一貫して最良である。
- VIXのケース: 単一ガウスヘッドは、極端な右裾のスパイクがあるVIXに対して致命的な失敗（ $-24.4\%$ ）を喫する。GMM（ $K=4$ ）は、これらのマルチモーダルなレジームを正常に捉えることができる。
非リターン型プロセス: （米国債利回り、EUR/USD）。これらは構造的なターゲットの周囲で平均回帰する。ここでは、GMMヘッドは構造的な利益をもたらさないパラメータノイズを付加するだけであり、多くの場合、ポイント・ヘッドよりも性能が悪化する。

4. リスク管理における価値

較正（キャリブレーション）: GMMヘッドは、ポイント・ヘッド（事後的な分散膨張により0.96と過剰被覆する）と比較して、優れた較正（90%被覆 $\approx 0.88\text{--}0.93$ ）を提供する。
テールリスク: 単一ガウスに対する混合モデルの増分価値は、高ボラティリティ・レジーム（例：1970年代のスタグフレーション期における $+13.9\%$ の改善）において最大となる。
規制指標: N-BEATSとGMMヘッドの組み合わせは、5%、2.5%、1%のVaRレベルにおいてKupiecの無条件被覆テストを通過し、テストされたモデルの中で最も低い期待ショートフォール（ES）を達成した。
限界: 極端な1%-VaR閾値において、有界な $K=4$ のGMMは（ガウス成分の裾の性質により）ポイント・ヘッドと比較してテールリスクを過小評価する。これは、極端な分位点にはGMM+EVT（極値理論）のハイブリッドが必要であることを示唆している。

5. トレーディング戦略のバックテスト

これらの密度予測を用いたナイーブな平均回帰戦略は、すべてのバリアントにおいて損失を出す（年率 $-41\%$ から $-50\%$ ）。これは、改善された分布予測がリスク管理には必要であるが、洗練されたポジションサイジングやトランザクションコストのモデリングなしには、自動的にトレーディングのアルファにはつながらないことを裏付けている。

意義と主張

本論文は、ファットテイルを持つ金融リターンの短期ホライゾンにおいては、エンジニアリングの労力をバックボーンではなく、出力ヘッドに割くべきであると結論付けている。

アーキテクチャの中立性: 点予測において、ディープなバックボーンはこのデータに対して統計的に区別がつかない。バックボーンを区別する「信号」は、点予測精度のノイズフロア以下にある。
損失関数の優位性: 利益は、Huber/MSE損失が無視してしまうテールミスキャリブレーションを罰する厳密な固有スコアリング・ルール（GMM NLL）を使用することから得られる。GMMヘッドは、単一ガウスでは捉えきれない過剰尖度とテールリスクを捕捉する。
文脈的妥当性: 「ヘッド支配」の主張は、リターン型のファットテイル・プロセスに特有のものである。これは、利回りやFXのような非定常で平均回帰的なプロセスには適用されない。
実務的含意: リスク管理（VaR、ES、資本賦課）のために、標準的なポイント・ヘッドからGMMヘッドへ切り替えることは、わずかな変更（「2行のコード変更」）でありながら、危機局面において真の価値を生む、高価値かつ低コストな介入である。一方で、バックボーンを入れ替えることは、ほとんど見返りをもたらさない。

本論文は、新しいバックボーン、新しいトレーディング戦略、あるいはすべての時系列に対する普遍的な解決策を提案するものではないことを明示している。それは境界条件を確立している。すなわち、ファットテイルのリターンにおいてはヘッドが支配的であり、それ以外のプロセスにおいてはそうではない、ということである。