From Index to Equity: Pre-Training Transformers for Stock Return Prediction
本論文は、トロント証券取引所指数を用いてトランスフォーマーモデルを事前学習させることが、実務ではより高い平均日次収益を達成する LSTM や XGBoost ベンチマークと比較して、個々の株式の収益率の方向性と値を予測する能力を大幅に向上させることを実証する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
特定の小さな地区の天気を予測しようとしていると想像してください。そこは非常に混沌としており、ある家では晴れているのに、隣の家の前では雹が降っているかもしれません。次に、まず一国全体の天気を予測しようとしていると想像してみてください。個々の地区の激しい変動が平均化されるため、全体像ははるかに滑らかで理解しやすくなります。
この論文は、超高性能なコンピュータの脳（トランスフォーマーと呼ばれる）を用いて株価を予測することについて述べており、著者たちは、この脳に「地区レベル」の天気予測をさせる前に、まず「国レベル」の天気予測を教えることが最善であると発見しました。
以下に、彼らの探求の過程を分解して示します。
1. 問題：株式市場は混沌としている
明日のある特定の株価が上昇するか下落するかを予測することは、ハリケーンの中で吹く一枚の葉の正確な軌道を推測しようとするようなものです。市場は乱雑で、常に変化し、ノイズに満ちています。従来のコンピュータモデル（LSTMやXGBoostなど）はこの問題の解決を試みてきましたが、新しい銘柄を見るたびにゼロから学習しているため、往々にして苦労しています。
2. 解決策：「見習い」戦略（事前学習）
著者たちは、転移学習と呼ばれる新しい教育方法を試すことにしました。これは、マスターシェフを訓練するようなものです：
- ステップ 1（事前学習）： すぐに特定の奇妙な料理の作り方を教えるのではなく、まず巨大で滑らかなスープ（TSX 市場指数）の大量調理で練習させます。このスープは株式市場全体を表しています。個々の銘柄よりも混沌としていません。シェフは、一つの奇妙な材料に気を取られることなく、調理の一般的なルール（風味の相互作用や熱の働きなど）を学びます。
- ステップ 2（微調整）： シェフが大きなスープの基礎を理解したら、特定の難しいレシピ（個々の銘柄）を渡します。すでに基礎を理解しているため、ゼロから始めるよりもはるかに速く、かつ効果的にそのレシピを習得します。
3. ツール：トランスフォーマー対旧来の守り手
チームは、ChatGPT などのツールの基盤となっているのと同じ種類の技術である、トランスフォーマーと呼ばれる最新の AI アーキテクチャを使用しました。彼らはこれを、信頼性の高い旧来のツールと比較しました：
- LSTM： 時系列の記憶に優れた古いタイプの AI。
- XGBoost： 多数の決定木を構築してパターンを見つける強力な統計ツール。
- アンサンブル： 上記のすべてのモデルの予測を平均化する「委員会」。
4. 発見（結果）
この実験には、方向性（上昇か下落か）を予測することと、正確な数値（どれだけ上昇するか）を予測することという 2 つの主要な目標がありました。
「方向性」ゲーム（分類）：
- トランスフォーマーがゼロから個々の銘柄を学習しようとしたとき、混乱して性能が低下しました。
- 「見習い戦略」（まず大きな市場指数で事前学習する）を採用したところ、トランスフォーマーは銘柄が上昇するか下落するかを予測する能力が大幅に向上しました。
- しかし、古くからのXGBoostモデルは、単純に「上昇か下落か」を当てる点では依然として最優秀でした。
「正確な数値」ゲーム（回帰）：
- 収益の正確なパーセンテージを予測しようとしたとき、微調整済みのトランスフォーマーと微調整済みの LSTMは XGBoost モデルを凌駕しました。彼らは具体的な数値の計算においてより正確でした。
- しかし、ここにひねりがあります：トランスフォーマーが数値の計算においてより正確であったにもかかわらず、アンサンブルモデル（委員会）がシミュレーション取引テストで最も多くの利益を生み出しました。
- なぜでしょうか？ トランスフォーマーは非常に慎重で、ゼロに近い数値（安全な賭け）を予測するのに対し、XGBoost やアンサンブルモデルは変動の大きい銘柄に賭けることをいといませんでした。株式市場では、時に「安全」であることは、大きな勝利を見逃すことを意味します。
5. 実世界ツール
研究者たちは理論で終わらせませんでした。彼らは（Streamlit というツールを使用して）ライブ取引アプリを構築しました。
- 銘柄ティッカー（「TD」や「RY」など）を入力できます。
- アプリは最新データを取得し、彼らのモデルに通して、どの 5 つの銘柄が最も上昇しそうか、どの 5 つの銘柄が崩壊しそうかを表示します。
- これは、あなたの個人ポートフォリオ向けの毎日天気予報を提供する天気アプリのようなものです。
結論
この論文は、どのモデルも完璧ではない（株式市場は依然として予測が非常に難しい）と結論付けていますが、まず大きな市場の全体像で AI に教えることが、小さな個別の図を理解する助けになると述べています。
トランスフォーマーモデルは株価変動のニュアンスを理解するための有力な候補ですが、この特定のテストにおいて、最も多くの利益を生み出す王座は、依然として「古風な」手法（XGBoost など）や「委員会」アプローチが握っています。著者たちは将来、トランスフォーマーをさらに大きく、賢くすることを計画しており、過去の価格チャートだけでなく、世界のニュースや経済報告書を読むように教えるかもしれません。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。