Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

金融の世界において、将来の株価を予測することは「聖杯」とされています。投資家や銀行は、日々の市場の動きという混沌の中にパターンを見出そうと、高度なコンピュータ・システムに数十億ドルもの資金を投じています。ディープラーニングを用いて構築されることが多いこれらのシステムは、過去の価格や経済報告といった膨大な情報を消化し、明日、株価が上がるか下がるかを推測するように設計されています。あるシステムが本当に優れているかどうかを判断する標準的な方法は、その予測を他のシステムと比較することです。もし新しいモデルが古いモデルよりも誤差が少なければ、それは勝者であると宣言され、その開発者はその結果を画期的な進歩として発表します。このプロセスは、単純な仮定に基づいています。すなわち、エラー・スコアが低いということは、そのモデルがデータの中に真のシグナル、つまり他者には見えないものを見通す真の能力を見出したことを意味するという仮定です。

しかし、新たな研究は、これら「勝者」がどのように選ばれているかという根底にある仕組みに疑問を投げかけています。コンピュータサイエンスと経営学の専門家チームと共に研究を行った研究者たちは、標準的なスコアリング手法が欺かれ得ることを発見しました。彼らは、コンピュータ・モデルが市場を予測することを学習したからではなく、ほとんど「何もしない」ことを学習したために、完璧なスコアを達成できてしまうことを突き止めたのです。市場の予測が困難な場合、数学的に最も安全な動きは、毎回平均的な結果を単に予測することです。もしモデルが慎重すぎたり、あるいはその設計によって保守的になるよう強制されたりすると、モデルはその予測を縮小させ、ほぼ平坦なものにしてしまいます。この研究は、現在のランキング・システムが、この「縮小する挙動」を「スキル」と誤認しており、結果として「最高の」モデルとは、実際には何も予測することを諦めてしまったモデルであるという状況を作り出していることを示しています。

研究チームは、日々の株価リターンを予測するために設計された特定の現代的なアーキテクチャ、MFGate-Netと呼ばれるシステムを用いてテストを行いました。これは最先端の予測器として構築されました。このシステムは、チャートから得られるテクニカル指標と、金利や市場のボラティリティといったマクロ経済データという2種類の異なる情報を組み合わせ、それらの入力を動的に重み付けするメカニズムを備えています。これが機能するかどうかを確認するため、チームは7年間のヒストリカル・データを用いてこれを学習させ、その後、2022年から2024年までの未学習の期間を用いてテストを行いました。このテスト期間は、高インフレ期や回復期を含むように慎重に選ばれており、モデルが現実的な課題に直面することを保証しています。

チームが標準的な比較を行った際、その結果は勝利の凱歌のように見えました。この新しいモデルは、古い単純な機械学習手法や他の複雑なディープラーニング・ネットワークを含む、あらゆる競合モデルを打ち破りました。それは最も低いエラー率を記録し、統計テストによってその優位性が偶然ではないことも確認されました。あらゆる従来の観点からすれば、これは「市場を予測する新しい、優れた方法」という見出しにふさわしい成果でした。しかし、研究者たちはそこで立ち止まりませんでした。彼らは、より単純で、より根本的な問いを投げかけました。このモデルは、最も基本的な予測さえも上回っているのだろうか？ 金融における最も単純な予測とは、明日の価格変化は正確にゼロであると仮定することです。これは「無条件ベンチマーク（unconditional benchmark）」として知られています。これは、「何もしないこと」の基準値です。

彼らがこの洗練されたモデルを「ゼロ予測」と比較したとき、物語は一変しました。複雑なモデルは、ゼロ予測に勝てなかったのです。実際、そのモデルはゼロ予測と統計的に区別がつかないものでした。モデルの予測はゼロに極めて近く、何もしないことを予測する場合に対して何の優位性も提供しませんでした。さらに驚くべきことに、最新のディープラーニング・ネットワークから古い統計的手法に至るまで、リーダーボード上の他のすべてのモデルも、ゼロ予測に勝つことができませんでした。それらはすべて、何もしないことよりも劣っていました。研究者たちは、先ほど見ていたランキングは「誰が最高の予測者か」を測定していたのではなく、「誰が最も慎重か」を測定していたのだと気づきました。予測を最も縮小させ、ゼロに近づけたモデルこそが、エラーが低いと見なされていたのです。ランキングは、モデルがいかに学習したかではなく、いかに崩壊（収縮）したかを測定していたのでした。

これを証明するために、チームはなぜこのようなことが起こるのかについて、数学的な説明を導き出しました。市場がほぼ予測不可能であるとき、モデルのエラー・スコアは、モデルの予測が実際の市場とどれほど変動しているかにほぼ完全に依存することを示しました。もしモデルが動きをほとんど予測しないならば、たとえ間違っていたとしても、そのエラー・スコアは良好に見えることになります。研究は、あるモデルの優位性が、実際には予測をどれだけ縮小させたかの違いに過ぎないことを実証しました。勝者を宣言するために使われている統計テストは、実際にはこの「縮小（shrinkage）」を測定しており、より多くのデータを収集すればするほど、彼らは偽の結論に対してより強い確信を持ってしまうのです。データセットが大きくなるほど、スキルが存在しないにもかかわらず、スキルの錯覚はより強固なものとなりました。

研究者たちは、シンプルな解決策を提案しました。モデルを比較する前に、すべての予測を調整し、その変動範囲が実際の市場の変動範囲と一致するようにする方法です。彼らが「分散マッチング（dispersion matching）」と呼ぶこのプロセスは、縮小へのバイアスを取り除きます。この補正を適用すると、モデル間の劇的な差異は消失しました。以前は明確な勝者に見えていたモデルたちは、今や敗者と同等になりました。「圧倒的な」有意性は、ブレイクスードを示唆していたものから消え去り、すべてのモデルが本質的にランダムな推測と同じパフォーマンスしか出せていないという結果に置き換わりました。ある特定のケースでは、最高であると宣言されていたモデルが、定数ゼロの予測と比較して統計的確率0.97で差がないことが判明しました。

研究はまた、これらのモデルが「利益を生み出せるか」についても調査しました。たとえモデルが価格を完璧に予測できなくても、有利なトレードを導けるのであれば有用かもしれません。研究者たちは、取引コストを考慮した上で、モデルの予測に基づくトレーディング戦略をシミュレーションしました。結果は残酷なものでした。どのモデルも、取引コストをゼロに設定した場合であっても、リスクフリーな投資を上回る利益を生み出すことはできませんでした。エラー・チャートで最も成功していたモデルは、資金面では最悪のパフォーマンスを示すことが分かりました。なぜなら、その慎重な予測が、資本コストに対してわずかな損失を蓄積するだけの、ほとんど動かない戦略につながったからです。これは、統計的なランキングが誤解を招くだけでなく、経済的にも無意味であることを裏付けていました。

おそらく最も不穏な発見は、これらのモデルがどのように機能しているかを説明するために使われるツールに関するものでした。人工知能の分野では、研究者はしばしば可視化を用いて、モデルがどのデータポイントに注目しているかを示し、システムが意味のあるパターンを学習したことを証明しようとします。チームは、ターゲット（目的変数）をランダムにシャッフルして、入力と出力の間の実質的な関係を破壊したデータを用いて、このモデルを訓練することでテストを行いました。このようなノイズに対して訓練されたモデルは、理論的に何も学習することは不可能です。しかし、この「壊れた」モデルを分析したところ、それは本物のモデルとほぼ同一に見える説明を出力したのです。可視化の結果は、同じ特徴がハイライトされ、同じパターンの注意が向けられていることを示していました。これは、これらの解釈可能性ツールが、モデルが得た特定の知識ではなく、データ自体の構造を反映していることが多いことを示唆しています。それらは、「秘密を学習したモデル」と「何も学習していないモデル」を区別できないのです。

研究者たちは、金融予測の分野全体が、結果の報告方法を変える必要があると結論付けました。彼らは、モデルが少しでもスキルを持っていることを証明するために、すべての研究において単純なゼロ予測との比較を含めるべきだと推奨しています。また、低エラー・スコアが単に過度に慎重であることの結果ではないことを確実にするために、モデルの予測がどれほど変動しているかの指標を報告することも提案しています。これらのチェックがなければ、文献は、最先端を進歩させているように見えて、実際には「無であること」を演じるスキルの高さを競い合っているだけのモデルで溢れてしまうことになります。この研究は、市場の予測が不可能であると主張しているわけでも、ディープラーニングが無用だと言っているわけでもありません。ただ、現在の成功の判断基準が壊れており、ルールが修正されない限り、リーダーボードの勝者は、実際に未来を見通せる人々ではない可能性があることを示しているのです。