Decomposing Rank Reversals under Temporal Nonstationarity: Alignment, Aggressiveness, and Instability

金融予測の世界において、未来を予測することは、変化し続ける風景との絶え間ない戦いである。モデルが依拠するデータ——株価、経済指標、市場トレンド——は、静止しているわけではない。それは漂い、変化し、時には完全に崩壊することさえある。この現象は「非定常性」として知られており、これは、昨日までのデータに基づいて訓練されたモデルが、ゲームのルールが変わってしまったために、明日には失敗する可能性があることを意味している。これに対処するため、予測者たちは、どれほど過去に遡って歴史を参照するかを調整することがよくある。機敏性を保つために直近1ヶ月のデータだけでモデルを訓練したり、安定したパターンを見つけるために過去10年間に遡ったりすることもある。これまで、「データは多ければ多いほど一般的に良い」あるいは「十分な情報さえ与えられれば、複雑で強力なモデルは常に単純なモデルを凌駕する」という仮定が長く置かれてきた。しかし、株価収益率を予測するという極めて重要な局面においては、現実ははるかに混沌としている。時には単純なモデルが複雑なモデルに勝利することもあり、またその逆も起こり得る。それはすべて、モデルがどれだけの歴史を閲覧することを許されているかに完全に依存している。

カーネギーメロン大学の研究チームは、これらの混乱したパフォーマンスの変化の背後にある機械的な理由を解明した。彼らは、モデルのランキングがランダムに変化するのではなく、「モデルがいかに正しく方向を指し示しているか」「いかに積極的に推測するか」「学習データがわずかに変化した際に答えがいかに不安定になるか」という3つの特定の力によって、予測可能な形で反転することを発見した。著者らは、単純な線形方程式から複雑なニューラルネットワークに至る14種類の異なる予測システムを、米国株および産業の膨大なデータセットを用いて分析し、それらの性能を分解することで、「最高の」モデルとは固定された称号ではないことを示した。むしろ、その勝者は、学習履歴の長さとモデルの複雑さの間の繊리細なバランスに依存しているのである。

研究者たちは、予測を単一の数値としてではなく、3つの明確な特性を持つ幾何学的なオブジェクトとして扱うことで、この問題にアプローチした。第一は「アライメント（整合性）」であり、これはモデルの予測が実際の将来の結果と同じ方向を向いているかを測定する。第二は「アグレッシブネス（積極性）」であり、これはターゲットに対する予測の大きさや規模を測る。最後に「インスタビリティ（不安定性）」があり、これは学習データをわずかに変えて再訓練した場合に、モデルの答えがどれほど揺れ動くかを捉えるものである。チームは、予測の全体的な成功がこれら3つの要因の組み合わせであることを数学的に証明した。すなわち、モデルは良好なアライメントによって得点を得るが、過度に積極的であったり不安定であったりすると減点されるのである。

彼らの分析は、なぜモデルのランキングが逆転するのかを説明する決定的なトレードオフを明らかにした。ディープニューラルネットワークやブーステッドツリーのような複雑なモデルは、複雑なパターンを捉えるという自然な利点を持っているが、この利点には代償が伴う。学習履歴が短い場合、これらの複雑なモデルは限られたデータに対して過剰反応し、非常に不安定になり、的外れな極端に積極的な推測を行う可能性がある。このような短期間のシナリオでは、より安定しており、激しい変動を起こしにくい単純なモデルが勝利することが多い。しかし、学習履歴が拡大するにつれて、複雑なモデルは落ち着き始める。彼らは追加のデータを使用してパターンを洗練させ、その不安定性は減少していく。最終的に、歴史が十分に長ければ、複雑な関係をモデリングする彼らの優れた能力によって、単純なモデルを追い越すことができる。

研究は、この逆転現象が謎ではなく、計算可能な事象であることを示した。研究者たちは、学習ウィンドウの長さに基づいて、いつ複雑なモデルが単純なモデルを上回り始めるかを正確に予測する特定の数学的境界を導き出した。彼らは、データのドリフト（漂流）の速度とシステム内のノイズを精密に制御できる制御されたシミュレーションを通じて、この理論を検証した。これらのシミュレーションにおいて、データのドリフトが増加するにつれて、複雑なモデルにとって最適な学習ウィンドウは縮小し、古いパターンに惑わされないために、より最近のデータに頼らざるを得なくなることが観察された。逆に、データにノイズはあるものの安定している場合は、長い履歴が複雑なモデルの活躍を可能にした。

米国の17の異なる産業における日次の株価収益率を用いた実世界のテストにおいても、この理論は成立した。研究者たちは、XGBoostやTransformerのような複雑なモデルがリッジ回帰のような単純なモデルを下回った場合、それはほぼ例外なく、複雑なモデルが「誤った較正による積極性」の急増に苦しんでいたためであることを発見した。彼らは予測を強く出しすぎており、その答えがあまりにも揮発的であったのである。研究者がモデルの積極性を抑えるように調整すると、パフォーマンスの差は消失した。これは、失敗の原因が基礎となるパターンの理解不足によるものではなく、予測のスケールを正しく調整できなかったことにあることを証明していた。さらに、同じモデルの複数のバージョンを平均化する手法（アンサンブル学習と呼ばれる）を用いることで、ノイズによって失われていた大幅なパフォーマンスを回収し、不安定性のペナルティを完全に排除できることも発見した。

この研究は、変化する世界の中で安全を確保するために、単に学習ウィンドウを制限すべきであるという一般的な直感に異を唱えるものである。著者らは、古いデータを盲目的に切り捨てることは不適切な戦略であると主張している。代わりに、鍵となるのは、複雑なパターンを学習するモデルの能力と、限られたデータによって引き起こされる不安定さとの間の、具体的な緊張関係を理解することである。実務家にとって、これは、洗練された人工知能モデルを使用するか、単純な統計ツールを使用するかという決定が、複雑さに対する一般的な好みに基づくべきではないことを意味する。それは、利用可能な履歴の具体的な長さと、現在の市場のノイズレベルに基づいた計算された選択であるべきだ。もし履歴が短く、データが不安定であれば、より単純で安定したモデルが適している可能性が高い。もし履歴が長く、パターンが深いのであれば、複雑なモデルが、データに対して過剰反応しないよう調整されている限り、最終的には勝利する。

結局のところ、この研究は、世界が変わる際にモデルがなぜ成功し、なぜ失敗するのかを理解するための診断フレームワークを提供している。それは、単にどのモデルが良いかを測定することを超え、なぜランキングが反転するのかを正確に説明するものである。予測の構成要素（アライメント、アグレッシブネス、インスタビリティ）を分離することで、著者らは、モデルの性能は固定された特性ではなく、与えられた歴史の量に対する動的な反応であることを示した。この洞察により、予測者はモデルがいつその優位性を失うかを予測し、それに応じて戦略を調整することが可能となり、モデル選択という混沌とした問題を、記憶と複雑さの管理可能な計算へと変えることができるのである。