Indistinguishable from Chance: Auditing LLM-Generated Trading Strategies Against Exposure-Matched Nulls

投資の世界において、最も価値のあるスキルは、いつ買い、いつ売るかを知ることである。これはマーケット・タイミングと呼ばれる。何十年もの間、投資家たちは人間よりも優れたタイミングを予測できる機械を構築しようと試みてきた。それは、小さな優位性を大きな利益へと変えることを期待してのことである。この探求における最新のツールは、複雑なコンピュータコードを記述し、その論理を流暢な文章で説明することができる人工知能の一種である、大規模言語モデルである。これらのモデルには、トレーディング戦略を設計し、それを実行するためのコードを書き、さらには過去にどれだけの利益を生み出したかを示すレポートを作成するよう指示することができる。その約束されているのは、プロのファンドマネージャーから好奇心旺盛な個人に至るまで、誰もがコンピュータに「勝てるプラン」を求め、完成した即戦力のソリューションを受け取れるということである。しかし、過去を見て未来を予測することには、深く、よく知られた問題がある。ある戦略が、単にデータ内のランダムなパターンと一致したために、紙の上では素晴らしいものに見えることがある。これは「オーバーフィッティング（過学習）」として知られる間違いである。現実の世界を見たことがない機械によって構築された戦略のリスクは、それが隠れたパターンを見つけているのではなく、単にノイズの形状を模倣しているだけであるという点にある。

ある研究チームは、これらの人工知能モデルが実際に市場をタイミング良く捉えるスキルを持っているのか、それともその印象的なレポートは単なる説得力のある錯覚に過ぎないのかを検証するために調査を行った。彼らは単にモデルにコードを書かせたのではない。そのコードが実際の市場データと出会ったときに何が起こるかを確認するために、厳格なテスト環境を構築したのである。研究者たちは5つの異なるAIモデルに対し、S&P 500株価指数、金先物、およびユーロと米ドルの通貨ペアという3つの主要資産に対するトレーディング戦略を作成させた。モデルは、それぞれが独自の売買ルールを持つ、200近い異なる戦略を生成した。テストを公平にするため、研究者たちはすべての戦略を、実社会での取引コストを模した、取引ごとに少額の手数料を課す制御されたデジタル環境で実行した。そして、AIが生成したこれらのプランの結果を、資産を購入して売却せずに持ち続けるという単純なベンチマークと比較した。また、AI戦略を巧妙なコントロールグループとも比較した。すべてのAI戦略に対して、AIがポジションを保持すると決定したのと全く同じ期間を、ラン数の順番に入れ替えた「ヌル（無効）」バージョンを作成した。このテストにより、適切なタイミングを選択するというAIの主張された能力を剥ぎ取り、単に資産を一定期間保有しているという事実のみを残した。もしAIに真のスキルがあれば、このシャッフルされたバージョンよりも優れた成果を出しているはずであった。

結果は明白かつ一貫していた。全体を通して、人工知能によって生成された戦略は、資産を保有し続けるという単純な行為に勝つことができなかった。平均して、AI戦略は損失を出し、シャープレシオと呼ばれるパフォーマンス指標はマイナスとなった。これは、リスクと取引コストを考慮した後では、AIのアドバイスに従うよりも、何もしない方が投資家にとってマシであったことを意味する。AIの戦略が単純なバイ・アンド・ホールド（購入して保有）のアプローチを上回ったのは、わずか8パーセント未満という極めて低い割合であった。研究者がさらに深く調査したところ、AIモデルは隠れたタイミングのスキルを見つけ出していないことが判明した。戦略は、それら自身のシャッフルされたバージョンと比較して、統計的に区別がつかないレベルであった。戦略がうまく機能しているように見えた数少ないケースは、モデルが市場を予測することを学んだからではなく、市場が上昇している時に資産をより多く保有する傾向があったためであった。これは、適切な瞬間を選ぶスキルではなく、ロング（買い持ち）へのバイアス、つまり資産を保有することへの偏りである。研究者がこのバイアスを取り除き、シャッフルされた対照群と比較したとき、スキルの錯覚は完全に消滅した。

おそらく最も啓示的な部分は、研究者がモデルに対し、モデルには実際にはできないこと、すなわち「バックテストを実行し、データを与えられずに結果を報告すること」を求めた時に起こった。モデルには、戦略を書き、そのパフォーマンスを計算し、最終的な数値をユーザーに伝えるよう求められた。どのモデルもこれを行うことはできなかった。なぜなら、彼らにはコードを実行し、数値を計算する能力がないからである。代わりに、彼らはレポートの「シミュレーション」を提示した。あるモデルは、もし誰かが実行すれば計算が行われるであろうスクリプトを出力した。他のモデルは、優れた結果とはどのようなものかについての一般的なルールを述べるにとどまった。さらに踏み込んだモデルもあり、完成したレポートのように見えるテキストのブロックを提示したが、それは完全に捏造されたものであった。この振る舞いは、能力の「外見」と「実態」の間にある危険なギャップを浮き彫りにしている。モデルは金融の言語に精通しており、プロフェッショナルな分析の構造を模倣できるが、その分析が必要とする証拠を生成することはできないのである。

この研究はまた、より強力なモデルを使用したり、より堅牢な戦略を求めたりすることで、結果が変わるかどうかについても調査した。結果は変わらなかった。より大きなモデルはエラーなく実行される可能性が高いコードを記述し、特定のプロンプトは資産を保有する頻度を変えたが、どちらの要因も市場をタイミング良く捉える能力を向上させることはなかった。改善されたのは、意思決定の質ではなく、あくまで「エクスポージャー」、つまり市場に滞在する時間の長さであった。また、研究者は自分たちのテストプロセス自体にもエラーがないか、常にチェックする必要があった。ある事例では、研究者自身のシステム内のデータエラーによって、ランダムな戦略が勝者のように見えていた。このミスは、自らの作業を検証するためのコントロールを組み込んでいたからこそ、ようやく発見されたものである。この自己監査は、中心的な教訓を補強した。すなわち、もっともらしく見える結果であっても、勝者を実際に発見できることが証明される基準に対して検証されない限り、正しい結果ではないということである。

投資家にとっての教訓は明確である。人工知能モデルは、現時点では、真のスキルを含むトレーディング戦略を生成する能力を持っていない。それらは完全で自信に満ちたように見える戦略を生み出すが、実際のデータに対してテストを行うと、ランダムなチャンスよりも優れた結果を出せず、単に資産を保有している場合よりも成績が悪くなることが多い。彼らが生成する、具体的な数値やパフォーマンスチャートに満ちたレポートは、証拠ではなく「仮説」である。戦略が文書化されたデータに基づいて再実行され、市場に滞在する時間を考慮した公正なベンチマークと比較されるまでは、その戦略は未検証のものとして扱うべきである。これらのツールに依存することのコストは、単に市場に勝つ機会を逃すことだけでなく、パッシブ・インベストメント（受動的投資）から得られる安定したリターンを失う可能性でもある。モデルは専門家のように聞こえる技術を習得したが、専門家になる方法をまだ学んではいないのである。