Do LLMs Understand Limit Order Book Dynamics?

現代の金融という活気に満ちた世界において、市場は単なる人間の直感や広範な経済動向によって動かされているのではなく、絶え間ない高速のデジタル指令の流れによって動かされています。これらの市場の多くの中核には、「リミット・オーダー・ブック（板）」と呼ばれるメカニズムが存在します。買い手と売り手が列に並び、それぞれが支払ってもよい、あるいは受け入れてもよい特定の価格と、取引したい数量を提示しているデジタル台帳を想像してみてください。この台帳は静的なものではありません。新しい注文が届いたり、既存の注文が約定したり、参加者が提示を取り消したりするたびに変化する、生きて呼吸している記録なのです。この台帳を支配するルールは厳格かつ論理的です。買い手は、売り手が現在求めている最低価格よりも低い価格で購入することはできず、売り手は、買い手が提示している最高価格よりも高い価格で売ることはできません。何十年もの間、トレーダーや数学者たちは、この複雑な需給のダンスにおける次の動きを予測しようと、この台帳がどのように進化するかを予測するための複雑なモデルを構築してきました。

最近では、「大規模言語モデル」として知られる新しいタイプの人工知能が、これらの金融的なパズルに応用され始めています。これらのモデルは通常、言語のパターンを学習するために膨大な量のテキストを用いて訓練されますが、研究者たちはこれらを市場イベントのシーケンス（連続）を用いて訓練し始めています。もしモデルが、市場がどのようにある状態から別の状態へと移動するかを正しくシミュレートする、有効な市場注文のシーケンスを生成することを学べば、それは市場の根底にあるメカニズムを真に理解したことになるのではないか、という期待があります。ここで深い問いが生じます。もし機械が市場の動きに関する完璧な物語を書けるとしたら、それは実際にその物語を理解しているのでしょうか、それとも単に構文を模倣しているだけなのでしょうか。コロンビア・ビジネススクールの研究チームは、これらの人工知能が金融市場の真の「世界モデル」を備えているのか、それとも単なる洗練されたオウムに過ぎないのかをテストすることで、この問いに答えようとしました。

研究者たちはまず、簡略化されたシミュレーション版のリミット・オーダー・ブックを作成することから始めました。このデジタルの砂場の中で、彼らは固定された価格レベルと、注文の配置、実行、またはキャンセルを行うためのルールを定義しました。そして、このシミュレーションから生成されたデータを用いて、大規模言語モデルをゼロから訓練しました。訓練プロセスは厳格でした。モデルには市場の初期状態と目標状態が与えられ、ルールを破ることなく市場をスタートから終了へと移動させる一連のイベントを生成する任務が課されました。モデルはこのタスクにおいて卓越していました。一連の取引を生成するよう求められたとき、モデルはほぼ常に、存在しない株を売る、あるいは市場ルールに違反する価格で取引を実行するといった不可能な動きを避け、有効な経路を作成することに成功しました。カジュアルな観察者にとって、モデルは市場の論理をマスターしたかのように見えました。

しかし、研究者たちはモデルの成功は表面的なものであるのではないかと疑っていました。彼らは、モデルが現在の市場の状態を真に理解しているのか、それとも単にそこに至るまでの履歴に依存しているだけなのかを知りたいと考えました。実際の市場において、オーダーブックの将来の進化は完全にその現在の状態に依存します。つまり、その状態に到達するために辿った経路は重要ではないはずです。これは「マルコフ特性」として知られる基本的な原則です。モデルがこの原則を遵守しているかどうかをテストするために、研究者たちは単なるルール遵守を超えた一連の実験を設計しました。彼らはモデルに対し、単に有効なシーケンスを生成するだけでなく、将来のイベントの確率を予測するように求めました。

結果は、モデルの理解における重大な欠陥を明らかにしました。モデルは有効なシーケンスを生成することはできましたが、その内部的な市場観は偏っており、不完全でした。研究者がモデルの予測を調べたところ、モデルは将来のイベントに対して一貫して誤った確率を割り当てていることが分かりました。例えば、真の数学的確率がはるかに低い場合でも、モデルは特定の価格におけるキャンセル注文の可能性を過大評価していました。さらに深刻なことに、モデルの予測は、現在の状態に至ったイベントの履歴に影響を受けていました。本来、その履歴は無関係であるはずなのにです。もし市場がある特定の状態に二つの異なる経路を経て到達した場合、正しい理解を持つモデルであれば、両方に対して全く同じ未来を予測するはずです。しかし、この人工知能は、辿った経路に応じて異なる予測を出しており、予測力を持たない過去の詳細に固執していることを示唆していました。

この誤差を定量化するために、研究者たちは、モデルの予測とシミュレートされた市場の真の数学的現実との間の距離を測定する新しいテストを開発しました。その結果、モデルがより遠い未来を見通そうとするにつれて、誤差が大きくなっていくことが分かりました。モデルは、存在しない過去のパターンを見つけ出せると信じ込んでいるようでした。これは「偽の予測可能性（spurious predictability）」として知られる現象です。まるで、一連の過去の買い注文が将来の売り注文をより起こりやすくするという確信を持っているかのようでした。たとえ現在の市場の状態がそのような変化の理由を提示していなくても、です。このバイアスは些細な不具合ではなく、システムの核心的なダイナミクスを把握できていないという体系的な失敗でした。モデルは市場の文法を学んではいましたが、その物理学を学ぶことには失敗していたのです。

研究者たちはまた、これらの問題が彼らの小さく単純なシミュレーション特有のものなのか、それともより複雑な環境でも持続するものなのかもテストしました。彼らは、より多くの価格レベルと深い流動性を持つ、より大きなオーダーブックを用いて実験を繰り返しました。結果は一貫していました。市場の複雑さが増すにつれて、モデルが正しい状態の内部表現を維持する能力は、実際には悪化しました。モデルは引き続き有効なシーケンスを生成していましたが、その予測はさらに信頼できないものとなりました。このことは、単にモデルに大量のデータを学習させたり、市場シミュレーションを大きくしたりするだけでは、根本的な問題は解決しないことを示唆しています。現在のままのモデルのアーキテクチャは、現在のシステムの状態を、その履歴のノイズから抽象化することに苦慮しています。

これらの知見は、金融における人工知能の使用に対して重要な示唆を与えます。この研究は、モデルが有効な出力を生成できる能力は、それがシミュレートしているシステムを理解していることの十分な証明にはならないことを示しています。正確な予測が極めて重要となる金融市場の文脈において、存在しないパターンを見つけ出すモデルは、コストのかかる間違いを招く可能性があります。研究者たちは、大規模言語モデルはシステムのルールを理解することにおいて有望な兆しを見せているものの、信頼できる予測に必要な、確率的なダイナミクスに対する深く暗黙的な理解は現在のところ欠いていると結論付けています。これらのモデルが、単にそこに至った一連のイベントではなく、シミュレートしている世界の「状態」を真に内面化できるように訓練されない限り、複雑な現実世界の市場におけるその予測は疑わしいままです。進むべき道は、新しい訓練方法とより大きなデータセットを必要としますが、核心的な課題は依然として残っています。それは、機械に、世界を記憶した通りではなく、あるがままの姿として見せるように教えることです。