An Ensemble PPO Trading Agent Across Real Limit Order Book and Long-Horizon OHLCV Data: Diagnosis, Correction, and Honest Evaluation

あなたはロボットにビットコインのトレードを教えようとしていると想像してください。単にコインを「買って保有する（バイ・アンド・ホールド）」よりも賢く、かつ、全財産を失わないようにしたいと考えています。この論文は、そのプロセスの「舞台裏」を記録したドキュメンタリーです。著者であるウィリアム・ダリル・トワ（William Darryl Towa）は、何がうまくいかなかったのか、何がうまくいったのか、そしてなぜロボットが時々ただソファに座って何もしないでいるのかについて、残酷なまでに正直に記述することに決めました。

この研究のストーリーを、シンプルな概念に分解して説明します：

1. 二つの異なるトレーニングキャンプ

著者は一つのデータセットだけを使ったわけではありません。彼はロボットを二つの非常に異なる「ジム」で訓練しました。

• ジムA（高速顕微鏡）: これは、2021年の特定の1週間の、ビットコインのオーダーブック（買い手や売り手が待機しているリスト）の超詳細な秒単位のビューを使用しました。これは、レースカーのドライバーをスローモーションで観察しているようなもので、ステアリングの極めて小さな動きの一つひとつまでを見ている状態です。
• ジムB（長距離ハイウェイ）: これは、2.4年間の1時間ごとの価格チャートを使用しました。これは、同じドライバーが数年間にわたって、さまざまな天候、交通状況、路面状況にどのように対処するかを観察しているようなものです。

2. 最初の大きなクラッシュ：「凍りついたロボット」

著者が最初にロボットを訓練しようとしたとき、それは即座に壊れました。ロボットは一度トレードを行った後、195,000ステップの間、ただ固まってしまいました。学習も停止し、動きも停止したのです。

診断: 著者は、この「凍りついた」状態には2つの理由があることを突き止めました。

1. 混乱する数字: ロボットには、大きさが極端に異なる数字が入力されていました。例えば、羽毛の重さ（0.001）と青いクジラの重さ（85,000）を比較させようとしているようなものです。クジラが羽毛をかき消してしまい、ロボットは混乱しました。著者はデータを「正規化（ノーマライズ）」することで、すべてを同じスケールに置き、これを修正しました。
2. 壊れたスコアカード: ロボットは、数学的に壊れたテストによって採点されていました。ほんのわずかな計算ミスによって、全く同じ行動に対して、ある時は「1,000」というスコアを与え、ある時は「-1,000」を与えることがありました。これにより、ロボットは世界は混沌としていて予測不能なのだと判断し、諦めてしまったのです。著者は、スコアが意味を持つように数学を修正しました。

3. 「怠惰な」ロボット：何もしないことが最も賢明な選択

修正後、ロボットは**高速顕微鏡（ジムA）のデータで訓練されました。すると、ロボットはある非常に奇妙な教訓を学びました。それは、「決してトレードをするな」**という教訓でした。

最初、著者はロボットが壊れているか、あるいは学習するためのデータが足りないのだと考えました。しかし、彼は真実に気づきました。ロボットは実は賢明に行動していたのです。

• 比喩: フリーマーケットを想像してみてください。何かを買って、その10秒後に売ろうとするたびに、市場から30%の手数料を徴取されるとします。たとえ商品の価格が1%上がったとしても、手数料のせいで結局は損をしてしまいます。
• 現実: 高速データの世界では、ビットコインの価格は1秒間ではほとんど動きません（多くの場合 0.00000%）。しかし、トレードの手数料は膨大です（0.30%）。
• 結論: ロボットは、いかなるトレードも損失を招くことに気づきました。したがって、最も利益が出る戦略は、じっと動かずにいることでした。著者はこれを「経済的に合理的な不作為（economically rational inaction）」と呼んでいます。これは失敗ではなく、ゲームがトレードに対して不利な設定になっていることを、ロボットが正しく理解した結果なのです。

4. 長距離の成功：ささやかな勝利

ロボットが**長距離ハイウェイ（ジムB）**のデータ（2.4年間の1時間ごとのチャート）で訓練されたとき、それは異なる動きを見せました。慎重にトレードすることを学んだのです。

• 結果: テスト期間中に市場は約21%下落しました。
  • もし単にビットコインを保有（バイ・アンド・ホールド）していたら、**20.82%**の損失が出ました。
  • ロボットの損失は**19.42%**でした。
• 教訓: 大儲けをしたわけでも、市場を圧倒したわけでもありません。しかし、単に保有し続けていた人よりも、損失を少なく抑えることができました。これは、非常に過酷なレースの中で、集団の少し前を走ってゴールしたランナーのような、小さく着実な勝利です。

5. 「アンサンブル」フィルター：何もしなかった門番

著者は、これら二つのロボットを組み合わせようと試みました。彼は「ゲートキーパー（門番）」となるアンサンブル・フィルターを構築し、高速ロボットが良い機会を見つけた場合にのみ、長距離ロボットにトレードを許可するようにしました。

• テスト: 著者は、二つのデータセットが重なっている唯一の1週間でこれをテストしました。
• 結果: ゲートキーパーは64件の潜在的なトレードをブロックしましたが、最終的な結果は変わりませんでした。なぜでしょうか？ それは、長距離ロボットがすでにほとんどの時間、手をこまねいて何もしない状態だったからです。ゲートキーパーは、すでに空いているクラブのドアに立っている用心棒のようなものでした。人が入ろうとするのを阻止はしましたが、そもそも誰も入ろうとしていなかったので、クラブは空のままだったのです。
• 誠実さ: 著者は、この「無効な結果（null result）」を隠すのではなく、公表しました。彼は、「この部分は機能しなかった」と認めることは、成功を偽ることよりも価値があるのだと主張しました。

6. 大きな教訓：「誠実な失敗」は「磨き上げられた嘘」よりも価値がある

この論文の最も重要な部分は、トレード戦略ではありません。それは**「姿勢」**です。

AIや金融の世界では、研究者はしばしば、ロボットが何百万ドルも稼いだという「ハッピーエンド」だけを出版します。しかし、この論文は異なります。

• 「私たちの最初の試みがなぜクラッシュしたのか、その正確な理由」
• 「なぜ二番目のロボットは何もしないことを選択したのか（そして、それがなぜ正しかったのか）」
• 「システムの一部が機能しなかったこと、そしてその証拠」

これらを明らかにしています。
著者は、こうした「負の結果」や「診断」を共有することが、磨き上げられた完璧な物語を共有することよりも、コミュニティー全体の学習を加速させると信じています。彼は誰でも自分の仕事を検証できるように、すべてのコードとノートを公開しており、透明性が科学を進歩させる最善の方法であることを証明しています。

要約すると： この論文は、ビットコインをトレードすることを学んだロボットの物語です。数学のミスでクラッシュし、時には「トレードしないこと」が最善のトレードであることを学び、最終的には他の人々よりも少しだけ損失を少なく抑えることを学んだ物語です。そして著者は、恥ずかしい部分も含めて、真実のすべてを語ることを約束しています。