Optimization of dynamic crypto portfolios via deep reinforcement learning against supervised learning under transaction costs
本論文は、PPOを用いた深層強化学習のアプローチが、取引コストを考慮した動的な暗号資産ポートフォリオの最適化において、方向性の正確性よりも取引効率を優先することで、優れたリスク調整後リターンと市場中立性を達成し、LSTM、ランダムフォレスト、XGBoostといった教師あり学習モデルを大幅に上回ることを実証している。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタル通貨の世界は、従来の金融的な直感に反する規模の動きの中で動いている。株式や債券のような比較的安定した市場とは異なり、暗号資産の景観は極端なボラティリティによって定義されており、そこでは価格が一日の中で激しく変動し、価格を支配するルールが予告なしに変更されることもある。数十年にわたり、投資家はリスクと報酬のバランスをとるために設計された数学的モデルに依拠してきたが、これらの古典的なツールは、通常の経済財とは異なる挙動を示す資産に適用されると、しばしば失敗に終わる。これらのモデルは、市場のパターンが繰り返されること、そして異なる資産間の関係が一定であることを前提としているが、それらの仮定はデジタル金融の混沌とした環境においては崩壊してしまう。この乱気流を乗り切るために、研究者たちは人工知能へと目を向け、未来を完璧に予測しようとするのではなく、ノイズから学習できるシステムの構築を試みている。核心となる課題は、単に利益の出る取引を見つけることではなく、ポートフォリオを調整するたびに利益を削り取る手数料のような、取引そのものに潜む隠れたコストによって資金を失うことなく、いかに取引を行うかである。
最近の研究において、モロッコの大学の研究チームは、10種類の主要な暗号資産のポートフォリオを管理するという新しいアプローチをテストすることで、この特定の問題に取り組んだ。彼らは、深層強化学習として知られる一種の人工知能が、長年標準であった確立された機械学習手法を凌駕できるかどうかを検証することを目指した。研究者たちは、エージェントがビットコインやイーサリアムを含む10種類の異なるコインに資金をどのように分配するかについて、毎日決定を下さなければならないデジタル環境を作成した。その際、エージェントは現金に似たリスクゼロの安全資産にも一部を保持しなければならない。決定的なのは、エージェントが一つのコインから別のコインへ資金を移動させるたびに、現実世界の取引コストを模した小さな手数料を支払わなければならないという点である。目標は、どの手法がポートフォリオの価値を最も成長させられるか、そして避けられない市場の暴落を生き延びつつ、過剰な取引という罠を回避できるかを確認することであった。
チームは、資産の将来価格をまず予測しようとし、その予測に基づいて何を買うかを決定するという、彼らの新しいアプローチを、3つのよく知られた教師あり学習モデルと比較した。これらの伝統的なモデルには、過去のパターンを記憶することに長けた長短期記憶（LSTM）ネットワーク、多くの決定木を用いて答えを見つけ出すランダムフォレスト、そしてデータ内の複雑な関係を特定する強力なツールであるXGBoostが含まれる。研究者たちは、これらの伝統的な手法が取引手数料が導入されると著しく苦戦することを発見した。これらのモデルは価格の正確な方向を予測することに焦点を当てているため、予測におけるわずかな誤差であっても、頻繁すぎる取引を引き起こしてしまう。この、わずかな計算違いによって駆動される絶え間ない売買により、手数料が潜在的な利益を急速に食いつぶし、ポートフォリオを横ばい、あるいは赤字に陥らせた。ある伝統的なモデルは、実際に行った取引のコストをカバーできず、資金を失った。
対照的に、近接方策最適化（PPO）と呼ばれる手法を用いて訓練された深層強化学習エージェントは、根本的に異なるアプローチをとった。このエージェントは、次の価格を予想しようとするのではなく、自身の行動の結果から直接学んだ。エージェメントは、お金を稼ぐことで報酬を得る一方で、不必要に資金を動かすことに対しては厳しく罰せられた。これにより、エージェントは重要な教訓を学んだ。すなわち、期待される利益が手数料を正当化できるほど大きくない限り、動かずにじっとしている方が良いということである。市場が危険な状態になると、このエージェントは資本を最悪の下落から守るために、安全な現金ポジションへと退却することを学んだ。市場が穏やかな時には、成長を取り込むために投資を継続した。この戦略により、エージェントは2021年から2024年までの激動の期間を驚くべき効率で乗り切ることができた。
実験の結果は明白であった。深層強化学習エージェントは年利37.22パーセントを達成し、他の手法を大きく引き離した。伝統的なモデルの収益率は、控えめな6.75パーセントからマイナス1.48パーセントの範囲にとどまったが、この新しいエージェントはポートフォリオを成長させただけでなく、リスクも効果的に管理した。最悪の市場の下落局面においても、最大損失は28.74パーセントに抑えられ、これは他の戦略が経験した損失よりも軽微であった。おそらく最も重要な点は、このエージェントがマーケット・ニュートラル（市場中立的）であることを証明したことである。つまり、その成功は市場全体の動向に依存しないということである。エージェントは、一般的な市場トレンドとは独立した、戦略自体のスキルを表す「アルファ」と呼ばれる特定の価値を生み出した。比較として、伝統的なモデルは市場の方向に強く縛られており、この追加価値を生み出すことができず、むしろ富を創造するどころか破壊してしまうことが多かった。
この研究は、ボラティリティの高いデジタル資産を管理する未来は、報酬の約束だけでなく、行動のコストを理解するシステムにあることを示唆している。学習プロセスの中に取引手数料という現実を組み込むことで、研究者たちは、反応的な機械というよりも、思慮深い人間の投資家のように振る舞うエージェントを作り出した。エージェントは、絶え間ない活動よりも、忍耐と規律の方がしばしば利益をもたらすということを学んだ。この研究は歴史的データとシミュレーションを用いて行われたものであるが、その知見は、単純な予測モデルから、市場の摩擦そのものを含む取引体験全体を最適化するシステムへと移行することへの説得力のある議論を提示している。このアプローチの成功は、混沌とした金融の世界においては、「いつ取引しないべきかを知ること」が、「いつ買うべきかを知ること」と同じくらい価値があるということを浮き彫りにしている。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。