Optimization of dynamic crypto portfolios via deep reinforcement learning against supervised learning under transaction costs
本文证明了使用 PPO 的深度强化学习方法在考虑交易成本的情况下，在优化动态加密货币投资组合方面显著优于 LSTM、随机森林和 XGBoost 等监督学习模型，通过优先考虑交易效率而非方向准确性，实现了卓越的风险调整后收益和市场中性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
数字货币的世界运行在一个超越传统金融直觉的规模之上。与股票或债券等相对稳定的市场不同，加密货币领域的特征是极端的波动性，价格可以在一天之内剧烈波动，且监管这些价格的规则会在毫无预警的情况下发生变化。几十年来，投资者一直依赖旨在平衡风险与回报的数学模型，但当这些经典工具应用于那些并不表现得像普通经济商品的资产时，它们往往会失效。这些模型假设市场模式会重复出现，且不同资产之间的关系保持不变，而这些假设在数字金融的混乱环境中崩溃了。为了应对这种动荡，研究人员转向了人工智能，希望构建能够从噪声中学习，而非试图以完美精度预测未来的系统。核心挑战不仅在于寻找盈利的交易，还在于如何在不因交易本身的隐藏成本（例如每次调整投资组合时都会侵蚀利润的手续费）而亏损的情况下实现盈利。
在最近的一项研究中，来自摩洛哥大学的一个研究小组通过测试一种管理十种主要加密货币组合的新方法，解决了这一特定问题。他们旨在观察一种被称为深度强化学习的 AI 类型是否能超越多年来作为标准的成熟机器学习方法。研究人员创建了一个数字环境，其中的一个人工智能代理必须做出每日决策，决定如何将资金分配在包括比特币、以太坊在内的十种不同货币中，同时还要保留一部分在类似于现金的安全、零风险资产中。至关重要的是，每当代理决定将资金从一种货币转移到另一种货币时，它都必须支付一笔小额费用，这模拟了现实世界的交易成本。目标是观察哪种方法能在最大化组合价值的同时，在不可避免的市场崩盘中生存下来，并避免过度交易的陷阱。
该团队将他们的新方法与三种著名的监督学习模型进行了对比，这些模型的工作原理是首先尝试预测资产的未来价格，然后根据该预测决定购买什么。这些传统模型包括擅长记忆过去模式的长短期记忆网络（LSTM）、利用许多决策树寻找答案的随机森林（Random Forest），以及用于识别数据中复杂关系的强大工具 XGBoost。研究人员发现，在引入交易费用后，这些传统方法表现得非常吃力。因为这些模型专注于预测价格的确切方向，即使是在预测中出现微小的误差，也会导致它们进行过于频繁的交易。这种由轻微误判驱动的不断买卖，意味着手续费迅速吞噬了任何潜在利润，导致投资组合收益持平甚至处于亏损状态。其中一种传统模型实际上亏损了资金，未能覆盖其进行的交易成本。
相比之下，使用称为近端策略优化（PPO）方法的深度强化学习代理采取了一种截然不同的方法。该代理不再试图猜测下一个价格，而是直接从其行为的后果中学习。它因赚钱而获得奖励，但也会因为不必要的资金移动而受到严厉惩罚。这教会了代理一个至关重要的教训：除非预期收益足以抵消手续费，否则保持不动比交易更好。当市场变得危险时，该代理学会了撤退到安全的现金头寸中，保护其资本免受最严重跌势的影响。当市场平静时，它则保持投资以捕捉增长。这种策略使其能够以极高的效率应对 2021 年至 2024 年间的剧烈波动期。
实验结果非常显著。深度强化学习代理实现了 37.22% 的年化回报率，远超其他方法。虽然传统模型实现的收益率在 6.75% 到 -1.48% 之间徘徊，但新代理不仅实现了组合增长，还有效地管理了风险。在市场最糟糕的跌幅期间，其最大回撤为 28.74%，比其他策略经历的损失更小。或许最重要的一点是，该代理证明了其具有市场中性，这意味着其成功并不依赖于整体市场的上涨或下跌。它产生了一个被称为“阿尔法”（alpha）的具体数值，这代表了独立于大盘趋势之外的策略本身所具备的技能。相比之下，传统模型与市场方向高度挂钩，且未能产生这种额外价值，往往是在毁灭财富而非创造财富。
这项研究表明，管理剧烈波动的数字资产的未来可能在于那些理解“行动成本”而非仅仅理解“回报承诺”的系统。通过将交易费用的现实直接嵌入学习过程，研究人员创建了一个行为更像谨慎的人类投资者而非反应式机器的代理。它学到了耐心和纪律往往比持续活动更具盈利性。虽然这项研究是使用历史数据和模拟进行的，但其发现为从简单的预测模型转向优化整个交易体验（包括市场摩擦）的系统提供了有力的论据。这种方法的成功强调了，在混乱的金融世界中，知道何时不交易与知道何时买入同样重要。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。