Regime Dependent Machine Learning and the Limits of Algorithmic Trading in the Dhaka Stock Exchange

在金融领域，存在一种持久的信念，即如果人们能够收集足够的数据并应用正确的数学工具，就能预测股票的未来价格。这一理念建立在这样一个概念之上：市场并非完全是随机的；相反，市场会以不同的“状态”（regimes）进行运动，在平静、高波动和压力时期之间切换。逻辑在于，如果投资者能在这些转变发生时识别出它们，他们就可以调整策略，在市场安静时买入，在混乱时卖出，从而战胜普通参与者。这种方法已成为现代算法交易的基石，其中计算机利用复杂的机器学习来扫描海量的历史数据，寻找人类交易员可能忽略的信号。驱动这项研究的核心问题是，这些复杂的系统是否真的能将这些信号转化为真实的、持久的利润，尤其是在那些不如西方市场发达且更具不可预测性的市场中。

最近一项针对孟加拉国达卡证券交易所的研究，试图以严谨的精度回答这个问题。研究人员 Md. Shakil Sikder 并没有仅仅在一个 handful 的公司上测试单一模型。相反，他构建了三个独立的股票组，以确保结果并非偶然。第一组由作者精心挑选的十二家知名、流动性强的公司组成。第二组是六家由计算机随机选择的公司，以消除任何人为的选择偏差。第三个规模更大的组别包含了二十四只额外的股票，随后加入其中，以测试研究结果是否能在更广泛的行业范围内保持成立，最终涵盖了十七个不同行业的四十二只证券。其目标是观察一种特定的机器学习方法——即根据当前市场“状态”来设定其预测条件——是否能够持续击败一个简单的基准策略（即假设市场除了重复近期的平均水平外不会有更多变化）。

该研究采用了五种不同的预测模型，从基础统计方法到如神经网络等先进的人工智能系统。这些模型被输入了十三个不同的技术指标，例如过去的价格变动、成交量和动量，以及一个指示市场处于正常、高波动或压力状态的信号。研究人员使用了一种称为“向前行走验证”（walk-forward validation）的严格测试方法，这种方法通过在过去的数据上训练模型，然后在模型从未见过的未来数据上进行测试，从而模拟实时交易，确保没有信息从未来泄露到过去。他们还考虑了孟加拉国特有的交易成本，包括经纪费、税收以及在尝试买卖大量股票而不引起自身价格变动的情况下所产生的滑点。

结果在所有三组股票中都表现得极其鲜明且一致。没有任何一种复杂的机器学习模型能够跑赢简单的基准。事实上，最复杂的梯度提升树算法（即 LightGBM）在每一个面板上的表现都显著差于基准方法。当研究人员尝试使用“状态”信息来指导交易决策时，这些策略未能产生任何利润。相反，这些交易策略损失了其初始资本的大部分。研究发现，模型试图利用的底层信号本身并不存在，或者说在计入成本后无法转化为金钱。即使研究人员尝试减少交易次数以规避费用，剩余的收益仍然为负，这表明问题不仅在于交易成本，而在于缺乏真正的预测信号。

一个特别具有启发性的发现涉及计算机模型如何解读达卡证券交易所独特的机制。该交易所有一种监管机制，通过设置底价来防止股价跌破某一水平。在极端压力时期，这种机制会导致交易停止或价格长时间保持平稳。研究发现，依赖波动率来检测市场压力的机器学习模型误解了这些价格停滞现象。由于价格不再变动，模型计算出的波动率为零，并将这些危险时期标记为“低风险”或“正常”。这一错误意味着模型在最需要保护投资者的时候未能发挥作用。研究人员测试了一个排除这些冻结日的规则，但这一调整反而使表现变得更糟，因为重新平衡投资组合的成本超过了任何潜在收益。

该研究还探讨了金融研究中的一个常见陷阱：模型在事后掌握的信息与在实时掌握的信息之间的差异。研究人员发现，计算机在看到整个历史数据后识别市场状态的能力，与在实时发生时识别这些状态的能力大不相同。从回顾的角度看，模型可以正确地将某一天标记为压力日，但在做出即时决策时，它的错误率超过了一半。这种“后视镜”与“实时预测”之间的差距，是许多回测策略在应用于实盘市场时失败的关键原因。研究证实，即使使用了先进的统计修正和多层验证，这些策略也没有展示出任何不能用随机性来解释的技能。

最终，研究表明，对于达卡证券交易所而言，市场的行为符合“弱式有效市场”的理论。这意味着过去的价格变动和成交量并不能为未来的收益提供可靠的路线图，至少在目前的机器学习技术无法利用的层面是如此。研究结论指出，认为“感知状态的机器学习”可以轻易转移到具有独特监管特征的前沿市场的假设是错误的。基于波动率的检测与底价机制之间的特定相互作用，创造了一个算法难以克服的盲点。这些发现为从业者和研究人员敲响了警钟，证明了在流动性薄弱且存在特定监管约束的市场中，最先进的工具也可能无法在不存在优势的地方找到优势。证据表明，从统计学角度来看，该市场唯一可靠的策略仍然是长期持有股票的被动策略，而不是试图用复杂的算法来进行择时交易。