Dispersion-Matched Forecast Comparison: Separating Skill from Shrinkage in the Evaluation of Financial Prediction Models

在金融领域，预测未来的股票价格是梦寐以求的圣杯。投资者和银行投入数十亿美元用于复杂的计算机系统，希望能从每日市场的波动混沌中找到规律。这些系统通常利用深度学习构建，旨在消化海量信息——包括历史价格和经济报告——以猜测股票在明天是会上涨还是下跌。判断一个此类系统是否真正优秀的标准方法，是将它的预测结果与一系列其他系统进行比较。如果一个新模型比旧模型犯的错误更少，它就会被宣布为获胜者，其创造者也会发布这些结果作为突破。这一过程依赖于一个简单的假设：即较低的误差得分意味着该模型发现了数据中的真实信号，即一种他人无法察觉的真实能力。

然而，一项新的研究挑战了衡量这些获胜者方式的根本基础。研究人员与计算机科学和管理领域的专家团队合作，发现标准的评分方法是可以被愚弄的。他们发现，一个计算机模型之所以能获得完美的分数，并不是因为它学会了预测市场，而是因为它学会了几乎不做任何事。当市场难以预测时，最稳妥的数学策略就是每一次都简单地预测平均结果。如果一个模型过于谨慎，或者其设计迫使其过于保守，它就会压缩自己的预测值，直到它们几乎趋于平坦。研究表明，目前的排名系统将这种“收缩”行为误认为是技能，从而创造了一个排行榜，其中所谓的“最佳”模型实际上是那些已经放弃预测任何内容的模型。

研究人员着手测试一种专门用于预测每日股票回报的特定现代架构。这个被称为 MFGate-Net 的系统旨在成为一个最先进的预测器。它结合了两种不同类型的信息：源自价格图表的指标，以及宏观经济数据（如利率和市场波动率），并配有一种动态权衡这些输入的机制。为了验证其效果，团队利用七年的历史数据对其进行训练，然后在涵盖 2022 年至 2024 年的新鲜、未见过的时期进行测试。选择这段测试期是经过深思熟虑的，因为它包含了不同的市场环境，包括高通胀时期和复苏阶段，确保模型面临真实的挑战。

当团队进行标准比较时，结果看起来像是一场胜利。这个新模型击败了所有竞争对手，包括较旧、较简单的机器学习方法和其他复杂的深度学习网络。它拥有最低的误差率，统计测试也证实了其优势并非偶然。按照所有常规标准，这本应成为新闻头条：一种全新的、更优越的预测市场的方法。但研究人员并未止步于此。他们提出了一个更简单、更基本的问题：这个模型是否真的击败了最基本的预测？在金融领域，最简单的预测是假设明天的价格变化正好为零。这被称为“无条件基准”（unconditional benchmark）。这是“无所作为”的基准线。

当他们将这个复杂的模型与这个“零预测”进行比较时，故事发生了彻底的转变。这个复杂的模型并没有击败零预测。事实上，它在统计上与零预测无法区分。该模型的预测值如此接近于零，以至于它相对于仅仅猜测“什么都不会发生”并没有提供任何实际优势。更令人震惊的是，排行榜上的每一个其他模型，从最新的深度学习网络到较旧的统计方法，也都未能击败零预测。它们都比“无所作为”的表现更差。研究人员意识到，他们之前看到的排名并不是在衡量谁是最好的预测者，而是在衡量谁是最谨慎的。那些将预测值压缩得最多的模型，看起来误差最小。排名测量的是模型的“坍缩”程度，而非它们的学习程度。

为了证明这一点，团队推导出了为什么会发生这种情况的数学解释。他们表明，当市场几乎无法预测时，模型的误差得分几乎完全取决于其预测值的变动幅度与实际市场变动幅度的比例。如果一个模型预测的变动极小，即使它是错误的，其误差得分也会看起来很好。研究表明，一个模型相对于另一个模型的所谓优越性，仅仅是它们预测收缩程度的差异。用于宣布获胜者的统计测试实际上是在测量这种收缩，而且随着收集的数据越多，它们对错误结论的信心就越强。数据集越大，这种“技能”的幻象就变得越强烈，尽管其中并不存在任何技能。

随后，研究人员提出了一个简单的修正方案。在比较模型之前，他们调整了每个预测值的范围，使其变动范围与实际市场的变动范围相匹配。这个过程被称为“离散度匹配”（dispersion matching），它消除了向收缩倾斜的偏差。一旦应用了这一修正，模型之间的显著差异便消失了。那些此前看起来像是明确获胜者的模型，现在在统计上与失败者不相上下。那种暗示着突破的“压倒性”显著性消失了，取而代之的是一个显示所有模型表现本质上相同的结果。在一种特定情况下，一个曾被宣布为最佳的模型被发现并不比一个常数零预测更好，其差异是由随机因素导致的概率高达 0.97。

研究还考察了这些模型是否能赚钱。即使一个模型不能完美预测价格，如果它能引导盈利交易，它可能仍然是有用的。研究人员基于模型的预测模拟了交易策略，并考虑了买卖成本。结果非常残酷。即使在交易成本为零的情况下，没有任何模型产生的利润能够击败无风险投资。在误差图表上表现最成功的模型，在盈利能力方面竟然是最差的，因为其谨慎的预测导致其策略几乎处于停滞状态，从而在资本成本面前积累了微小的损失。这证实了统计排名不仅具有误导性，而且在经济上是毫无意义的。

或许最令人不安的发现涉及到了用于解释这些模型如何运作的工具。在人工智能领域，研究人员经常使用可视化技术来展示模型正在关注哪些数据点，希望以此证明系统已经学习到了有意义的模式。团队通过在目标变量被随机打乱（从而破坏了输入与输出之间的任何真实关系）的数据上训练模型来测试这一点。一个在噪声上训练的模型是不可能学习到任何东西的。然而，当他们分析这个“损坏”的模型时，它生成的解释与真实模型的解释几乎完全相同。可视化结果显示，同样的特征被突出显示，同样的模式被关注。这表明，这些可解释性工具往往反映的是数据本身的结构，而非模型所获得的特定知识。它们无法区分一个学习到了秘密的模型和一个什么也没学到的模型。

研究人员总结道，整个金融预测领域需要改变报告结果的方式。他们建议每项研究都必须包含与简单的“零预测”的对比，以证明模型是否具备任何技能。他们还建议报告一个衡量模型预测变动程度的指标，以确保低误差得分不是由于过度谨慎造成的。如果没有这些检查，文献中将充斥着看似在推动技术前沿、实则只是在通过“假装不存在”来进行排名的模型。这项研究并非声称预测市场是不可能的，也不是说深度学习毫无用处。它只是表明，目前的衡量成功的方式是失效的；在规则修复之前，排行榜上的赢家可能并不是那些真正能够预见未来的人。