Ensemble learning for time series forecasting using metaheuristic optimisation

预测未来是人类的本能，但预测数字的未来却是一门极其困难的科学。在金融领域，时间序列预测是试图根据昨天、上周和去年的数据来猜测明天的股票价格。数据很少是直线型的；它是锯齿状的、充满噪声且不断变化的，就像试图预测风暴中的天气一样。由于市场如此剧烈波动且难以捉摸，依靠单一的方法来进行预测，往往就像是在航行时只使用一个指南针。如果这个指南针稍微偏离，整个航程都会受到影响。这就是为什么研究人员转向了“集成学习”（ensemble learning）——这是一种通过构建并结合多种不同预测模型来实施的策略。与其信任一位专家，不如让系统倾听一个专家小组的意见，希望他们的集体智慧能够抵消个人的错误，并揭示出一条更清晰的前行之路。

然而，挑战在于如何组合这些专家。如果你只是简单地要求每个模型给出预测并取其平均值，你可能会忽略这样一个事实：某个模型目前表现卓越，而另一个则正处于挣扎之中。真正的诀窍在于，如何在任何给定时刻，确定哪些模型值得更多的信任，以及哪些模型应该减少关注。这正是来自印度的研究团队所解决的具体问题，他们开发了一种管理这些预测模型组的新方法。他们创建了两个截然不同的系统，一个受鸟类集群行为的启发，另一个则基于处理不确定性的数学方法，旨在动态地决定给予每个模型多少权重。他们的目标是建立一个能够实时适应的系统，随着市场状况的变化，将重心转移到最可靠的预测器上。

为了测试他们的想法，研究人员转向了印度股市——这是一个庞大且复杂的金融生态系统，在过去十五年间经历了重大的经济变革和全球疫情带来的剧烈波动。他们收集了七个不同实体的历史数据：两个追踪经济整体健康状况的主要市场指数，以及在交易所上市的五家大型公司。他们并没有仅仅依赖一种类型的预测引擎。相反，他们构建了一个由三种不同人工智能模型组成的“专家组”，每种模型都有其自身的优势。其中一个模型旨在发现静态数据中的模式，另一个模型旨在记忆随时间变化的长期趋势，而第三个则是该记忆模型的精简版本，旨在提高运行速度。这三个模型都在过去十五年的数据上进行了训练，以学习如何预测次日的收盘价。

一旦这三个模型准备就绪，研究人员便应用了他们两种新的管理系统来组合这些预测。第一个系统被称为 Ensemble PSO（粒子群优化集成），其工作原理是模拟一群粒子寻找最佳解决方案的过程。想象一群鸟儿在一起飞行；每只鸟都知道自己的最佳位置以及整个鸟群发现的最佳位置。它们不断调整飞行路径，向着最好的位置移动。在这个计算机系统中，“鸟”是分配给三个模型的不同权重组合。该系统运行数千次模拟，不断调整配比，直到找到能使预测价格与实际价格之间的误差最小化的完美平衡点。第二个系统名为 Ensemble ARO（鲁棒优化集成），采用了不同的方法。它将市场的这种不确定性视为一个需要进行数学管理的变量，寻找一组即使在市场表现异常时也能保持稳健的权重。它本质上是在问：“以哪种方式组合这些预测才是最安全的，从而使我们不会措手不及？”

研究人员将这两个新系统与单个模型、三个模型的简单平均值以及过去使用的其他先进预测方法进行了对比。为了在所有七个不同的数据集上进行公平比较，他们开发了一种新的评分方式。他们不仅看预测值偏离平均值的程度，还观察了四种不同的准确度指标，并将它们合并为一个综合得分。这使得他们不仅能在单一数据集上进行排名，还能在七种不同的股票和指数的整个范围内进行排名。

结果是清晰且一致的。使用基于集群优化的系统——Ensemble PSO，始终优于其他所有方法，包括单个模型和其他集成技术。它被证明是在不同市场状况和测试时间段内最可靠的预测器。表现第二好的系统是使用鲁棒优化方法的 Ensemble ARO，它也显著优于标准模型。研究发现，虽然像长短期记忆网络这样的个体模型在执行特定任务时表现良好，但当市场变得过于剧烈波动或难以预测时，它们往往会陷入困境。通过动态调整权重，新的集成系统能够倾向于在特定时刻表现最好的那个模型，从而有效地平滑误差并提供更准确的预测。

研究人员得出结论，他们的方法为金融预测提供了一个强大的工具。通过使用元启发式优化来管理不同模型的权重，他们创建了一个比依赖单一算法或简单平均值更具适应性和准确性的系统。研究结果表明，在充满噪声和变化的数据世界中，预测未来的最佳方式不是寻找单一的完美模型，而是构建一个灵活的模型团队，并由一个智能系统引导它们协同工作。这项工作为我们如何利用人工智能来应对股市的复杂性提供了具体的进展，提供了一种既具扩展性又足以应对金融数据现实世界不可预测性的方法。