Sequential Structure in Intraday Futures Data: LSTM vs Gradient Boosting on MNQ

想象一下，你试图预测某个特定城市的天气，但手中只有四年的每日天气记录。你想知道：“如果一天中的第一个小时下雨，那么全天都会下雨吗？”

本文是一份来自研究员马蒂亚斯·梅斯芬（Mathias Mesfin）的报告，他试图回答这个问题，但他关注的并非天气，而是股票期货（具体为追踪纳斯达克 100 指数的 MNQ）。他想看看现代高科技的“计算机大脑”（机器学习）能否发现人类所忽略的市场“心跳”中的隐藏模式。

以下是他做了什么、如何做的以及发现了什么的简单故事。

核心理念：“克洛诺斯”与“本地小店”

最近，一个名为克洛诺斯（Kronos）的巨型人工智能模型发布。它在来自许多不同市场的数百万张股票图表上进行了训练。它发现，价格 K 线出现的顺序（即序列）实际上蕴含着关于下一步走势的线索。这就像一位品尝过数百万道菜肴的大厨，确切知道特定食材序列会带来怎样的味道。

马蒂亚斯提出了一个简单的问题：“如果我们采用同样的思路，但仅应用于一个市场（MNQ），且时间跨度仅为四年**，它还会有效吗？”**

他安排了两类计算机学习者进行竞赛：

1. “散弹枪”（梯度提升模型）： 该模型查看一系列事实（例如“昨天很热”、“跳空幅度很大”），但将它们视为一堆互不相关的项目。它并不关心这些事实发生的顺序。
2. “讲故事的人”（LSTM 模型）： 该模型旨在阅读故事。它观察上午的 12 根 5 分钟 K 线，试图理解事件的序列，就像逐字阅读一个句子一样。

实验：严格的测试

马蒂亚斯没有让计算机随意猜测，而是设立了一项名为**前向滚动验证（Walk-Forward Validation）**的严格测试。

• 规则： 计算机从 2022 年学习，然后尝试预测 2023 年。接着，它从 2022–2023 年学习并预测 2024 年。最后，它从 2022–2024 年学习并预测 2025 年。
• 目标： 预测市场在上午 10:30 的收盘价是否比开盘价高出至少 10 个点。
• 基准： 如果你只是抛硬币，你的正确率约为 51.8%（因为市场上涨的频率略高于下跌）。要获胜，计算机必须胜过抛硬币。

结果：计算机迷失了方向

结果诚实且令人失望，对于“高科技”的希望而言如此，但对于科学而言却极具信息量：

1. “散弹枪”（梯度提升模型）： 它试图在每日数据中寻找模式。有时它运气不错（某一年准确率达到 54%），但在其他年份，它的错误率甚至高于抛硬币。当马蒂亚斯检查其决策原因时，发现理由每年都在变化。有一年它关注“隔夜跳空”，下一年则关注“成交量”。这就像一个学生死记硬背了去年的考题答案，却未能掌握真正的数学原理。
2. “讲故事的人”（LSTM 模型）： 这是关键测试。上午 K 线的序列是否重要？答案是否定的。该模型 essentially 放弃了。无论早晨的形态如何，它对每一天的预测都是 50/50 的概率。它的“置信度”是平坦的。它什么都没学到。

裁决： 没有任何模型能比抛硬币更好地预测市场。“讲故事的人”没有找到故事，只找到了噪音。

“为什么”：图书馆类比

为什么高科技人工智能会失败？该论文使用了一个精彩的图书馆类比来解释：

• 克洛诺斯模型（获胜者）： 想象一个拥有900 万本书的图书馆。如果你想学习一门罕见的语言，你可以阅读数百万个例子并找到规则。
• 马蒂亚斯的数据集（失败者）： 想象你只有944 页（四年，每年一天）。
  • 如果某种特定模式出现的频率仅为 5%，那么在你整个图书馆中，它仅出现47 次。
  • 试图教一个复杂的人工智能去发现一个仅出现 47 次的模式，就像试图教一个孩子识别一种特定的云，方法是在四年里每两周给他看一次这种云的照片。数据“燃料”根本不足以让引擎运转。

人工智能并非因为“愚蠢”而失败。它失败是因为数据匮乏。它需要数百万个样本来学习市场的“语法”，但只被给予了数百个。

结论：诚实的“不”

这篇论文最重要的部分不在于模型失败了，而在于研究员承认了失败，并确切解释了原因。

• 主张： 你无法仅利用四年的 5 分钟数据，使用先进的人工智能来预测单一股票市场的每日走势。数据量太小了。
• 教训： 要让这些模型发挥作用，你需要：
  1. 更长的历史数据（几十年，而非几年）。
  2. 更快的数据（逐笔交易数据，这将使数据点数量增加 50 倍）。
  3. 更多的市场（同时在纳斯达克、标普和道琼斯指数上进行训练，为人工智能提供更多样本）。

简而言之：“克洛诺斯”超级人工智能之所以有效，是因为它阅读了整个市场百科全书。马蒂亚斯试图仅用字典的一页来教导类似的人工智能，不出所料，它无法学会这门语言。这篇论文是一份宝贵的地图，向研究人员精确展示了“数据悬崖”的位置，以免他们浪费时间在数据不足的情况下试图跨越它。