Quasi-average predictions and regression to the trend: an application the M6 financial forecasting competition

本文通过分析 M6 金融预测竞赛，指出在有效市场假说下的高不确定性环境中，采用低离散度的准平均预测及回归趋势方法，比试图预测实际值或依赖高波动性策略更能获得超越基准指数的稳定优势。

要点

这篇文章讲述了一个关于**“如何在充满不确定性的股市中聪明地预测和赚钱”**的故事。作者参加了一场名为"M6"的顶级金融预测比赛，并发现了一个反直觉的秘诀：在混乱的市场中，不要试图做“神算子”去猜具体的涨跌，而是要做一个“老练的统计学家”，去猜“大概的平均值”。

下面我用几个生活中的比喻来为你拆解这篇论文的核心思想：

1. 背景：为什么大家都很难战胜市场？

想象一下，股市是一个巨大的、信息透明的水晶球。根据“有效市场假说”，所有已知的消息（比如公司财报、新闻）都已经瞬间反映在股价里了。

• 现实情况：这就好比你在玩一个所有人都知道规则的游戏，想靠“内幕消息”或者“高超技巧”每次都赢过平均水平，几乎是不可能的。
• 数据佐证：过去 20 年里，美国只有不到 7% 的主动管理基金能跑赢大盘指数。就像在马拉松里，绝大多数专业选手跑不过“平均配速”，甚至跑得更慢。

2. 核心策略一：预测排名（Quasi-average predictions）

比赛的第一部分要求预测 100 只股票和 ETF（一种像股票一样的基金）谁涨得最好，谁涨得最差。

• 普通人的误区：试图精准预测“下个月 A 股票会涨 5%，B 股票会跌 2%"。这就像试图在暴风雨中精准预测每一滴雨落在哪里，太难了，而且容易出错（过拟合）。
• 作者的“笨”办法：
  • 分类 averaging（求平均）：作者把资产分成两类：“股票”和"ETF"。他发现，股票通常波动大（像坐过山车），ETF 通常波动小（像坐大巴）。
  • 回归趋势：他不去猜具体的数字，而是猜“大概率”事件。比如，他预测“股票类资产大概率会出现在前 20% 或后 20% 的极端位置，而 ETF 则更集中在中间”。
  • 比喻：这就好比预测明天的天气。如果你猜“明天下午 3 点 15 分会下 2.3 毫米的雨”，你大概率会输。但如果你猜“明天大概率会有雨，或者大概率是晴天”，虽然不精确，但长期来看，你的准确率反而更高。
• 结果：这种“不求精准，但求平均”的方法，让他击败了绝大多数试图“精准预测”的竞争对手，拿到了全球第 5 名。

3. 核心策略二：投资决策（Investment decisions）

比赛的第二部分是构建一个投资组合，既要赚得多，又要风险小（就像既要跑得快，又要不摔跤）。

• 策略 A：回归均值（Regression to the trend）

  • 逻辑：作者发现，那些短期（比如过去 40 天）涨得特别猛的股票，往往是因为大家太兴奋了，接下来可能会“冷静下来”（跌回去）。而那些长期（比如过去 120 天）表现稳健的股票，才是好伙伴。
  • 比喻：这就像选运动员。如果你选一个昨天刚打破世界纪录、跑得飞快的短跑选手，他明天可能会因为太累或状态回落而表现平平。但如果你选一个过去几年一直稳定在顶尖水平的选手，他更可能持续发挥。
  • 操作：作者专门挑选那些“长期表现好，但最近没疯涨”的股票，避开那些“最近涨疯了”的股票。

• 策略 B：对冲风险（Compensated approach）

  • 逻辑：为了进一步降低风险，作者做了一个大胆的操作：做空（Short）ETF。
  • 比喻：想象你在开车（持有股票），为了安全，你同时给车装了一个“反向助推器”（做空 ETF）。虽然这可能会稍微降低你的最高速度（总收益），但它能极大地减少车身的颠簸（波动率）。
  • 结果：这种“长股票 + 短 ETF"的组合，虽然总收益没有特别惊人，但风险调整后的收益（也就是“性价比”）非常高，最终让他的综合排名再次进入全球前 5。

4. 总结：这篇论文告诉我们什么？

1. 承认无知：在高度不确定的市场里，试图预测“具体会发生什么”是徒劳的。承认自己无法预测细节，转而预测“大概率发生的平均情况”，反而更聪明。
2. 均值回归是朋友：事物总是倾向于回到平均水平。涨得太猛的要小心，跌得太惨的可能有希望。
3. 简单往往有效：作者的方法并没有使用复杂的 AI 或黑箱模型，只是用了简单的“移动平均”和“分类统计”。这证明了在噪音很大的环境中，简单的规则往往比复杂的模型更稳健。

一句话总结：
在股市这个充满噪音的房间里，不要试图听清每一句悄悄话（预测具体股价），而是应该站在门口，听听大家大概都在聊什么（预测平均趋势），并顺势而为，这样反而能赢得更多。

技术摘要

论文技术总结：准平均预测与回归趋势在 M6 金融预测竞赛中的应用

1. 研究背景与问题 (Problem)

本文针对有效市场假说 (Efficient Market Hypothesis, EMH) 背景下的金融预测难题展开研究。EMH 认为资产价格已反映了所有可用信息，因此利用公开数据持续获得超额收益几乎是不可能的。现实数据也支持这一观点：过去 10-20 年中，极少有主动管理型基金能持续跑赢基准指数。

研究基于M6 金融预测竞赛（Makridakis 系列竞赛的第六期），该竞赛要求参赛者对 50 只标普 500 股票和 50 只国际 ETF 进行两项预测：

1. 相对表现 (Relative Performance)：预测资产收益率的排名（分位数）。
2. 投资头寸 (Investment Position)：构建包含做多和做空的投资组合，以最大化经风险调整后的收益。

核心挑战在于：在高波动性和高不确定性的市场环境中，试图精确预测具体的资产价格或收益率往往会导致过拟合，从而表现不如基准。如何在缺乏额外信息（仅使用竞赛提供的 100 个资产历史数据）的情况下，设计出优于基准的预测和交易策略？

2. 方法论 (Methodology)

作者提出了一种基于**“准平均预测 (Quasi-average predictions)"和“回归趋势 (Regression to the trend)"**的低离散度预测方法。其核心哲学是：在高不确定性条件下，预测接近类别和趋势的期望值，比试图预测精确的实际值更有效。

2.1 预测性能优化 (Forecasting Performance)

• 评估指标：使用排序概率分数 (Ranked Probability Score, RPS) 衡量预测资产收益率排名的准确性。
• 基准策略：假设每个资产落在五个分位数（Quintile）的概率均为 0.2（即完全随机），其 RPS 约为 0.16。
• 核心策略：
  1. 资产类别平均：将资产分为“股票 (Stocks)"和"ETF"两类。由于 ETF 波动率通常低于股票，其极端分位数（第 1 和第 5 分位）的分布特征不同。
  2. 时间平均：计算每个资产在历史时间窗口内的平均表现。
  3. 混合估计：将“资产类别的平均表现分布”与“单个资产的时间平均表现分布”相结合，作为预测概率 $f_{i,T,k}$。
  4. 权重设计：采用加权平均（如最近 5、10、400 个周期的加权），以平衡短期波动和长期趋势。
• 数学原理：基于均方误差最小化原理，平均值是使误差最小的量。在高变异性系统中，大幅偏离平均值的预测往往会导致更高的误差，除非该偏离包含极高的信息量。

2.2 投资决策策略 (Investment Decisions)

• 评估指标：使用信息比率 (Information Ratio, IR)，即连续复利收益率与日收益率标准差的比值（基准收益设为 0）。
• 策略一：回归趋势 (Regression to the Trend, RtT)
  • 选股逻辑：选择长期（120 天）表现优于中位数（前 50%）的股票。
  • 剔除逻辑：剔除短期（40 天）表现过于优异（前 85%）的股票。
  • 原理：利用均值回归 (Mean Reversion) 现象。短期表现极佳的资产往往随后会回调，剔除这些“近期过度表现者”可以避免追高。
• 策略二：补偿策略 (Compensated Strategy)
  • 组合构建：2/3 的资金做多上述筛选出的股票，1/3 的资金做空 ETF。
  • 目的：通过做空低波动性的 ETF 来对冲市场整体波动，降低投资组合的整体方差，从而提高信息比率 (IR)。

3. 关键贡献 (Key Contributions)

1. 理论视角的转换：论证了在有效市场假设下，预测期望值 (Expected Values) 比预测实际值 (Actual Values) 更有效。在高波动环境中，低离散度的“准平均”预测往往优于高信息含量但高方差的高频预测。
2. 极简主义的有效性：证明仅利用竞赛提供的 100 个资产的历史数据，通过简单的移动平均、类别平均和排名逻辑，即可超越复杂的基准模型。
3. 均值回归的量化应用：在投资组合构建中，明确量化了“短期过度表现”作为负面信号，通过剔除短期赢家来捕捉均值回归带来的超额收益。
4. 对冲策略的优化：展示了通过做空低波动资产（ETF）来降低组合整体波动率，从而显著提升经风险调整后的收益（IR），即使绝对收益可能略低于基准。

4. 实验结果 (Results)

4.1 预测性能 (RPS)

• 基准对比：简单的类别 + 时间平均混合策略的 RPS 为 0.1573，优于基准的 0.16，且非常接近竞赛最佳成绩 (0.1565)。
• 排名：该策略在竞赛第一阶段（前 12 周）排名第 1，全球 163 支队伍中总排名第8。

4.2 投资表现 (IR)

• 回归趋势策略 (RtT)：长期收益优于基准，IR 表现良好。
• 补偿策略 (Compensated)：
  • 全球总 IR 达到 1.301，显著高于基准的 0.4535。
  • 全球排名第36。
• 综合表现：结合预测和投资的综合策略，在竞赛第一阶段排名第 3，全球总排名第5。
• 对比背景：M6 竞赛中，仅有 6.7% 的队伍同时在 RPS 和 IR 上跑赢基准，而该研究成功做到了这一点。

5. 意义与启示 (Significance)

1. 对有效市场假说的实证支持：研究结果与主动管理型基金普遍跑输基准的现实相符，表明在信息高度有效的市场中，试图通过复杂模型捕捉细微价格波动往往徒劳，而回归统计规律（如均值回归、类别平均）更为稳健。
2. 预测与决策的解耦：指出预测相对表现（RPS）的改进往往源于对称分布的微小偏差，这在实际交易中可能难以直接转化为行动（Non-actionable）。然而，基于这些统计规律构建的投资组合（利用均值回归和波动率对冲）却能产生显著的经济价值。
3. 方法论的普适性：该研究强调了在数据有限、环境高噪的情况下，“少即是多”（Less is More）。通过减少预测的方差（Variance）而非追求极致的偏差（Bias）控制，可以获得更优的长期表现。
4. 未来方向：虽然当前方法有效，但作者指出未来可通过贝叶斯方法结合更细粒度的资产聚类，或优化长短期时间窗口的参数来进一步提升性能。同时，引入外部宏观数据可能是突破当前瓶颈的关键。

总结：本文通过 M6 竞赛展示了在高度不确定的金融市场中，利用统计规律（准平均、回归趋势）构建的低复杂度策略，能够稳定地跑赢基准指数和大多数复杂的主动管理策略。这为量化投资提供了一种回归本质、注重风险控制的稳健思路。