💰 quantitative finance

Heads, Not Backbones: Output Heads Dominate Architectures on Fat-Tailed Returns

本文表明，在对短周期肥尾金融回报进行预测时，输出头（具体为高斯混合模型）的选择对于捕捉尾部风险和提高分布准确性的影响，显著超过了骨干架构的影响，尽管骨干架构在较长的时间周期内变得更为关键。

原作者： Sichao He, Yansong Zhang

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Sichao He, Yansong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图预测未来几天的天气。你有两个主要工具来帮助你：

引擎（骨干/背骨）： 处理所有数据（卫星图像、气压、风速）的复杂计算机系统。
报告（输出头）： 最终预测呈现给你的方式。它只是一个单一的温度数值？是一个说“天气很可能为 70°F”的正态分布曲线？还是一个显示“有 90% 的降雨概率、5% 的龙卷风概率和 5% 的热浪概率”的详细地图？

这篇题为**《重头轻身》（Heads, Not Backbones）**的论文提出了一个简单的问题，即关于预测金融市场（特别是标普 500 指数）的问题：是引擎的复杂程度更重要，还是报告的呈现方式更重要？

作者测试了四种不同的高科技“引擎”（现代 AI 模型），并将它们与三种不同类型的“报告”（输出头）相结合。以下是他们利用简单的类比所发现的结果。

1. “肥尾”问题

金融市场就像过山车，大部分时间移动平缓，但偶尔会出现恐怖的剧烈下跌或飙升。在统计学中，这被称为**“肥尾”分布**。

标准模型假设市场表现得像一个平静的湖泊（正态分布）。它们擅长预测平均水平的一天，但在预测崩盘或突然暴涨时表现糟糕。
目标： 作者希望看看他们是否可以构建一个更好的“报告”，以承认这些极端的风险。

2. 实验：更换报告

研究人员保持“引擎”（AI 骨干）不变，并更换了“报告”（输出头）：

点头式（单一数值）： 这就像一个天气应用，只说：“明天是 72°F。”它没有告诉你风暴的风险。
高斯头（正态分布曲线）： 这说：“明天很可能是 72°F，上下浮动 5 度左右。”它假设上升和下降是对称且平滑的。
混合头（多模态地图）： 这是最先进的一个。它说：“明天很可能是 72°F，但是有很小的概率突然跌至 60°F，也有很小的概率飙升至 85°F。”它使用多种不同情景的组合来捕捉“肥尾”（极端风险）。

3. 重大发现：报告胜出

结果令人惊讶且非常明确：“报告”（头）比“引擎”（骨干）重要得多。

更换引擎： 如果你将最好的 AI 引擎换成另一个稍微不同的引擎，预测准确度几乎没有变化（差异小于 1.5%）。这就像把汽车里的丰田引擎换成本田引擎，车子的行驶表现基本一致。
更换报告： 如果你保持相同的引擎，但将“单一数值”报告切换为“多模态地图”报告，准确度会显著提高（约 3.7% 至 6.4%）。
类比： 如果你蒙着眼睛开车（错误的报告），那么即使你拥有法拉利引擎（最好的 AI）也无济于事。如果你有一个标准的引擎，但配备了完美的 GPS（正确的报告），你会更准确地到达目的地。

4. 为什么“多模态地图”（混合模型）很特别

“多模态地图”（高斯混合模型）是明显的赢家，尤其是在危机时期（如 1970 年代的滞胀时期或 2008 年金融危机）。

单一数值忽略了崩盘的风险。
正态分布曲线假设崩盘只是平滑曲线上的一次“大波动”。
多模态地图专门为崩盘场景构建了一条独立的“车道”。它捕捉到了其他模型会错过的“肥尾”现象。

论文指出，这种额外的价值在混乱时期最为明显。当市场平静时，这种高级地图并不比简单的猜测好多少。但当市场陷入恐慌时，这张高级地图是唯一能预见危险的模型。

5. 重要限制（论文并未说明的内容）

作者对他们发现的局限性非常诚实：

这不是“快速致富”计划： 他们使用这些预测测试了一个简单的交易策略，而该策略亏损了。拥有更好的风险预测并不自动意味着你能赚取更多利润。你仍然需要一个聪明的策略来利用这些信息。
这取决于时间跨度： 对于短期预测（未来几天或几个月），“报告”（头）是王者。然而，对于长期预测（半年或一年），“引擎”（骨干）的重要性会重新凸显。
这取决于资产： 这对股票回报率（其波动剧烈且具有肥尾特征）非常有效。但对于国债收益率或货币汇率等行为更像平稳河流的事物，效果则不那么好。对于这些事物，一个简单的“单一数值”报告通常就足够了。

核心结论

如果你试图预测股市短期内疯狂且不可预测的波动，不要过度痴迷于你使用的是哪种复杂的 AI 模型。 相反，你应该专注于你如何解读数据。

使用一个能够描述多种可能未来（包括可怕的未来）的模型，比使用最先进的计算机架构要重要得多。 “头”（输出）主导了“身”（架构）。

技术摘要：重“头”而非重“骨干”

问题陈述

在针对肥尾金融回报（特别是短周期维度）的深度学习预测流水线中，存在一种普遍假设，即认为架构复杂度（即“骨干网络/backbone”）是性能提升的主要驱动力。然而，风险管理、资本配置和监管压力测试需要的是分布预测（例如，风险价值 VaR、预期损失 ES），而非点估计。

主流的深度预测架构（如 TimesNet, DLinear, N-BEATS, iTransformer）通常配备用于处理点预测的点输出头（point heads），并使用 Huber 或 MSE 损失进行训练。这些损失函数旨在优化条件中位数或均值，但它们并非严格的概率评分规则（proper scoring rules），无法捕捉尾部风险。标准的补救措施是将点输出头替换为密度输出头（例如高斯混合模型 GMM），并通过负对数似然（NLL）进行训练。

本文研究了一个基本问题：对于肥尾金融回报，究竟是骨干架构还是输出头对预测准确性更重要？

研究方法

数据与实验协议

数据集： 来自 Shiller 数据集的标普 500 指数月度对数回报率（1871–2023，共 1,832 个观测值）。经验峰度 $\approx 6$ ，显著高于高斯分布的 3。
验证方式： 采用五折锚定前向行走验证（walk-forward folds），训练比例为 0.50，测试窗口为 0.07，步长为 0.10。实验在三个随机种子下重复进行。
预测周期（Horizons）： $h \in \{1, 3, 6, 12\}$ 个月。

实验设计

作者构建了一个清晰的 $4 \times 3$ 全因子实验（共 12 个变体），以隔离骨干网络与输出头的影响：

骨干网络 (4 种)：
- TimesNet： 基于 FFT 的周期发现 + 二维卷积。
- DLinear： 趋势/季节性分解 + 线性投影。
- N-BEATS： 通用基函数展开块的残差堆叠。
- iTransformer： 逐时间步嵌入 + 跨时间维度的自注意力机制。
- 注：由于 PatchTST 在处理密度头时存在兼容性问题（patching- $\sigma$ 问题），故将其排除。
输出头 (3 种)： 所有输出头共享相同的骨干网络隐藏状态（ $d_{hidden}=64$ $d_{hi dd e n} = 64$ ）。
- 点输出头 (Point Head)： 线性投影至 $\hat{y} \in \mathbb{R}^H$ ，使用 Huber 损失 训练。（通过事后高斯近似进行 CRPS 评估）。
- 单高斯输出头 (Single-Gaussian Head)： 线性投影至 $(\mu, \sigma) \in \mathbb{R}^{2H}$ ，使用 高斯 NLL 训练。
- 高斯混合输出头 (GMM Head)： 线性投影至 $(\mu, \sigma, \pi) \in \mathbb{R}^{3HK}$ ，其中分量数 $K=4$ ，使用 GMM NLL 训练。

指标

主要指标： 连续概率排名得分 (CRPS) 及 CRPS 技能得分 (CRPS-Skill-Score，相对于 TimesNet 点预测基准)。
次要指标： 分别在 $\tau \in \{0.05, 0.95\}$ 处的分位数损失 (Pinball loss)、预测区间覆盖率以及均方误差 (MSE)。
统计检验： 基于平方误差的 Hansen–Lunde–Nason 模型置信集 (MCS)；基于每折 CRPS 差异的 Diebold–Mariano 配对 $t$ 检验。

核心结果

1. 输出头主导骨干网络（短周期）

在月度标普 500 回报率的短周期（ $h < 6$ ）情况下，输出头是决定性因素：

严格梯度： 从“点输出头 $\to$ $\to$ 高斯输出头 $\to$ $\to$ GMM 输出头”的过程呈现出严格的性能提升。
- 点 $\to$ 高斯：提升约 $\sim 1.3\%$ 。
- 高斯 $\to$ GMM：提升约 $\sim 2.4\%$ 。
- 总计（点 $\to$ GMM）：提升约 $\sim 3.7\%$ 。
骨干网络影响： 在保持输出头不变的情况下，更换骨干网络对点输出头行中的 CRPS 变化小于 1.5%。即使在密度头上，骨干网络的差异（最大由 N-BEATS 驱动的 5.1%）通常也小于输出头的梯度。
MCS 结果： 在平方误差上的模型置信集在 5% 置信水平下并未排除这 12 个变体中的任何一个。在点预测准确性（MSE）方面，无论是骨干网络还是输出头都无法区分模型。输出头仅在分布指标（CRPS、Pinball、覆盖率）上能区分模型。

2. “ $h$ 分裂”（周期依赖性）

输出头的支配地位取决于预测周期：

短周期 ( $h \le 3$ )： 输出头占主导。带有 GMM 输出头的深度骨干网络表现优于经典基准模型。
长周期 ( $h \ge 6$ )： 骨干网络重新夺回主导地位。经典的递归模型（GARCH, ARIMA）配合 GMM 输出头会发生崩溃（例如，在 $h=6$ 时，GARCHgmm 的 CRPS 技能降至 $-50\%$ ），因为它们的波动率预测会向无条件均值回归。而具有多步直接训练能力的深度骨干网络能维持性能，在 $h=6$ 时表现优于经典模型约 55 个百分点。

3. 跨资产泛化能力

输出头的梯度并非普适，它取决于数据生成过程：

类回报过程（Return-like Processes）：（月度/日度标普 500 回报率、日度 VIX）。GMM 输出头表现一致最优。
- VIX 案例： 由于极端的右尾尖峰，单高斯输出头表现极其糟糕（ $-24.4\%$ ）。而 GMM（ $K=4$ ）成功捕捉到了这些多模态形态。
非类回报过程：（国债收益率、欧元/美元汇率）。这些过程围绕结构性目标进行均值回归。在此类场景下，GMM 输出头引入了参数噪声而无结构性收益，其表现往往逊于点输出头。

4. 风险管理价值

校准度： 与点输出头（由于事后方差膨胀导致过度覆盖，覆盖率为 0.96）相比，GMM 输出头提供了更优的校准度（90% 覆盖率 $\approx 0.88\text{--}0.93$ ）。
尾部风险： 混合模型相对于单高斯模型的增量价值在高度波动时期最为显著（例如，在 1970 年代滞胀期间提升了 $\sim 13.9\%$ ）。
监管指标： N-BEATS 配合 GMM 输出头通过了 5%、2.5% 和 1% VaR 水平下的 Kupiec 无条件覆盖测试，并在所有测试模型中实现了最低的预期损失 (ES)。
局限性： 在极端的 1%-VaR 阈值处，受限于高斯分量的尾部特性，受限的 $K=4$ GMM 对尾部风险定价不足，这表明在极端分位数处需要 GMM+EVT（极值理论）的混合模型。

5. 交易策略回测

使用这些密度预测进行简单均值回归策略的结果是亏损的（年化收益率为 $-41\%$ 至 $-50\%$ ）。这证实了改进的分布预测对于风险管理至关重要，但如果不结合复杂的仓位管理和交易成本建模，并不能自动转化为交易阿尔法（Alpha）。

意义与结论

本文得出结论：对于短周期的肥尾金融回报，工程投入应集中在输出头，而非骨干网络。

架构中立性： 对于点预测，深度骨干网络在此类数据上的表现统计学上是不可区分的。区分不同骨干网络的“信号”低于点预测准确性指标的噪声水平。
损失函数优先： 收益来自于使用严格的概率评分规则（GMM NLL），该规则惩罚了尾部失校，而 Huber/MSE 损失则忽略了这一点。GMM 输出头捕捉到了单高斯分布无法捕捉的超额峰度和尾部风险。
上下文有效性： “输出头主导”这一结论仅适用于类回报、肥尾的过程。它并不适用于如收益率或汇率等非平稳、均值回归的过程，在那些过程中点输出头仍具竞争力。
实际意义： 对于风险管理（VaR、ES、资本计提），从标准的点输出头切换到 GMM 输出头是一种高价值、低成本的干预手段（仅需“两行代码的改动”），能在危机时期产生真正的价值；相比之下，更换骨干网络带来的收益微乎其微。

本文明确指出，它并非提出了一种新的骨干网络、新的交易策略或一种通用的时间序列解决方案。它建立了一个边界条件：在肥尾回报上，输出头占主导；在其他过程中，则不然。