📈 economics

Quantifying the Risk-Return Tradeoff in Forecasting

本文提出了一种评估预测可靠性的新框架，通过将预测损失差异视为金融收益并应用风险调整后绩效指标，揭示出尽管机器学习模型在平均准确性上可超越专业预测者，但后者往往在风险特征和抵御灾难性失败的能力方面保持更优表现。

原作者： Philippe Goulet Coulombe

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Philippe Goulet Coulombe

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在招聘一位天气预报员。你有两位候选人：

候选人 A 通常很准，但偶尔会预测是晴天，结果却遭遇了飓风。
候选人 B 通常只是“还行”，但他们极其稳定，几乎从未被灾难打个措手不及。

大多数传统研究会选择候选人 A，因为他们的“平均”准确率略高。他们会看着数据说：“候选人 A 有 95% 的时间是正确的，而候选人 B 只有 92%。”

本文认为，这种选择方式是错误的。在现实世界中，少数几次灾难性的错误，其破坏力远大于平均分数略低。作者菲利普·古莱·库隆布（Philippe Goulet Coulombe）希望我们停止只关注平均值，转而关注风险。

以下是该论文框架的通俗解释：

1. 预测的“股市”

作者建议我们将预测视为股票投资。

“回报”： 我们不再仅仅看模型错得有多离谱，而是看它比标准的“基准”模型（例如简单的猜测）好多少。如果基准模型偏离了 10 个点，而你的模型只偏离了 5 个点，那么你的模型就获得了 5 个点的“利润”。
“风险”： 就像股票可能波动剧烈一样，预测也可能不可预测。有时它大胜，有时它大败。

本文引入了四种“金融工具”来衡量这些预测：

夏普比率（稳健的艾迪）： 它衡量你每单位“波动”（上下起伏）能获得多少“利润”（准确率的提升）。高分意味着该模型是可靠、稳定的表现者。
索提诺比率（安全第一）： 这对预测者来说甚至更好。它只关心那些“糟糕”的日子（即模型表现不如基准模型的时候）。它忽略“好”的波动。如果一个模型既有巨大的胜利，也有巨大且可怕的损失，其索提诺得分就会很低。
欧米伽比率（全景图）： 它审视了所有盈亏的历史。它问的是：“我们在好时期赚到的总金额，是否大于我们在坏时期亏掉的总金额？”
最大回撤（最坏情况）： 它问的是：“这个模型曾经跌入过多深的深渊？”如果一个模型在三年里表现极佳，但随后六个月却崩盘，最大回撤指标就能捕捉到这场灾难。

2. “优势比率”（独特的天赋）

作者还发明了一种新工具，称为优势比率（Edge Ratio）。
想象一场有 10 名选手的赛跑。大多数选手只是比平均速度快一点或慢一点。但有一名选手偶尔会冲刺到所有人前面，并以巨大优势获胜。

优势比率衡量一个模型在多大程度上、以及多频繁地成为房间里绝对的“最佳”。
如果它落后于第二好的选项，该比率也会对该模型进行惩罚。
为什么这很重要： 它告诉你，该模型是否带来了其他人无法做到的独特价值，还是说它只是在做和别人一样的事情，只是稍微好一点。

3. 测试时发生了什么？

作者在美国经济数据（如 GDP、通胀和失业率）上测试了这些工具，比较了三组模型：

老派数学模型（计量经济学）。
现代人工智能/机器学习（神经网络、随机森林）。
专业预测者调查（SPF）：一群人类专家，他们利用大脑、经验和私有数据做出预测。

令人惊讶的结果：

“平均”陷阱： 当你只看平均准确率时，许多花哨的 AI 模型击败了人类专家（SPF）。它们看起来像是赢家。
“风险”现实： 当你应用索提诺比率（专注于避免灾难）时，**SPF（人类专家）**通常获胜。
- 为什么？ 人类专家很少出现“灾难性失败”。他们不会被 2008 年金融危机或 2022 年通胀飙升之类的事情打个措手不及。他们是“稳健的艾迪”。
- AI 模型虽然有时表现出色，但也有过 spectacularly 失败的时刻。对于中央银行或政府而言，一次巨大的错误比几次微小但稳定的胜利更糟糕。
“专家”： 一些特定的 AI 模型（如“半球神经网络”）表现非常出色。它们在准确率上与人类相当，但在避免“糟糕日子”方面甚至做得更好。
“黑盒”测试： 他们测试了一种新的“基础模型”（TabPFN），这是一种在合成数据上训练的 AI。它的表现令人惊讶地好，这表明即使这些复杂的“黑盒”AI 模型，如果具有良好的风险特征，也可以是可靠的。

4. 主要启示

该论文得出结论：平均准确率 ≠ 可靠性。

如果你是中央银行家或政策制定者，你不想要一个“大部分时候正确”但偶尔会 wildly 出错的模型。你想要一个始终表现良好、极少发生“崩溃”的模型。

通过使用这些金融风格的指标，我们可以看到人类专家（SPF）极具价值，并非因为他们最聪明，而是因为他们最可靠。他们很少崩溃。与此同时，一些现代机器学习模型虽然很棒，但需要谨慎选择，以确保它们没有隐藏的、即将发生的“崩溃”。

简而言之： 不要只问“谁最经常正确？”要问“谁最经常正确，而且没有糟糕的一天？”这才是衡量优秀预测的真正标准。

技术摘要：量化预测中的风险 - 收益权衡

问题陈述

传统的宏观经济预测评估严重依赖平均损失指标（如 RMSE、MAE）和统计显著性检验（如 Diebold–Mariano）。虽然这些工具能够确定模型是否在平均意义上减少了预测误差，但它们未能捕捉这些收益的可靠性和风险特征。机构用户（中央银行、资产管理人）通常具有非对称偏好：他们可以容忍表现优异的时期，但无法承受灾难性的表现不佳。两个模型可能表现出相同的平均精度，但在随时间变化的收益和损失模式上却截然不同，从而导致不同的运营风险。本文认为，平均精度并不等同于预测可靠性，且现有文献缺乏一个统一的框架来量化预测改进与预测失败的波动性或严重性之间的权衡。

方法论

本文从金融学中引入风险调整后绩效指标，将预测损失差异视为“收益序列”。

1. 收益类比

对于模型 $M$ 和基准 $B$ ，时间 $t$ 的“收益”定义为损失差异：
$r_t = L_t^B - L_t^M$
其中 $L$ 为损失函数（例如，平方误差）。正的 $r_t$ 表示模型优于基准。序列 $\{r_t\}$ 被作为金融收益序列进行分析。

2. 风险调整后指标

该框架将四个关键金融指标改编用于预测评估：

预测夏普比率（Forecast Sharpe Ratio）： 平均收益与收益标准差的比率。它衡量每单位总波动率带来的平均改进。
预测索提诺比率（Forecast Sortino Ratio）： 平均收益与半标准差（仅负收益的波动率）的比率。该指标惩罚表现不佳，而忽略上行波动，符合预测用户的非对称偏好。
预测欧米伽比率（Forecast Omega Ratio）： 平均上行收益与平均下行损失的比率。它在不假设正态分布的情况下捕捉收益与损失的全部分布，适用于非高斯损失差异。
最大回撤（Maximum Drawdown）： 从历史峰值到谷底的最大累计损失。这识别了持续的预测失败时期，这在结构性断裂（例如通胀飙升）期间尤为相关。

3. 优势比率（Edge Ratio）

这是一项新引入的指标，用于衡量模型相对于所有可用替代方案（预测前沿）提供独特预测优势的倾向。

定义： 在每个时间点 $t$ ，基准是表现最佳的其他模型（ $L^*_t = \min_{j \neq M} L_{j,t}$ ）。“优势”定义为 $e_{M,t} = L^*_t - L_{M,t}$ 。
计算： 优势比率是优势收益（ $e^+$ ）之和除以优势遗憾（ $e^-$ ）之和，并乘以 $(M-1)$ 以校正池的大小。
解释： 高优势比率表明模型频繁地触及前沿并果断地做到这一点，同时在失败时最小化未选择最佳替代方案的遗憾。

4. 元分析扩展

该框架被扩展为跨目标、跨时间跨度和跨样本的横截面元分析。在此，“收益”被定义为设计空间中性能指标（如 RMSE）的百分比改进，而非时间序列收益。这使得能够评估模型的稳健性：一种方法是持续获胜，还是仅在特定领域成功而在其他地方灾难性地失败。

5. 与 Diebold-Mariano (DM) 的联系

本文证明，当预测误差不存在序列相关时，夏普比率与（缩放后的）DM t 统计量一致。DM 统计量的分母（长期方差）对持续的表现不佳的惩罚力度大于对暂时性失败的惩罚，实际上充当了一种考虑自相关的风险调整后指标。

实证应用与结果

应用 1：宏观预测（机器学习/人工智能 vs. 专业预测者）

该研究评估了美国宏观经济变量（GDP、失业率、通胀、住房）在 COVID 前后时期的表现，比较了计量经济学基准、机器学习（ML）模型、基础模型（TabPFN）以及专业预测者调查（SPF）。

GDP 增长： 虽然灵活模型（核岭回归、神经网络）通常比 SPF 实现更高的平均 MSE 降低，但 SPF 表现出更优的风险调整后绩效。SPF 的索提诺比率和欧米伽比率显著更高，表明其下行风险受到极佳的抑制。SPF 很少遭受灾难性失败。
失业率： 混合提升模型（LGB+）和基础模型（TabPFN）在特定时间跨度上显示出强劲的风险调整特征。值得注意的是，随机森林实现了与复杂基础模型相当的风险调整绩效，而标准神经网络则遭受高下行波动率的困扰。
通胀： SPF 在平均意义上难以被超越。然而，半球神经网络（HNN）在原始收益方面与 SPF 持平，但在风险调整指标上占据主导地位。关键在于，HNN 是唯一在 2021 年后通胀飙升期间仍保持正平均收益的模型，展示了对体制变化的稳健性。
住房开工率： 机器学习模型通常难以击败自回归基准。SPF 在平均收益方面与最佳机器学习模型持平，但下行风险显著更低（更高的索提诺比率）。

关键发现： 在平均精度上击败专业预测者通常是可行的，但在风险调整基础上击败他们则困难得多。SPF 的价值在于其一致性和缺乏灾难性失败，这反映了情境判断的价值。

应用 2：元分析

密度预测（Goulet Coulombe 等人，2026）： 重新评估点预测和密度预测，HNN 和 BART 成为最强的点预测者。HNN 在密度预测（对数评分）中占据决定性主导地位，与 DeepAR 等竞争对手相比，提供了更大、更稳定的收益，且灾难性失败更少。
M4 竞赛： 在 M4 月度序列中，平均绩效排名（MASE/OWA）与风险调整排名大致一致。平均表现良好的模型往往在横截面上也表现出稳健性。然而，优势比率揭示，顶级模型（例如 Model 118/ES-RNN）偶尔能提供竞争对手无法获得的决定性收益，而不仅仅是边际改进。

主要贡献

框架整合： 本文建立了一个使用风险调整后指标（夏普、索提诺、欧米伽、回撤）评估预测的正式框架，将重点从“模型在平均意义上是否更好？”转移到“它能在多大程度上可靠地表现优异？”。
优势比率： 引入了一项新指标，用于量化相对于完整模型池的独特预测优势，区分仅仅是“好”的模型与提供不可替代信息的模型。
重新评估专业判断： 提供了定量证据，表明专业预测者（SPF）难以被超越，并非 necessarily 因为他们拥有最低的平均误差，而是因为他们表现出最有利的风险特征（低下行波动率、高索提诺比率）。
元分析工具： 将这些指标扩展到横截面设计空间，使从业者能够评估一种方法在不同目标和时间跨度上的稳健性，识别那些在特定领域容易“灾难性失败”的模型。

意义与主张

本文主张平均预测精度和预测可靠性是不同的概念。通过将损失差异视为收益，所提出的框架揭示了那些在标准 RMSE 指标下看似具有竞争力的模型中隐藏的脆弱性。

运营相关性： 对于机构而言，一个平均击败基准 15% 但在危机期间严重失败的模型，其风险 - 收益特征不如一个具有适度平均收益和高稳定性的模型有吸引力。
模型选择： 该框架表明，虽然机器学习和基础模型可以超越传统基准，但采用它们需要仔细审查其下行风险。基于树的模型和特定架构（如 HNN）显示出为特定目标提供有吸引力的风险特征的潜力。
未来方向： 本文建议，如果风险调整后指标具有运营相关性，那么预测模型理应以这些目标（例如，最大化索提诺比率）直接进行优化，而不是依赖标准损失函数（如平方误差）并寄希望于事后出现有利的风险特征。

本文得出结论：虽然平均绩效提升是必要的，但对于运营决策而言却是不够的；由风险调整后指标所捕捉的这些收益的稳定性与可靠性同样至关重要。