🤖 machine learning

Latent-Regime Bias Auditing for Volatility Forecasting

本文引入了一种与模型无关的审计框架，该框架通过评估不同潜在市场机制下的波动率预测，揭示了即便在总体准确度具有竞争力的模型中，仍可能存在显著的条件偏差和尾部低估问题，从而主张采用特定机制的可靠性评估而非平均误差指标。

原作者： Arthur Chagas, Pedro Bento, Yan Aquino, Arthur Buzelin, Wagner Meira Jr., Cristiano Arbex Valle

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Arthur Chagas, Pedro Bento, Yan Aquino, Arthur Buzelin, Wagner Meira Jr., Cristiano Arbex Valle

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名天气预报员。多年来，你一直被一个简单的数字所衡量：你的平均准确率。如果你在整整一年里的气温预测准确率达到 90%，你就是英雄。但问题在于：如果那 10% 的错误总是发生在飓风即将来袭的时候呢？你可能在“平均意义上是准确的”，但在人们最需要你的时候，你却毫无用处。这就是**波动率预测（volatility forecasting）**领域的核心问题。在金融领域，“波动率”只是一个形容价格跳动剧烈程度的专业术语。当市场平静时，价格几乎不动；当市场压力巨大时，价格会剧烈波动。投资者和风险管理者需要预测这些波动，以保护他们的资金。传统上，他们只关注预测模型的“平均误差”。但就像那位天气预报员一样，一个模型在理论上看起来很完美，但在最危险的时刻却可能表现得一塌糊涂。

这篇题为《波动率预测中的潜在状态偏差审计》（Latent-Regime Bias Auditing for Volatility Forecasting）的论文，扮演着这些金融预测模型“侦探”的角色。来自巴西米纳斯吉拉斯联邦大学的作者团队认为，我们不能仅仅检查最终的分数，而应该开始研究模型是在何时以及为何出错。他们构建了一套全新的“审计”系统，用以观察一个模型在市场平稳时期与市场恐慌时期是否依然保持可靠。

侦探的工具箱：寻找隐藏的状态

为了理解其运作方式，请想象你正试图整理一大堆不同人的照片。如果你只是把它们全部扔进一个大桶里并寻找规律，你可能会感到困惑，因为有些人高，有些人矮，还有些人戴着帽子。在金融领域，不同的资产（如比特币、黄金或股票基金）都有自己独特的“个性”。比特币可能会剧烈波动，而黄金则相对稳定。如果你把它们混在一起，你的分析就会变得混乱。

作者的第一项技巧是教计算机忽略“是谁”在波动，而专注于“如何”在波动。他们使用了一种被称为“对抗学习”（adversarial learning）的高明技术。你可以把它想象成两个计算机程序之间的捉迷藏游戏：一个程序试图猜出照片里是谁（“搜寻者”），而另一个程序则试图模糊照片，让搜寻者无法辨认（“躲藏者”）。通过训练“躲藏者”获胜，计算机学会了剥离资产的具体身份，仅保留市场的纯粹“情绪”。

一旦剥离了身份，他们将市场日期分成了三种“状态”或“情绪”：平静（Calm）、中间态（Intermediate）和压力态（Stress）。这些并不是针对全世界的统一标准，而是相对于每种资产而言的。对于比特币，一个“压力态”的一天可能是下跌 10%，而对于一个稳定的黄金基金，一个“压力态”的一天可能仅仅是下跌 1%。关键在于，计算机学会了根据市场当时的“感受”来识别这些情绪，而不是仅仅通过查看日历。

审计：谁在何时失效？

在定义了这些情绪组之后，作者对数十种不同的预测模型进行了测试。他们考察了从简单的数学公式（例如经济学家使用了数十年的 HAR 模型）到复杂的 AI 系统（如 Transformer 和神经网络）的所有内容。

这里有一个重大的发现：那些在平均水平上看起来表现最好的模型，往往在处理压力时表现最差。

论文发现，许多模型（包括一些最流行的复杂 AI 模型）都存在一个隐藏的缺陷。它们在预测正常日子时表现出色，但在“压力”状态下却存在系统性的低估（预测值过低）。这就像是一个天气应用，每天都说“晴天”，但当暴风雨真正来临时，它仍然说“晴天”，因为它试图在平均意义上保持正确。

作者引入了一种新的衡量方式，称为 $R_{stable}^{m}$ 。你可以把它看作是一个“可靠性评分”。高分意味着模型隐藏了巨大的偏差。他们发现，那些拥有极佳平均得分（低 RMSE）的模型，其可靠性评分往往很糟糕。例如，一个模型的平均误差可能是 0.026，这看起来很棒，但当市场陷入恐慌时，它的误差可能会非常巨大，从而让投资者暴露在巨大的损失风险之中。

结论：复杂性并非万灵药

其中最有趣的发现之一是，增加模型的复杂度并不能解决问题。作者测试了先进的“Transformer”模型（即许多现代聊天机器人背后的同类 AI），发现它们在预测极端市场波动方面，表现并不比简单的旧模型更好。事实上，一些花哨的 AI 模型在处理尾部风险（即罕见的极端事件）时，甚至比简单的旧式公式表现得更差。

论文指出，金融界一直过于关注“平均准确度”。如果你是一名风险管理者，你并不关心平均值，你关心的是最坏的情况。作者展示了通过使用他们的新型审计框架，我们可以看到一个模型可能整体上是“准确的”，但在我们需要它的时候却是“不可靠的”。

这为什么重要

这不仅仅是关于数学，更是关于安全。如果一家银行使用一个模型来决定保留多少准备金，而该模型在市场崩溃期间低估了风险，那么银行可能会面临资金枯竭。作者并不是说他们的新模型是完美的，或者说他们已经解决了预测未来的问题。相反，他们提供了一个新工具，用来审计我们现有的工具。

他们的结论是，我们不应再问：“哪个模型在平均意义上最聪明？”而应该问：“哪个模型在市场恐惧时依然保持可靠？”他们的研究表明，答案可能不是最复杂的 AI，而是一个我们能够充分理解其盲点所在、从而知道其局限性的模型。通过将焦点从“平均误差”转向“条件可靠性”，我们可以建立一个更安全、而不仅仅是更聪明的金融系统。

技术摘要：针对波动率预测的潜在状态偏差审计

1. 问题陈述

波动率预测对于风险管理、对冲和投资组合配置至关重要，尤其是在市场不稳定时期。然而，标准的评估实践过度依赖于如均方根误差（RMSE）和平均绝对误差（MAE）等聚合准确性指标。作者认为，这些指标压缩了误差的时间和条件分布，可能掩盖了在特定且具有经济意义的市场状态下发生的系统性失效。一个模型可能表现出较低的平均误差，但在条件分布上却是不可靠的——具体而言，即在压力状态下系统性地低估波动率，而这正是风险管理中最昂贵的错误。本文认为，波动率预测应被视为一个条件可靠性问题，不仅要问模型在平均意义上是否准确，还要问其误差在何时、何处变得具有偏差或不稳定。

2. 方法论

本文提出了一种模型无关的审计框架，旨在检测隐藏的特定状态偏差，而不改变预测模型本身。该方法通过以下阶段进行：

A. 资产相对表示学习

为了在不同资产（加密货币和 ETF）之间评估预测结果，而不受持久性资产特定规模的影响，该框架学习了市场状态窗口的时间序列表示：

归一化： 特征（收益率、基于范围的波动率、隐含波动率、成交量、回撤等）在每个资产内部使用基于训练期中位数和四分位距（IQR）的稳健统计量进行归一化。
嵌入： 对比编码器（TS2Vec 风格）学习时间重叠视图的窗口嵌入（ $z_{i,t}$ ）。
对抗不变性： 为了防止嵌入编码静态资产身份（这会干扰状态检测），采用了带有梯度反转的对抗性资产分类器。编码器的训练目标是使资产预测变得困难，从而保留动态市场状态信息，同时抑制识别资产的结构。

B. 构建对齐的状态（Regimes）

该框架并非将状态视为普遍的市场状态，而是构建了资产相对的审计分区：

聚类： 对每个资产的训练嵌入分别应用 K-means 聚类，以识别 $K$ 个潜在状态。
对齐： 由于不同资产之间的聚类标签是任意的，因此使用训练期压力得分进行对齐。该得分结合了已实现波动率、回撤、绝对收益率和压力代理变量。
标记： 聚类根据其平均压力得分进行排序，并标记为平静（Calm）、中间（Intermediate）和压力（Stress）。这确保了一个资产中的“压力”状态对应于另一个资产中同等的压力水平，从而创建一个统一的审计空间。

C. 审计指标

该框架使用以下几种超越标准 RMSE/MAE 的指标来评估预测器（ $M$ ）：

状态条件偏差（Regime-Conditional Bias）： 每个对齐状态内的平均符号误差。
隐藏偏差统计量：
- $RBA^{stable}_m$ ：量化聚合偏差在多大程度上低估了最大的资产相对状态偏差。
- $RCRG^{norm}_m$ ：将聚合偏差与最差情况状态偏差之间的差距进行归一化处理。
尾部与经济损失：
- 尾部低估（Tail Underprediction）： 在已实现波动率输出的前十分之一中的低估率。
- 非对称损失： 一种非对称平方损失函数（ $\ell_\lambda$ ），它对低估（ $e < 0$ ）的惩罚比高估更重，反映了低估风险的经济成本。
统计推断： 使用块自助法（Block-bootstrap）置信区间来确定状态特定的偏差是否具有统计显著性。

3. 主要贡献

本文概述了五项主要贡献：

问题重构： 将波动率预测从纯粹的准确性优化任务重新定义为资产相对的、状态条件的可靠性审计问题。
诊断工具： 引入了用于检测隐藏状态偏差、尾部低估和对低估敏感的经济损失的模型无关诊断工具。
状态构建： 开发了一种利用归一化时间序列嵌入、对抗性资产不变性和经济压力得分对齐来构建资产相对状态的方法。
全面审计： 将该框架应用于广泛的模型集，包括历史基准、HAR/IV 规格、线性模型、基于树的模型、循环网络（LSTM/GRU）以及 Transformer 类架构（iTransformer, PatchTST）。
实证证据： 证明了基于聚合准确性（RMSE）的排名往往与基于条件可靠性和经济损失的排名发生背离，表明“准确”的模型仍可能在条件分布上不可靠。

4. 实验结果

该框架应用于 2021–2026 年间 BTC、ETH、SPY、QQQ、IWM、GLD 和 USO 的每日已实现波动率预测。

状态有效性（RQ1）： 对齐后的状态（平静、中间、压力）被证明具有经济意义。压力状态表现出更高的已实现/隐含波动率、更大的回撤以及更高比例的尾部事件，与平静时期相比具有显著差异。
隐藏偏差（RQ2）： 发现聚合指标掩盖了显著的状态特定偏差。例如，一些在聚合 RMSE 方面具有竞争力的模型在特定状态下表现出显著的低估或高估（例如，LSTM 和 GRU 模型在中间压力状态下表现出显著的低估）。
排名分歧（RQ3 & RQ4）：
- 可靠性 vs. 准确性： 在 RMSE 排名中表现优秀的模型（如循环模型）在按条件可靠性指标（ $RBA^{stable}$ ）评估时排名往往下降。相反，一些线性模型和金融原生模型（如 HAR-RV）在可靠性排名中有所提升。
- 经济损失： 当使用尾部加权非对称损失时，排名进一步发生偏移。Transformer 类模型（PatchTST, iTransformer）虽然在某些聚合指标中具有竞争力，但在经济损失标准下表现较差，显示出对波动率极值的响应较弱以及较高的尾部低估。
稳健性（RQ5）： 研究结果在不同的预测期限和状态构建变体（普通嵌入 vs. 对抗性嵌入）下均保持一致，证实了观察到的条件可靠性差距并非单一聚类选择产生的伪影。

5. 意义与主张

本文声称其框架将评估范式从“哪个模型在平均意义上最准确？”转向了“识别那些在表面准确的模型在何种市场状态下发生条件失效”。

局限性： 作者对研究范围持谨慎态度，指出这些状态是依赖于样本的审计分区，而非普遍的市场状态。分析仅限于每日已实现波动率目标和特定的跨资产面板数据。
核心洞察： 其主要意义在于证明了架构复杂性并不保证条件可靠性。一个模型可以在平均意义上高度准确，但在风险管理最为关键的特定压力状态下却极其不可靠。
启示： 本文建议波动率预测的评估必须超越聚合误差指标，纳入状态条件诊断，以确保预测在它们发挥作用的关键时刻是可靠的。本文并非提出一种新的预测模型，而是提供了一种用于审计现有模型的诊断工具。