💻 计算机科学

Perturbation-Specific Reliability of Intrinsic and Post-Hoc Explainable Machine Learning in Volatility Forecasting

本研究表明，波动率预测中内在解释与事后解释的可靠性具有高度的扰动特异性，在不同的模型-表示-解释器配置之间存在显著差异，并且必须在诸如重训练、时间偏移和输入噪声等多种条件下进行实证评估。

原作者： Haikal Djauhari, Anton Yudhana, - Sunardi

发布于 2026-10-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Haikal Djauhari, Anton Yudhana, - Sunardi

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在金融领域，预测股票价格的波动幅度通常被认为比预测其变动方向更容易。这种衡量运动程度的指标被称为波动率，它对于风险管理至关重要，但由于市场混乱、不可预测且不断变化，预测波动率仍然极其困难。为了应对这种不确定性，金融专家越来越多地依赖机器学习，即通过计算机程序从历史数据中学习以进行未来预测。然而，这些强大的程序通常以“黑盒”形式运行，这意味着它们的内部逻辑是隐藏的，且难以被人理解。这种透明度的缺失产生了一个问题：如果计算机做出了风险预测，监管机构和风险管理者需要知道原因。为了解决这个问题，科学家们开发了两种主要的方法来让这些机器能够解释自身。第一种方法是在设计之初就将解释直接构建在模型之中，从而创建出天生易于阅读的模型。第二种方法是先训练一个复杂的、不透明的机器，然后使用一个单独的工具来观察成品并推测其思考过程。长期以来的核心疑问在于，这两种方法中哪一种实际上更可靠。

来自印度尼西亚艾哈迈德·达赫兰大学（Universitas Ahmad Dahlan）的一个研究小组致力于通过在高度敏感的股票市场预测环境中对这两种方法进行严格测试，来回答这一问题。他们不仅仅是在理论层面询问哪种方法看起来更好，而是将这些解释置于一系列现实世界的压力测试之下，以观察当条件发生变化时它们的表现如何。研究人员专注于预测来自美国、欧洲和日本的二十只主要股票的五日波动率，使用的数据跨度从 2016 年到 2025 年。他们训练了五种不同类型的机器学习模型，并将每种模型与其架构最匹配的解释方法进行配对。至关重要的是，只有当模型证明其预测波动率的能力确实优于基于近期历史的简单基准猜测时，他们才会将其纳入最终分析。这确保了他们仅对那些真正具备预测能力的模型进行解释评估。

该研究引入了一个巧妙的转折，以隔离可靠性的来源。对于一种特定类型的机器学习模型，研究人员将“内置”解释和“训练后”解释同时应用于同一个经过训练的网络。这使得他们能够观察到，差异究竟是源于模型本身，还是源于所使用的解释方法。随后，他们在三种不同类型的压力下测试了这些解释。首先，他们在输入数据中加入了一定量的随机噪声，以观察当数字变得略微模糊时，解释是否保持稳定。其次，他们移动了时间窗口，以观察随着数月和数年的市场环境变化，解释是否依然有效。第三，他们使用不同的随机起点从头开始重新训练模型，以观察即使训练过程发生轻微变化，解释是否仍能保持一致。

结果揭示了一个令人惊讶的事实：并不存在一种单一的“最佳”解释方法。解释的可靠性完全取决于特定的模型、它所看到的数据以及它所面临的压力类型。在最引人注目的发现之一中，研究人员发现，对于同一个机器学习网络，内置解释在面对噪声输入数据时表现得更为稳定，但在模型被重新训练时则会完全失效。相反，训练后生成的解释在面对噪声数据时稳定性较差，但在模型从头重建时却表现得更加一致。这意味着，选择解释方法不应基于它是“内置的”还是“后期添加的”这一通用规则，而应基于具体的任务需求。如果用户需要一个能够抵御数据微小误差的解释，内置方法更为优越；如果用户需要一个即使在模型更新或重新训练时也能保持一致的解释，那么训练后方法则是更好的选择。

这项研究还挑战了该领域关于如何衡量解释质量的一个普遍假设。研究人员通常试图通过逐一移除最重要的特征，观察模型的预测是否会变差，以此来验证解释是否真实。研究团队发现，在股票波动率的背景下，这种方法无法区分智能解释与随机猜测。由于金融数据的信号非常微弱且噪声极高，移除一个特征并不能可靠地改变结果，使得这种标准测试对于这个特定问题而言是无效的。此外，研究人员发现，一种被称为实现波动率异质自回归模型（HAR-RV）的传统统计模型，在研究中实现了最高的预测中值准确度，大幅超越了所有测试的机器学习模型。值得注意的是，一种基于样条函数的广义加性模型（GAM）——其本质上是可解释的——其表现与表现最好的 HAR-RV 基准模型同样出色，而更复杂的神经网络和树模型则表现落后。这表明，对于这项特定任务，深度学习带来的复杂性并未带来额外的准确度，而更简单、更透明的模型同样有效。

最终，研究结论指出，我们不能仅仅因为一个模型被设计为具有透明度，就假设其解释是值得信赖的。“内置”解释通常被宣传为可解释性的黄金标准，但在模型重新训练时，它们被证明是最缺乏可重复性的。具体而言，TabNet 模型的内在注意力掩码显示出近乎零的种子可重复性（其秩一致性仅为 0.006），这意味着它在更换一组新的随机起始数字后会彻底改变其叙述逻辑，使其成为研究中最不可靠的解释。这项研究表明，可靠性并不是一种解释类型的固有属性，而是一种脆弱的特性，必须针对每个新情况进行实证测试。对于任何依赖这些工具做出财务决策的人来说，教训是明确的：你必须验证你的解释在系统所面临的具体压力下是否依然稳健，而不是仅仅因为它构建模型的方式而盲目信任。

技术摘要：针对特定扰动的内在型与事后型可解释机器学习在波动率预测中的可靠性

问题陈述

在金融预测中，机器学习模型生成的解释其可靠性通常被认为是解释方法（内在型 vs. 事后型）或模型架构的固有属性。然而，这一假设在具有非平稳性、高噪声和机制转换（regime shifts）等特征的现实市场条件下缺乏实证验证。本文旨在解决一个关键空白：内在可解释性（内置于模型中）还是事后可解释性（训练后应用）能提供更高的可靠性，以及这些方法在特定扰动（如输入噪声、时间偏移和模型重新估计）下的表现如何。本研究挑战了“一种范式普遍值得信赖”的观点，认为解释的可靠性取决于特定的“模型–表示–解释器”配置以及扰动的性质。

研究方法

数据与任务

研究预测了 20 只股票在三个市场（10 只美国、5 只欧洲、5 只日本）中未来五天的已实现波动率（realized volatility），时间跨度为 2016 年至 2025 年。目标变量是未来 $h=5$ 天对数收益率的标准差。

特征表示： 使用了两种截然不同的特征集以对比相关结构：
1. 价格滞后项（Price Lags）： 六个滞后对数收益率（近乎正交，低共线性）。
2. 技术指标（Technical Indicators）： 十三个工程化指标（高度共线性，约 23% 的特征对满足 $|r| > 0.8$ ）。
验证协议： 采用了清洗过的滚动向前步进拆分（purged, rolling walk-forward split）以防止前瞻性泄露。训练块（756 天）在测试窗口（63 天）之前进行了 10 行的清洗，以确保标签与测试期不重叠。

模型与解释器

评估了五类模型家族，每类模型都配有相应的解释方法：

XGBoost： 配对 TreeSHAP（事后型）。
LSTM： 配对积分梯度法（Integrated Gradients, IG）（事后型）。
广义加性模型（GAM）： 内在型（基于样条函数）。
可解释提升机（EBM）： 内在型（加性模型）。
TabNet： 同时配对其内在注意力掩码（Intrinsic Attention Mask）与事后积分梯度（Post-hoc IG）。
- 核心设计： TabNet 作为“同模型”对照组。同一个训练好的网络同时通过内在机制和事后方法进行解释，从而将解释技术作为唯一的变量进行隔离。

评估指标

模型首先经过**技能门槛（Skill Gate）**筛选：只有优于步长-5 持续性基准（RelMAE < 1）的模型才会被纳入解释性分析。研究从三个维度评估了解释质量：

忠实度（Faithfulness）： 通过使用序列消融法的扰动曲线下面积（AOPC）进行测量。使用了随机控制组以区分有信息量的排名与噪声。
稳定性（Stability）： 在三种扰动下进行评估：
- 输入噪声： 向测试输入添加高斯噪声。
- 时间偏移： 比较相邻滚动向前折叠（walk-forward folds）之间的排名。
- 种子稳定性： 在相同数据上使用不同随机种子重新训练模型。
一致性（Consistency）： 评估同一 TabNet 网络上内在掩码与事后 IG 之间的协议程度。
规模修正后的协议（Size-Corrected Agreement）： 为避免特征空间大小带来的伪影，除了使用固定的深度 top-k 重叠外，还使用了秩偏重叠（RBO）和规模缩放的 Jaccard 指数。

关键结果

预测准确性

HAR-RV（异质自回归已实现波动率模型）基准在研究中实现了最佳的中位数准确度。
GAM（基于样条的模型）在统计上与 HAR-RV 不可区分（中位数配对差异为 0.004， $p=0.648$ ），且优于所有黑盒模型（XGBoost, LSTM, TabNet, EBM）。
HAR-RV 显著优于 TabNet，在两种特征集下的 20 只股票中均击败了 TabNet。TabNet 明显差于 HAR-RV 基准。
LSTM 在技术指标面板上的表现是研究中最弱的部分，在技能门槛下未有任何股票通过（0/20）。
技能门槛准入率： 68.8% 的单元格通过了技能门槛。美国市场的准入率（约 49%）显著低于欧洲和日本市场，反映出美国市场具有更高的难度。

解释可靠性发现

忠实度具有任务依赖性： 消融法测量的忠实度（AOPC）未能为 11 个准入臂中的 10 个提供能够区分有效排名与随机排序的信号。波动率预测中极低的信噪比使得消融度量指标失去了参考价值。
稳定性具有扰动特异性：
- 时间稳定性： TabNet（内在与事后）表现出极低的时间稳定性（Spearman $\rho \approx 0.05-0.11$ ），特征重要性排名在季度间经常发生反转。相比之下，GAM 和 XGBoost 显示出较高的稳定性（ $\rho \approx 0.43-0.64$ ）。
- 输入稳定性： TabNet 的内在掩码对输入噪声具有高度鲁棒性，表现优于积分梯度法。
- 种子稳定性： TabNet 的内在掩码在重新训练时极不稳定（种子间的排名一致性 $\approx 0.006$ ），而同一网络上的积分梯度法显示出稍好的可重复性。
“同模型”解离现象： 当比较同一训练好的 TabNet 网络上的内在掩码与事后 IG 时：
- 在输入噪声下，内在掩码更稳定。
- 在**重新训练（种子）**下，内在掩码的稳定性显著较低。
- 在时间偏移下，两者无法区分。
- 结论： “更好的”解释完全取决于扰动类型；没有哪种范式是普遍优越的。
测量伪影： 研究表明固定深度的 top-k Jaccard 重叠受特征空间大小的影响。在 6 特征面板上，该指标具有较高的底线（0.667），造成了高一致性的假象。规模无关的度量（RBO、规模缩放的 Jaccard）显示，在 13 特征面板上的协议程度实际上更高。

核心贡献

同模型对比： 本研究通过将两种解释方法应用于完全相同的已训练 TabNet 网络，隔离了解释方法的影响，消除了模型架构作为混杂变量的可能性。
扰动分解： 研究将解释稳定性分解为三种不同的扰动（输入、时间、重新估计），证明了方法的可靠性并非单调属性，而是随所施加的特定扰动而变化的。
忠实度的实证验证： 通过引入随机控制，研究证明了消融式忠实度指标在低信号金融任务中可能无法区分有意义的排名与噪声。
纠正度量偏差： 研究强调并纠正了固定深度 top-k 重叠指标的“底线效应”，倡导在比较不同特征维度的解释时使用规模无关的度量。

意义与主张

本文主张，不应通过假设一种范式本质上更值得信赖来解决内在型与事后型可解释性的争论。相反，解释的可靠性是针对特定扰动评估的、特定的“模型–表示–解释器”配置的属性。

对从业者而言： 解释器的选择应由具体用例驱动。如果需要对输入噪声具有鲁棒性的局部决策，内在掩码可能更合适；如果需要必须在模型更新过程中保持稳定的全局排名，则事后方法（或重新估计检查）可能更为必要。
对研究领域而言： 本研究挑战了“设计即可解释”模型（如 TabNet）保证可靠解释的假设。在本研究中，这款以可解释性为卖点的架构在种子实验中产生了最不可重复的解释。
方法论严谨性： 研究结果表明，评估协议必须包含重新估计检查（种子稳定性）和针对忠实度的随机控制，因为单一模型的评估可能会掩盖根本性的不稳定性。

作者得出结论：没有任何一种解释方法是普遍可靠的；可靠性必须针对每个配置和扰动场景进行实证测量，而不是根据架构设计进行推断。