💰 quantitative finance

Modeling dependency between operational risk losses and macroeconomic variables using Hidden Markov Models

该论文提出了一种引入宏观经济协变量的扩展隐马尔可夫模型，通过期望最大化算法进行校准，以有效捕捉并预测具有异质性和时间依赖特征的运营风险损失与宏观经济变量之间的动态依赖关系。

原作者： Nikeethan Selvaratnam, Dorinel Bastide, Clément Fernandes, Wojciech Pieczynski

发布于 2026-04-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Nikeethan Selvaratnam, Dorinel Bastide, Clément Fernandes, Wojciech Pieczynski

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣且重要的问题：银行如何预测未来的“意外损失”，以及这些损失是否和“经济大环境”有关。

为了让你轻松理解，我们可以把银行想象成一家超级复杂的“风险保险公司”，而这篇论文就是他们为了更精准地算账，发明的一套**“智能天气预报系统”**。

以下是用通俗语言和生动比喻对这篇论文的解读：

1. 核心难题：为什么以前的方法不够用？

以前的做法（传统模型）：
想象一下，银行以前预测损失，就像是在看**“平均气温”**。他们假设每天的天气（损失情况）都是随机且独立的，就像抛硬币一样。

问题： 现实不是这样的。有时候是“大晴天”（平时，损失很少），有时候突然变成“台风季”（金融危机，损失巨大）。
比喻： 如果你只根据过去 30 年的平均气温来预测明天的天气，你肯定无法预测到突如其来的台风。传统的模型在“平静期”会高估风险（太保守），在“危机期”又会低估风险（太危险），导致银行要么留了太多钱，要么钱不够赔。

现在的挑战：
银行不仅要看自己的“内部数据”（比如员工有没有犯错、系统有没有崩溃），还想知道**“外面的天气”**（宏观经济，比如股市波动、经济危机）会不会影响内部的“台风”。

2. 解决方案：隐藏马尔可夫模型 (HMM) —— “看不见的天气系统”

作者提出了一种叫**“隐藏马尔可夫模型” (HMM)** 的新方法。

什么是“隐藏”的？
想象你在海边，你只能看到海浪的大小（这是你看得到的数据：银行的损失金额）。但你看不见海下的洋流（这是“隐藏”的状态：是平静期还是风暴期）。
- 洋流（隐藏状态）： 决定了海浪是大是小。
- 海浪（观测数据）： 我们实际看到的损失。
- HMM 的作用： 它通过观察海浪的变化，反推海下洋流的状态。它能告诉你：“哦，虽然现在浪不大，但洋流已经变了，风暴可能要来了。”
这篇论文的创新点：
以前的 HMM 只能看海浪（损失数据）。这篇论文给 HMM 加了一个**“雷达”，这个雷达能同时接收“海浪数据”和“气象卫星数据”**（宏观经济指标，比如 VSTOXX 波动率指数）。
- 比喻： 以前我们只看海浪猜天气；现在，我们既看海浪，又看卫星云图。这样就能更准地判断：现在的“平静”是真的平静，还是暴风雨前的宁静？

3. 实验过程：拿“内部欺诈”做测试

作者用了一家大银行的真实数据（经过匿名处理）来测试这个新系统，特别是针对**“内部欺诈”**（比如员工偷钱、违规交易）这一类风险。

测试变量：
1. 时间粒度： 是按周看、按月看，还是按季度看？（就像看视频，是看高清逐帧，还是看模糊的缩略图？）
2. 状态数量： 假设天气有几种状态？（2 种：晴/雨；还是 3 种：晴/多云/雨？）
3. 是否加“气象卫星”： 加不加宏观经济指标（VSTOXX）？
发现 1：时间越细，噪音越大
- 如果按**“周”**来看，数据太嘈杂了，就像在狂风中听人说话，很难分清是风声还是人声。模型会频繁地在“晴”和“雨”之间跳来跳去，判断不准。
- 如果按**“季度”**来看，数据平滑了，模型能看清大趋势，但反应有点慢。
发现 2：加入“气象卫星”是关键
- 在**“周”这种高频数据中，单纯看海浪（损失）很难判断状态。但是，一旦加入了VSTOXX（股市波动率）** 这个指标，模型瞬间就“醒”了！
- 比喻： 就像在嘈杂的房间里，如果你只靠听声音很难分辨谁在说话。但如果你同时看到了对方的嘴型（宏观经济指标），你就能立刻知道谁在说话，状态判断变得非常准确。
- 结果： 对于“内部欺诈”这类风险，加入经济指标后，预测准确率大幅提升。因为员工在股市动荡、压力大时，更容易铤而走险去欺诈。
发现 3：不是所有风险都怕“天气”
- 对于**“物理损坏”（比如大楼被火烧了）或“系统故障”（比如服务器坏了），加入股市波动指标没用**。
- 比喻： 股市跌了，不会导致大楼着火，也不会让服务器断电。这些是“硬伤”，跟宏观经济关系不大。所以，给这些风险加“气象卫星”是画蛇添足。

4. 结论与意义：为什么这很重要？

更聪明的压力测试：
监管机构（像银行的“考官”）要求银行做“压力测试”，模拟如果经济崩盘了，银行还能撑多久。以前的模型假设损失是随机乱跳的，现在这个新模型能告诉银行：“如果股市崩盘（宏观变量），我们的员工欺诈风险会飙升（状态切换）。” 这让预测更真实。
因地制宜：
并不是所有风险都需要看宏观经济。这篇论文告诉我们，要**“看菜吃饭”**。对于跟人心、交易相关的风险（如欺诈），必须结合经济环境；对于跟硬件、自然灾害相关的风险，则不需要。
未来的方向：
虽然现在的模型用的是“高斯分布”（一种数学上比较简单的假设，类似正态分布），但现实中的损失往往有“黑天鹅”（极端的巨大损失）。未来的模型可能需要更复杂的数学工具来捕捉这些极端情况，就像从“普通天气预报”升级为“超级台风预警”。

总结

这篇论文就像给银行装上了一套**“带雷达的智能导航系统”**。

它不再盲目地假设风险是随机发生的。
它能识别出**“平静期”和“风暴期”**。
最重要的是，它能结合“外部天气”（宏观经济） 来更精准地预测内部风险，特别是那些跟“人”和“情绪”有关的欺诈风险。

这对于银行在危机来临前做好准备，避免“裸奔”，具有非常重要的实际意义。

论文技术总结：基于隐马尔可夫模型的操作风险损失与宏观经济变量依赖关系建模

1. 研究背景与问题 (Problem)

核心挑战：
操作风险（Operational Risk, OR）的建模面临数据异质性和时间依赖性的巨大挑战。传统的操作风险建模方法（如损失分布法 LDA）通常基于复合泊松过程（Compound Poisson Process, CPP），假设事件发生是独立的且服从指数分布（无记忆性），且损失严重程度与频率相互独立。然而，现实数据中存在以下问题：

状态依赖性： 操作风险损失往往表现出“体制切换”（Regime Switching）特征，即存在低损失/正常时期和高损失/危机时期，且这些时期具有持续性。
时间依赖性： 损失事件并非完全独立，一次冲击可能引发连锁反应，且系统修复后短期内再次发生类似事件的概率会降低（违背无记忆性）。
宏观经济关联缺失： 传统模型难以捕捉操作风险与宏观经济环境（如市场波动、金融危机）之间的动态依赖关系，这在压力测试（Stress Testing）中至关重要。
数据局限性： 仅依赖历史数据难以准确捕捉新兴风险（如网络攻击、地缘政治事件），且极端损失数据稀缺。

研究目标：
本文旨在提出一种扩展的隐马尔可夫模型（Hidden Markov Models, HMM），将宏观经济协变量（如市场波动率指数）直接纳入观测过程，以捕捉操作风险损失与宏观经济变量之间的动态依赖关系，并提高压力测试下的风险量化准确性。

2. 方法论 (Methodology)

2.1 模型框架：多元隐马尔可夫模型

作者构建了一个多元高斯隐马尔可夫模型，其中：

隐状态 ( $X_n$ )： 代表不可观测的风险体制（Regime），如“正常状态”或“危机状态”。 $X_n$ 服从离散马尔可夫链，状态空间为 $\{\omega_1, ..., \omega_K\}$ 。
观测向量 ( $Y_n$ )： 是一个二维高斯随机向量 $(Y^1_n, Y^2_n)$ $(Y_{n}^{1}, Y_{n}^{2})$ ，条件独立于隐状态：
- $Y^1_n$ ：宏观经济协变量（本文选用 VSTOXX，即欧元斯托克 50 指数隐含波动率，作为市场不确定性的代理）。
- $Y^2_n$ ：操作风险损失变量。
依赖机制： 隐状态 $X_n$ 同时驱动损失和宏观经济变量的分布，从而在两者之间建立统计依赖。不同体制下，损失和协变量的均值 ( $\mu_i$ ) 和协方差矩阵 ( $\Sigma_i$ ) 不同。

2.2 参数估计：EM 算法

由于隐状态不可观测，模型参数 $\Xi = (\pi, A, \theta_1, ..., \theta_K)$ 通过 期望最大化 (EM) 算法（即 Baum-Welch 算法）进行最大似然估计：

E-步 (Expectation)： 利用前向 - 后向算法（Forward-Backward Algorithm）计算给定观测序列下的后验概率：
- $\phi_n(i)$ ：时刻 $n$ 处于状态 $i$ 的概率。
- $\Psi_n(i, j)$ ：时刻 $n$ 处于状态 $i$ 且 $n+1$ 处于状态 $j$ 的联合概率。
M-步 (Maximization)： 基于 E-步计算出的概率，更新初始分布 $\pi$ 、转移矩阵 $A$ 以及高斯发射参数 $\theta_i$ （均值和协方差）。
初始化策略： 使用 K-means 聚类对观测数据进行初始化，以避免陷入局部最优解。

2.3 风险度量与预测

目标： 预测未来时刻 $N+1$ 的操作风险损失的 90% 分位数（对应压力测试中的风险水平）。
预测流程：
1. 利用前向算法计算当前时刻 $N$ 的滤波后验概率。
2. 根据转移矩阵模拟下一时刻的隐状态 $X_{N+1}$ 。
3. 根据模拟的状态 $X_{N+1}$ 从对应的高斯分布中采样生成 $Y^2_{N+1}$ （损失）。
4. 重复采样 1500 次，构建预测分布并计算 90% 分位数。

2.4 实验设计

数据： 模拟的银行操作风险损失数据（2000-2018），按巴塞尔协议 II 的 7 种事件类型分类。重点分析 内部欺诈 (Internal Fraud)。
协变量： VSTOXX（市场波动率）。
变量控制：
- 时间聚合频率： 季度、月度、周度。
- 隐状态数量 ( $K$ )： 2, 3, 4。
- 模型对比： 包含协变量的模型 (M) vs. 不包含协变量的标准 HMM。
评估指标： 预测值与实际值在 90% 分位数上的 均方误差 (MSE)，以及回测中的例外率（Exception Rate）。

3. 关键贡献 (Key Contributions)

模型创新： 提出了一种将宏观经济协变量直接嵌入 HMM 观测向量的扩展框架。不同于传统仅利用 HMM 识别隐状态，该方法利用协变量辅助状态识别，从而更准确地捕捉损失分布的动态变化。
解决非平稳性： 通过隐马尔可夫结构，有效解决了操作风险数据中的非平稳性（体制切换）和记忆效应问题，克服了传统复合泊松过程假设的局限性。
实证发现依赖关系的异质性： 证明了宏观经济变量（如波动率）对操作风险的影响并非普遍存在，而是高度依赖于 事件类型。
- 对于 欺诈类风险（内部/外部欺诈），损失与市场波动率存在显著依赖，引入协变量能显著提升预测精度。
- 对于 物理损坏 或 系统故障，引入市场波动率并未带来显著改善，甚至可能因噪声导致性能下降。
频率敏感性分析： 揭示了时间聚合频率对模型性能的影响。在高频（周度）数据中，标准 HMM 容易因噪声而频繁切换状态，而引入宏观经济协变量能增强状态识别的持续性（Persistence），改善高频下的预测效果。

4. 实验结果 (Results)

内部欺诈 (Internal Fraud) 分析：
- 体制识别： 模型成功识别出 2007-2009 金融危机期间的高损失体制。
- 协变量效果： 在周度数据中，引入 VSTOXX 后，模型的均方误差 (MSE) 显著降低（例如 2 状态模型从 1.55 降至 0.923）。协变量帮助模型区分短期波动和真实的体制切换，减少了状态的不必要切换。
- 状态持续性： 引入协变量后，滤波后的状态概率表现出更强的持续性，更符合经济直觉。
其他事件类型：
- 外部欺诈 (ET2)： 同样受益于引入 VSTOXX，MSE 普遍降低。
- 物理损坏 (ET5) & 系统故障 (ET6)： 引入 VSTOXX 并未带来一致的性能提升，部分情况下 MSE 反而略高。这表明这些风险主要由运营、技术或环境因素驱动，而非金融市场波动。
- 就业实践 (ET3) & 客户产品 (ET4)： 数据未显示明显的体制切换特征，HMM 模型未带来显著改进。
状态数量 ( $K$ ) 的影响：
- 在低频（季度/月度）数据中，增加状态数（如 $K=4$ ）容易导致过拟合和状态切换不稳定。
- 在高频数据中，过多的状态数会加剧噪声干扰，但引入协变量有助于稳定状态推断。

5. 意义与结论 (Significance & Conclusion)

监管与压力测试价值： 该研究为监管机构（如巴塞尔协议框架下的压力测试）提供了一种灵活的工具，用于评估宏观经济冲击如何传导至特定类型的操作风险。它证明了并非所有风险都需要相同的宏观驱动因子，模型应根据风险类型定制化。
方法论启示： 传统的 LDA 框架假设独立同分布，难以应对危机时期的风险聚集。本文提出的多元 HMM 框架能够动态调整风险分布，更真实地反映“危机”与“正常”时期的差异。
未来方向：
- 分布扩展： 目前使用高斯分布，未来可扩展至重尾分布（如 Student-t 或椭圆分布）以更准确地捕捉极端损失。
- 协变量多样化： 除了市场波动率，可引入利率、气候指标、地缘政治风险指数等，以覆盖更广泛的风险驱动因素。
- 解释性： 该框架不仅提高了预测精度，还通过隐状态提供了对风险环境变化的可解释性洞察。

总结： 本文通过扩展隐马尔可夫模型，成功建立了操作风险损失与宏观经济变量之间的动态依赖关系。研究结果表明，这种依赖关系具有显著的事件类型特异性，且引入宏观经济协变量在高频数据分析和特定风险类型（如欺诈）的压力测试中具有显著的预测优势。