技术摘要：通过神经参数化学习金融时间序列中的非齐次马尔可夫动力学

1. 问题陈述

本文探讨了非平稳随机系统（特别是金融时间序列）建模所面临的挑战，指出经典马尔可夫模型与现代深度学习方法各自存在显著局限性。

• 稀疏性障碍：经典马尔可夫建模依赖于离散状态间转换的实证计数。为了捕捉重尾金融收益的细微差别，需要进行精细离散化（即大量分箱，$n$）。然而，可能的转换数量随 $n^2$ 呈二次方增长。在有限且含噪的金融数据集中，这会导致严重的数据稀疏性，绝大多数转换单元格未被观测到（例如，当 $n=55$ 时，99.9% 的单元格观测值少于 5 个）。这导致实证估计量退化为充满零值和高方差噪声的退化算子，使其无法用于结构分析。
• 可解释性鸿沟：虽然神经序列模型能够处理复杂的依赖关系，但它们通常通过不透明的潜在表示进行运作，阻碍了经典算子理论诊断方法（如转换热力图、行异质性、Chapman–Kolmogorov 一致性）的应用。

作者提出了一种折中方案：利用神经网络的灵活性来参数化显式的、随时间变化的马尔可夫转换算子，从而克服实证计数的稀疏性问题，同时保持数学上的透明度。

2. 方法论

核心贡献是对非齐次马尔可夫算子进行神经参数化。

2.1 框架公式

该系统被建模为特征条件化的非齐次马尔可夫链。

• 状态空间：收益通过分位数分箱离散化为有限状态空间 $S = \{s_1, \dots, s_n\}$。
• 特征条件化：转换概率取决于可观测的协变量 $F_t$（宏观经济指标、公司基本面）和当前状态 $X_t$。
• 算子构建：不再通过计数转换，而是利用神经网络 $f^{(h)}_\theta$ 学习从 $(X_t, F_t)$ 到下一状态概率分布的映射。
  $$\hat{A}^{(h)}_t(i, \cdot) = f^{(h)}_\theta(s_i, F_t)$$
  为了在时间 $t$ 构建完整的转换矩阵 $\hat{A}^{(h)}_t$，网络在相同的特征快照 $F_t$ 下对 $S$ 中的每个可能状态 $s_i$ 进行评估。这确保了即使对于未观测到的转换，输出也是一个有效的、平滑的随机算子。

2.2 模型架构与训练

• 架构：多层感知机（MLP）接收独热状态编码与特征向量的拼接作为输入，并通过 softmax 层输出概率分布。
• 训练目标：模型使用 Adam 优化器进行训练，以最小化负对数似然。为了处理离散化收益中的噪声，可选地采用平滑目标函数，将部分质量分配给相邻分箱。
• 基线模型：
  • 无状态消融：仅基于特征 $F_t$（移除 $X_t$）的条件化模型，生成行不变算子。
  • 实证计数器：经典估计量（边际、条件、回退平滑），以证明在高分辨率下计数的失效。

2.3 诊断工具

由于输出是显式的算子矩阵，该框架支持特定的诊断：

• 行异质性：测量行之间的总变差距离，以量化状态依赖性。
• 行熵：测量转换分布的离散度/不确定性。
• Chapman–Kolmogorov (CK) 一致性：将直接估计的 $h$ 步算子与 $h$ 个单步算子的复合进行比较。这作为一种局部诊断工具，用于识别一阶马尔可夫假设失效的时间窗口。

3. 关键结果

实验聚焦于单只股票（JPM），设置 $n=55$ 个分箱及多种预测 horizon。

3.1 实证计数的失效

在目标分辨率（$n=55$）下，实证转换矩阵实际上为空。超过 57% 的单元格完全未被观测到，99.9% 的单元格包含少于 5 个观测值。这证实了在此粒度下，制表法无法支持算子级别的分析。

3.2 结构有效性与状态依赖性

• 状态条件化：状态条件化模型生成了具有非平凡结构的算子，平均行异质性达到 $\bar{\rho} = 0.0073$。相比之下，无状态消融模型退化为精确的 $\rho = 0.0000$（行完全相同），证实离散化状态 $X_t$ 携带了独特的转换信息。
• 波动率与同质化：一个反直觉的发现是，高波动率 regime 会同质化转换动力学，而非使其多样化。
  • 行熵与已实现方差呈强负相关（$r = -0.62, p \approx 10^{-251}$）。
  • 在压力时期（已实现方差的前 20%），转换行坍缩为相似的集中分布。而在平静时期，行则更加多样化。

3.3 Chapman–Kolmogorov 诊断

CK 诊断揭示，一阶马尔可夫假设并非普遍被违反，而是在特定的时间窗口内失效。

• 状态条件化模型表现出更高的 CK 差异（平均 KL 散度为 0.140，而基线为 0.022），因为它学习到了真正的状态依赖动力学，而简单的单步算子乘积无法完美重构这些动力学。
• CK 违反集中在特定窗口（例如 $t \in [2120, 2200]$），与集中且低熵的动力学时期相关。这使得模型能够精确定位“记忆”假设失效的位置。

3.4 预测性能

论文报告了适度的预测增益，这与单资产日度数据的弱式有效性及低频特征的局限性一致。

• 在 horizon $h=10$ 时，相对于边际基线，状态条件化模型的 $\Delta$NLL 为 $+0.025$（95% 置信区间：$[-0.020, +0.028]$）。
• 较短的 horizon 显示性能接近或低于边际基线。
• 校准度合理，状态条件化模型对负收益的期望校准误差（ECE）为 0.079。

4. 意义与主张

本文主张其主要意义不在于实现最先进的预测精度，而在于恢复复杂时间序列建模的结构可解释性。

• 弥合鸿沟：它证明了神经网络可以被约束以输出数学上连贯的结构形式（显式随机算子），从而使严格的经典算子分析适用于高分辨率、非平稳数据。
• 诊断能力：通过暴露转换算子，该框架使得使用经典工具（热力图、异质性指标、CK 检查）成为可能，而这些在黑盒序列模型中是无法实现的。
• 市场动力学洞察：该框架揭示了特定的结构行为，例如高波动率期间转换动力学的同质化以及马尔可夫假设的局部失效，为研究市场 regime 提供了一种“透明、校准的显微镜”。

作者对当前的即时预测效用保持谦逊，指出当前的单资产、日度粒度设置限制了信噪比。他们建议，扩展到多资产、高频领域是实现实质性预测改进的必要途径，同时保留这些可解释性优势。