技术摘要：随机波动率下的涌现潜状态计算

问题陈述

机械可解释性研究主要集中在语言模型和确定性的合成任务上，在这些任务中，目标计算是完全可观测的。在理解神经网络序列模型如何在噪声、部分观测的环境中内部表示**潜在随机动力学（latent stochastic dynamics）**方面，存在显著的研究空白。

本文使用随机波动率（Stochastic Volatility, SV）模型作为受控基准来填补这一空白。在 SV 模型中，资产回报是未观测到的潜在对数波动率状态（$h_t$）的有噪声观测值。与 ARCH/GARCH 模型（其中波动率是过去回报的确定性函数）不同，SV 模型要求模型进行隐式滤波，以从噪声数据中推断隐藏状态。本研究的核心挑战在于：仅通过预测未来平方回报（$r^2_{t+1}$）进行训练的小型神经网络，是否能够恢复出真实的潜在波动率状态（$h_{t+1}$）的内部表示，以及这些表示是如何在网络架构中涌现的。

研究方法

实验设置

• 数据生成： 作者使用了一个受控的**多元随机波动率（MSV）**过程，包含 $N=6$ 个资产。回报（$r_t$）是遵循具有跨资产溢出效应的线性状态空间模型的潜在对数波动率状态（$h_t$）的有噪声观测值。
• 任务： 模型给定 $T=21$ 的历史回报，旨在预测下一步的平方回报（$y = r^2_{T+1}$）。研究者已知真实的潜在状态 $h_{T+1}$，但该状态对模型是隐藏的。
• 架构：
  • Transformer： 一个紧凑的编码器，包含一层和一头注意力机制。资产被视为 Token，回报历史作为特征。该架构包括线性嵌入、$\ell_2$ 归一化、位置嵌入、自注意力以及带有 GELU 激活函数的前馈网络（FFN）。
  • MLP 基准： 一个三层 MLP，独立处理每个资产的历史，以隔离基于注意力的跨资产交互作用的影响。
• 训练目标： 对比了两种损失函数：
  1. MSE： 平方回报的均方误差（条件方差的一个有噪声的代理）。
  2. NLL： 高斯负对数似然，在理论上与条件方差估计相一致。

分析技术

• 线性探测（Linear Probing）： 使用岭回归探测器拟合中间隐藏表示（$z_i$），以衡量潜在状态 $h_{i, T+1}$ 的线性可解码性。
• 阶段性分析： 作者追踪了每一个架构阶段（嵌入、归一化、注意力、FFN、输出）的解码情况，以识别潜在信息是在何处涌现的。
• 因果干预：
  • 输出头替换： 将学习到的输出头替换为与探测器对齐的读出器，以测试预测性能的下降是源于表示失败还是读出失配。
  • 激活消融： 扰动特定组件（例如 post-$\ell_2$ 归一化）以测量其对下游解码能力和预测误差的影响。

核心发现

1. 稳健的两阶段潜在状态分解

在 Transformer 和 MLP 中，且无论使用何种损失函数或激活函数，模型都表现出一致的两阶段计算过程：

1. 潜在推理： 隐藏表示编码了关于下一个潜在波动率状态（$h_{T+1}$）的大量信息。线性探测器实现了较高的 $R^2$（通常 >0.85）。
2. 预测映射： 输出头将此表示映射到平方回报预测。

• 观察： 在 MSE 训练下，即使隐藏状态高度可解码，学习到的输出头往往也表现出显著较低的对齐度（$R^2$）。这表明 MSE 下的预测误差通常源于读出失配（readout misalignment），而非潜在状态编码的失败。

2. Transformer 中的阶段性涌现

潜在状态的可解码性涌现点取决于波动周期（$\omega$）：

• 长周期机制 ($\omega \ge 365$)： 可解码性在经过线性嵌入的 $\ell_2$ 归一化后立即涌现。表示在经过注意力或 FFN 处理之前就已经具有高度可解码性。
• 中等周期机制 ($\omega \in \{30, 90\}$)： 可解码性需要经过注意力后的 FFN 进行进一步精炼。
• 短周期控制 ($\omega = 21$)： 在加入位置嵌入之前，可解码性接近于零，之后跳升至 $\approx 1.0$。这表明在该特定机制下，模型依赖于周期性记忆而非动态滤波。
• 对比： MLP 的可解码性在各层之间的涌现呈现出一种较不模块化、较为弥散的状态，缺乏 Transformer 那种清晰的阶段性转换。

3. 长周期机制中的显式潜在滤波器

在长周期机制中，Transformer 的计算简化为一个显式滤波器：
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
这表明，大部分潜在状态信息是通过学习到的线性投影结合 $\ell_2$ 归一化提取的。因果消融证实，post-$\ell_2$-norm 表示是潜在信号对下游预测产生因果相关性的最早阶段；扰动该阶段会导致可解码性和预测能力的显著崩溃。

意义与主张

本文认为，随机波动率模型为噪声潜在动力学和部分可观测性下的机械可解释性研究提供了一个有用的基准。

• 弥合差距： 不同于确定性的玩具任务，SV 模型需要进行隐式状态推理，同时其真实状态对于评估是可用的。这使得研究如何通过神经网络表示、转换并利用潜在随机结构成为可能。
• 机械见解： 研究表明，即使是小型、紧凑的 Transformer 也能学会执行类似于经典计量经济学流水线（即“推理后预测”）的隐式滤波。
• 金融模型的解释性： 研究结果表明，金融时间序列预测任务可以作为连接机械可解释性、时间序列建模和状态空间推理的桥梁，提供一个研究神经网络如何处理不可还原不确定性的环境。

作者对其结论保持审慎，指出其结果是基于已知潜在状态的合成数据和小规模架构。他们并不声称这些机制能直接扩展到大规模现实世界的金融模型，也不声称提供了一个关于所有 SV 计算的完整电路级描述，而是旨在识别受控设置中特定的、具有可解释性的涌现机制。