Zero-shot adaptation to order book dynamics

技术摘要：订单簿动态的零样本适应

问题陈述
经典的 Avellaneda–Stoikov (AS) 做市模型提供了一个快速且结构稳健的框架，基于一组可解释的参数（波动率、订单到达强度、库存风险厌恶和时间范围）。然而，这些模型通常依赖于预先定义的固定目标函数。如果市场体制发生转变或交易目标发生变化（例如，所需的库存目标、风险偏好或逆向选择惩罚），模型就需要人工重新解释或重新校准。本文旨在解决对自适应机制的需求，该机制能够根据市场状况实时调整交易目标，而无需重新训练整个模型或放弃 AS 框架的分析结构。

方法论
所提出的架构将市场动态与交易目标分离，利用受零样本强化学习（特别是前向 - 后向表示）启发的“后继测度风格”自适应机制。该系统通过三个主要组件运行：

1. 市场状态估计 ($\xi_t$)：
   当前的限价订单簿状态 ($L_t$) 被映射到 Avellaneda–Stoikov 参数的低维向量 $\xi_t = (\sigma_t, A^b_t, A^a_t, \kappa^b_t, \kappa^a_t, c^b_t, c^a_t)$。这些参数控制局部市场动态，包括波动率、订单到达强度和局部逆向选择成本。与这些参数在经典模型中是固定的不同，此处它们是从订单簿中动态推断出来的。

2. 自适应目标估计 ($z_t$)：
   模型不使用固定的奖励函数，而是从近期实现奖励的滚动窗口 ($W_t$) 中估计低维目标向量 $z_t$。奖励被建模为结果特征的线性泛函：$r = z^\top \phi(s, a, s')$，其中 $\phi$ 包括盈亏、下一时刻库存、库存平方和逆向选择成本。
   目标向量使用后向表示 $B_\psi$ 进行估计，该表示将过去的状态 - 动作对映射到奖励坐标空间。估计值计算为实现奖励的加权期望：
   $$\hat{z}_t = \mathbb{E}_{\rho_t} [r^H(s, a) B_\psi(s, a)]$$
   这使得模型能够直接从数据中推断当前市场的“奖励方向”（例如，是奖励库存积累还是惩罚逆向选择）。

3. HJB 前向表示与标量化：
   核心价值对象是一个向量值的 Hamilton-Jacobi-Bellman (HJB) 前向表示，$F_{HJB}(q, \tau, a, z; \xi)$，它表示在给定目标 $z$ 下的最优策略下的预期未来奖励特征。
   标量动作值是通过将该向量投影到当前的自适应目标上获得的：
   $$Q_{z_t}(s, a) = F_{HJB}(s, a, z_t; \xi_t)^\top z_t$$
   策略 $\pi_{z_t}$ 通过最大化该标量值得出。在闭式实现中，这产生了类似于经典 AS 的报价规则，但其中延续价值 $h_t(q)$ 是专门为推断出的目标 $z_t$ 计算的：
   $$\delta^{b,\star}_t = \frac{1}{\kappa^b_t} - \frac{h_{z_t}(q_t + v) - h_{z_t}(q_t)}{v} + \frac{c^b_t}{v}$$
   （卖盘侧同理）。

主要贡献

• 自适应 AS 框架： 本文介绍了一种方法，在保留 Avellaneda–Stoikov 模型的分析速度和可解释性的同时，用数据驱动的自适应向量替换固定目标。
• 动态与目标的分离： 它证明了市场动态（参数 $\xi_t$）和交易目标（向量 $z_t$）可以被解耦。动态从订单簿中推断，而目标从实现的奖励中推断。
• 零样本适应： 该方法允许模型在不重新训练的情况下适应不断变化的体制和目标，有效地充当做市目标的零样本学习器。
• 闭式解： 作者推导出了将自适应目标整合到标准 AS 结构中的闭式报价规则，确保模型保持计算效率。

实验结果
作者在重建的 BTCUSDT 限价订单簿数据集上，将提出的“滚动 FB-AS HJB"策略与两个基线进行了评估：

1. 固定延迟的 Guéant–Lehalle–Fernandez-Tapia (GLFT) 策略。
2. 固定延迟的 Avellaneda–Stoikov 策略。

发现：

• 性能： 两个基线策略（GLFT 网格和 AS 网格）在评估窗口上均产生了负收益和高回撤。相比之下，滚动 FB-AS HJB 策略实现了正收益（0.002167）和显著更高的夏普比率（28.57，而基线为负值）。
• 风险管理： 与基线（约 0.0027–0.0028）相比，自适应策略表现出显著更低的最大回撤（0.000947）。
• 交易频率： 自适应策略的交易频率显著低于基线（日均交易 477.85 次，而基线约为 4500–4600 次），这表明自适应目标和有限范围 HJB 选择起到了过滤作用，防止在噪声条件下过度交易。

意义与主张
本文声称提供了“分析做市与基于表示的强化学习之间的可解释桥梁”。通过保留 Avellaneda–Stoikov 动态作为物理核心，仅适应低维目标向量，该框架避免了深度强化学习的“黑盒”性质，同时获得了零样本适应的灵活性。

作者对其主张持谨慎态度，指出结果来自使用重建数据和近似成交归因而非原生交易所数据的“受控模拟研究”。他们承认，生产环境的实施需要原生事件数据、更强的成交概率校准以及更详细的成本建模。然而，该研究表明，在相同的回测条件下，自适应报价规则的行为与固定目标基线有着根本的不同，且更加稳健。