技术摘要：用于最优交易执行的 TT-DAC-PS

问题陈述

本文探讨了大规模股票卖出程序的最优执行问题，这是量化金融中的一个关键挑战。投资组合经理必须在不引起市场价格过度波动（市场冲击）或使订单暴露于不利价格变动（时机风险）的情况下，清算大量的库存。主要的性能指标是执行缺口（Implementation Shortfall, IS），其定义为决策时的理论价值与实际实现收益之间的差值。

虽然诸如时间加权平均价格（TWAP）、成交量加权平均价格（VWAP）和 Almgren–Chriss (AC) 框架等经典方案提供了稳健的基准，但它们通常依赖于静态参数或线性冲击假设。这些方法在以时变流动性、结构性断裂和非线性冲击动态为特征的非平稳市场中表现不佳。强化学习（RL）为自适应控制提供了一个潜在的解决方案，但在该领域面临着特定的挑战：

1. 探索稳定性： 标准的噪声调度（例如固定的 Ornstein–Uhlenbeck 过程）在金融环境中可能非常脆弱，会导致学习不稳定或产生不安全的交易行为。
2. 价值高估： 在连续控制中，Actor-Critic 方法经常受到 Q 值高估的影响，从而导致策略学习不稳定。
3. 安全约束： 执行策略必须严格遵守操作约束，例如每步参与度上限和库存可行性，这在随机强化学习设置中难以强制执行。

方法论：TT-DAC-PS

作者提出了 TT-DAC-PS（具有策略平滑的双目标确定性 Actor-Critic），这是一种专为回合制交易执行定制的深度强化学习架构。该方法集成了一个混合模拟环境、一种新型的 Actor-Critic 设计以及自适应探索策略。

1. 环境与模拟

执行环境是一个有限时界的马尔可夫决策过程（MDP），它融合了 Almgren–Chriss (AC) 成本-风险模型的可解释性与经验性的**限价订单簿（LOB）**数据。

• 状态表示： 状态向量包括六个滞后的对数收益率（用于衡量动量/波动率）、归一化的剩余时间、归一化的剩余库存以及归一化的交易活动代理（相对于历史平均水平的成交量）。
• 动力学： 执行价格根据 AC 模型针对临时和永久冲击进行调整，而底层中间价则遵循经验性的 LOB 序列。
• 预处理： 为了确保对微观结构噪声的稳定性，中间价使用**中值绝对偏差（MAD）进行过滤，成交量使用四分位距（IQR）**限制进行封顶。
• 约束： 动作被映射为股份数量，并带有硬性的每步参与度上限（初始库存的 1%）以及确保零残余库存的终端清算规则。

2. 核心架构

该模型采用了具有特定稳定机制的确定性 Actor-Critic 框架：

• 双目标 Critic（Twin-Target Critic）： 与使用两个独立训练的 Critic 的标准 TD3 不同，TT-DAC-PS 通过具有不同更新速率的 Polyak 平均，从同一个底层 Critic 派生出两个目标 Critic ($Q_{\phi1}, Q_{\phi2}$)。目标值使用**悲观最小备份（pessimistic minimum backup）**计算：
  $$y = r + \gamma \min(Q_{\phi1}(s', a'), Q_{\phi2}(s', a'))$$
  这减少了 Q 值高估，并在嘈杂、非平稳的条件下提高了稳定性。
• 策略平滑（Policy Smoothing）： 目标动作通过高斯噪声（TD3 风格）进行扰动，以平滑策略并防止对特定状态-动作对的过拟合。
• 保守 Q 正则化（Conservative Q Regularization）： 一个额外的损失项惩罚当前策略的 Q 值与噪声动作的 Q 值之间的差异，从而强制执行保守的价值估计。
• 延迟 Actor 更新： Actor 的更新频率低于 Critic（每 $K$ 步更新一次），以稳定学习过程。

3. 混合自适应探索

一项关键创新是自适应 Ornstein–Uhlenbeck (OU) 噪声调度，它根据三个组成部分动态调整探索规模 ($\sigma$)：

1. 确定性衰减： 在训练回合期间，从初始 $\sigma_0$ 到最小 $\sigma_{min}$ 的计划衰减。
2. 方差感知调整： 一个反馈循环，监控近期回合收益的滚动方差。如果方差较低（表明进入平台期），则向上推动探索强度；如果方差较高（表明不稳定），则降低探索强度。
3. 学习温度： 一个类似 Soft Actor–Critic (SAC) 的温度参数 ($\alpha$) 是可学习的，并被映射到噪声规模，允许模型自我调节探索强度。
   所有调整都被限制在 $[\sigma_{min}, \sigma_0]$ 范围内以维持安全性。

4. 奖励设计

奖励函数通过 Almgren–Chriss 效用（$U(q) = E(q) + \lambda V(q)$）的逐步减少进行塑造，其中 $E$ 是预期成本，$V$ 是风险。这在每一步都提供了密集且可解释的反馈，使学习信号与最小化成本和风险的经济目标保持一致，而不仅仅依赖于最终的 IS。

主要贡献

论文确定了以下具体贡献：

• 混合模拟框架： 将 AC 解析结构与经验 LOB 特征相结合，创建了一个既现实又受控的训练环境。
• 双目标机制（Twin-Target Mechanism）： 一种新型用法，通过两个经 Polyak 平均的目标 Critic 和悲观最小备份，在不增加完全独立 Critic 计算开销的情况下稳定价值估计。
• 方差感知自适应探索： 一种混合 OU 噪声调度，结合了确定性衰减、方差驱动调整和学习温度映射，以应对非平稳的流动性和波动率。
• 约束感知策略设计： 在动作映射和终端规则中直接强制执行参与度上限和库存可行性。
• 稳健的预处理： 使用 MAD 和 IQR 过滤的流水线，以稳定高频 LOB 输入。
• 严谨的评估： 使用 95% Bootstrap 置信区间进行基准测试协议，以评估十种不同美国股票的统计显著性。

结果

模型在十只美国股票（ADBE, AMD, AVGO, BKR, CSCO, CMCSA, ORCL, PEP, PYPL, INT C）上进行了评估，并与以下对象进行了比较：

• 经典基准： TWAP, VWAP, 和 AC。
• 深度 RL 基准： PPO, SAC, 和 A2C。

性能发现：

• 卓越的执行质量： TT-DAC-PS 在 8/10 的标的资产中始终实现了最低或并列最低的平均执行缺口（IS）。
• 在高波动市场中的稳健性： 该模型在高波动性标的（如 AVGO, AMD）中表现尤为强劲，在这些标的中，静态基准和同策略 RL 方法（PP0, A2C）产生的缺口明显更大。
• 与 RL 的比较： 离策（Off-policy）方法（TT-DAC-PS, SAC）优于同策略（On-policy）方法（PPO, A2C）。TT-DAC-PS 通常优于 SAC，特别是在具有挑战性的高冲击场景中。
• 消融实验：
  • 移除双目标机制（消融 1）导致在高波动性股票中性能显著下降（例如，AVGO 的 IS 从 0.12% 上升到 0.47%），证实了悲观备份对于价值稳定性的必要性。
  • 移除自适应探索（消融 2）也削弱了性能，尤其是在困难的行情中，表明固定的噪声调度不足以应对非平稳性。

意义与主张

论文声称 TT-DAC-PS 成功弥合了经典执行理论的严谨性与深度强化学习的适应性之间的差距。其意义在于证明了：

1. 自适应探索对于回合制执行至关重要，特别是在流动性和价差随时间变化的（非平稳）环境中，此时固定的噪声调度会失效。
2. 双目标悲观备份对于在具有高方差的连续控制问题中稳定价值估计是必不可少的。
3. 所提出的架构提供了一个稳健且受安全约束的解决方案，能够超越传统的启发式方法和标准的 RL 基准，特别是在不利的市场条件下。

作者保持了谦逊的语气，指出虽然在许多情况下改进具有统计显著性，但置信区间在某些标的中存在重叠，这表明该方法提供的是改进的平均执行质量和具有竞争力的稳健性，而非在所有市场机制下都具有统一的统治地位。这项工作将该方法定位为迈向能够尊重安全约束并能从复杂微观结构数据中学习的生产级自适应执行系统的一步。