📊 statistics

Estimation of Treatment Effects Under Nonstationarity via the Truncated Policy Gradient Estimator

本文介绍了截断策略梯度（Truncated Policy Gradient, TPG）估计量，这是一种利用短时界结果轨迹来为估计非平稳动态系统中全局平均治疗效应提供具有证明的低偏差与低方差的新颖方法，并得到了理论保证及在真实世界案例研究中的验证支持。

原作者： Ramesh Johari, Tianyi Peng, Wenqian Xing

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ramesh Johari, Tianyi Peng, Wenqian Xing

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在繁忙的城市街道上进行一场巨大的、混乱的实验。你想知道，更换一个新的“限速”标志（处理组）是否真的能让交通变得更快，与保留旧标志（对照组）相比如何。

在一个简单的世界里，你只需要统计更换标志前后通过的车辆数量即可。但在现实世界中，交通是动态的且非平稳的。

动态性： 如果你减慢了一辆车的速度，它后面的车就必须刹车，这会导致再后面的一辆车也变慢。你的行为会在接下来的一个小时内改变道路的状态。
非平稳性： 交通并非每天都一样。它会随着高峰时段、降雨或附近举办大型音乐会而变化。“规则”在不断发生偏移。

这就是这篇论文要解决的问题：当系统不断变化，且你的行为会产生波及未来的涟漪效应时，你该如何衡量干预措施的真实效果？

旧方法的缺陷

作者解释说，标准的测量方法（例如仅仅比较“新标志”组与“旧标志”组的平均车速）在这里会彻底失效。

“天真”的错误： 如果你只看即时结果，会产生巨大的误差。为什么？因为“新标志”组可能是在一个阴雨绵绵的周二进行的测试，而“旧标志”组可能是在一个晴朗的周五进行的测试。或者，“新标志”组的车可能被前一小时的一个慢速驾驶员给堵住了。
“平稳性”的错误： 一些高级数学工具假设交通模式每天都是相同的（平稳的）。但实际上并非如此。在变化的系统中应用这些工具，就像试图用一张冰冻湖泊的地图去导航移动的沙丘。

解决方案：“截断策略梯度”（TPG）

作者提出了一种名为截断策略梯度（Truncated Policy Gradient, TPG）估计量的新工具。它是这样工作的，让我们用一个简单的类比：

类比：“短期记忆”测试
想象你正在测试一种新的游戏策略。

旧方法（天真型）： 你按下按钮，然后立即检查得分。如果得分低，你就责怪这个按钮。但也许得分低是因为你在十分钟前陷入了一个糟糕的关卡。
TPG 方法： 与在按下按钮后立即检查得分不同，你按下按钮，然后观察接下来几分钟内发生的情况（一个短期的“窗口”时间）。你累加你在那个短窗口期间获得的所有分数。

论文称之为“截断”，是因为你不会为了观察结果而等待永远（这在不断变化的世界中是不可能的）；你只观察一个短的、固定的时界（例如，接下来的 5 分钟）。

为什么这有效（神奇的戏法）

论文声称这种方法是两个极端之间的“甜点位”：

它解决了“涟漪效应”： 通过观察未来的一段短窗口结果，该估计量自然地考虑到了你的行为会对接下来的几分钟产生影响这一事实。它捕捉到了“延续”效应，又不会被几周前的事件所干扰。
它应对了“变化的世界”： 因为窗口很短，系统还没有足够的时间在那个窗口内剧烈改变其基本规则（非平稳性）。这就像是对移动中的汽车进行快照；如果快照足够快，汽车看起来就是静止的。

“偏差-方差”的平衡艺术

作者使用天平类比来解释他们的结果：

偏差（误差）： 如果你什么都不看（只看即时时刻），你会因为忽略了涟漪效应而产生偏差。如果你看所有内容（整个实验过程），数学会变得极其复杂，且由于世界变化太大，误差会爆炸。
方差（噪声）： 如果你观察一个非常长的窗口，你的结果会变得“多噪”且不稳定。
TPG 甜点位： 通过选择一个“恰到好处”的短窗口（截断大小 $k$ ），TPG 估计量找到了平衡。它减少了因忽略未来而导致的误差（偏差），同时又不会引入来自遥远且不可预测的未来的过多噪声（方差）。

现实世界测试

作者不仅做了数学推导，还在两个现实世界的模拟场景中进行了测试：

医院急诊室： 模拟了随时间变化的患者到达情况（非平稳性）。他们测试了一项新的效率协议是否真的起到了作用。TPG 估计量给出的答案比旧方法清晰得多。
网约车应用（纽约出租车）： 模拟了一个司机可用性和乘客需求剧烈变化的系统（高峰时段、周末）。他们测试了一种新的定价策略。同样，TPG 的表现优于标准方法，后者要么给出了错误的答案，要么波动大到无法信任。

核心结论

这篇论文介绍了一个简单而强大的技巧：不要只看实验的即时结果。要观察未来一段短的、固定的窗口。

通过这样做，即使在混乱、多变且充满涟漪的系统中，你也能准确地衡量一项改变（如新的应用功能或政策）的真实影响。这是一种在无需了解系统运作细节的情况下，从嘈杂、移动的世界中提取清晰信号的方法。

技术摘要：非平稳环境下基于截断策略梯度估计器的处理效应估计

1. 问题陈述

随机实验（A/B 测试）是评估动态系统中干预措施的标准工具，例如推荐平台、市场和数字健康领域。然而，在这些环境中，干预往往会诱发滞后效应（carryover effects，或称时间干扰），即在时间 $t$ 采取的行动会影响未来时间 $t'$ 的系统状态和结果。这违反了标准的单元级独立性假设。

非平稳性（nonstationarity）进一步加剧了这一挑战：由于用户偏好演变、季节性趋势或外部冲击等因素，系统动力学（转移核和奖励分布）随时间而变化。在这些非平稳马尔可夫设置中，现有的估计方法面临显著局限：

朴素估计器（如差分均值法 Difference-in-Means）忽略了时间依赖性，导致严重的偏差。
平稳离策评估（OPE）方法（如差分 Q 值法 Difference-in-Q's 或 DQ 估计器）假设环境是平稳的。当应用于非平稳数据时，由于其依赖于不成立的假设（如平稳可观测性和多个独立轨迹），会导致高偏差和高方差。
复杂的实验设计（如切换实验 Switchback experiments）虽然可以缓解干扰，但实现难度大且需要仔细调整间隔长度。

本文解决的核心问题是如何从非平稳系统的单条轨迹下，在伯努利随机化策略下估计全局平均处理效应（GATE），且无需了解状态空间或进行多次独立运行。

2. 方法论：截断策略梯度 (TPG) 估计器

作者提出了**截断策略梯度（Truncated Policy Gradient, TPG）**估计器，该估计器通过在短的固定时界 $k$ 内聚合结果，而非使用瞬时奖励，对标准的差分均值（DM）方法进行了改进。

2.1 正式框架

系统被建模为一个具有有限时界 $T$ 的非平稳马尔可夫决策过程（MDP）。

状态/动作： $X_t \in \mathcal{X}$ （状态）， $Z_t \in \{0, 1\}$ （控制/处理）。
动力学： 转移由随时间变化的核 $P^t_z$ 控制。系统满足混合时间假设（假设 1），其中过去动作的影响以速率 $\gamma \in (0, 1)$ 指数级衰减。
目标： GATE $\tau = \frac{1}{T} \sum_{t=1}^T (\mathbb{E}[Y_t | \pi_1] - \mathbb{E}[Y_t | \pi_0])$ ，其中 $\pi_1$ 和 $\pi_0$ 分别是始终处理和始终控制的策略。
数据： 在伯努利随机化策略 $\pi_{1/2}$ 下生成的一条单一轨迹。

2.2 估计器

TPG 估计器 $\hat{\tau}_k$ 定义为：
$\hat{\tau}_k := \frac{1}{T} \sum_{u=1}^T \left( \frac{\mathbb{I}\{Z_u = 1\}}{1/2} - \frac{\mathbb{I}\{Z_u = 0\}}{1/2} \right) \sum_{t=u}^{\min(u+k, T)} Y_t$
当 $k=0$ 时，它退化为朴素的 DM 估计器。当 $k \ge 1$ 时，它会对大小为 $k$ 的窗口内的奖励进行求和。

2.3 理论解释

论文证明了 $\hat{\tau}_k$ 是一个截断策略梯度 $\nabla J_k(1/2)$ 的无偏估计器。

策略梯度视角： 标准策略梯度 $\nabla J(1/2)$ 是 GATE 的一阶泰勒近似。在非平稳设置中，全量梯度估计器（其中 $k=T$ ）的偏差随 $T$ 平方级增长（ $O(T^2)$ ）。
截断： 通过将时界截断为 $k$ ，该估计器近似于一个仅在最后 $k$ 步切换到处理或控制的假设策略的梯度。
偏差分解： $\hat{\tau}_k$ $\overset{τ}{^}_{k}$ 相对于真实 GATE 的偏差分解为：
1. 泰勒误差： 使用梯度近似 GATE 产生的误差。该误差随 $k$ 的平方级变化（ $O(k^2)$ ），远优于 $O(T^2)$ 。
2. 混合偏差： 截断策略值与真实 GATE 之间差异产生的误差。由于混合时间假设，该误差随 $k$ 呈几何级数衰减。

2.4 方差估计与推断

论文推导了非平稳条件下 TPG 估计器的中心极限定理（CLT）。为了支持统计推断，作者开发了一种一致的非平稳 HAC（异方差及自相关一致）方差估计器。该估计器允许利用单条轨迹数据构建置信区间，克服了在非平稳环境下困扰标准 OPE 方法的“时界诅咒”。

3. 主要贡献

新型估计器： 引入了 TPG 估计器，通过截断奖励时界来平衡偏差与方差。它不需要状态可观测性，且适用于单条轨迹。
理论保证：
- 偏差-方差权衡： 定理 1 提供了证明，表明对于 $k \ge 1$ ，TPG 估计器实现了良好的权衡。其偏差受混合率 $\gamma$ 和核偏差 $\delta$ 控制，而方差是有界的，且不会像未截断估计器那样随 $T$ 爆炸。
- 渐近正态性： 定理 2 建立了 $\hat{\tau}_k$ 的 CLT，并证明了所提 HAC 方差估计器在温和正则性条件（Cesàro- $L^2$ 均值稳定性）下的相容性。
实用启发式算法： 提出了一种数据驱动算法（附录 B），用于在实验后通过监测估计值相对于其方差的稳定性来选择截断大小 $k$ 。
实证验证： 该方法在两个现实案例研究中得到了验证：
- 基于非平稳患者到达数据的排队模拟器。
- 基于真实出租车数据的规模化纽约市共享出行模拟器。

4. 结果

两状态 MDP： 在模拟中，朴素 DM 估计器（ $k=0$ ）表现出约 50% 的平均绝对误差（MAE）。未截断的策略梯度（ $k=T$ ）出现了错误的符号和巨大的方差。使用较小 $k$ （如 $k=1$ 到 $5$）的 TPG 估计器显著降低了偏差，同时保持了低方差。
排队案例研究： 与平稳 DQ、LSTD-OPE 和经过偏差修正的切换实验估计器相比，TPG 估计器（当 $k=4$ 或 $5$ 时）非常接近真实的 GATE。所提 HAC 方差估计器实现了接近名义值的 95% 置信覆盖度。
共享出行案例研究： 在包含真实纽约数据的复杂非平稳环境中，TPG 估计器在各种切换间隔（10 到 60 分钟）下均能持续降低偏差。它优于对间隔选择敏感的先进切换实验估计器，也优于无法学习可靠 Q 值的平稳 OPE 方法。 $k=2$ 或 $3$ 的 TPG 估计器产生的估计值非常接近真实 GATE。

5. 意义与主张

本文声称 TPG 估计器为非平稳动态系统中的因果推断提供了一个简单、实用且具有理论基础的解决方案。其主要意义在于：

鲁棒性： 在现有方法（朴素 DM、平稳 OPE）失效的设置中，它实现了偏差与方差之间的良好平衡。
可行性： 它在单条轨迹数据上运行，无需了解状态空间，这使其适用于完全状态观测往往难以实现的现实世界平台。
推断能力： 它是第一个为单轨迹非平稳马尔可夫设置下的处理效应估计提供一致方差估计器和 CLT 的方法，从而实现了有效的统计推断。
灵活性： 它可以作为一种后处理工具，用于改进标准伯努利 A/B 测试或更复杂的实验设计（如切换实验）的估计结果。

作者总结道，通过截断实现的策略梯度视角，为在复杂的非平稳动力学下设计有效的估计器提供了一个强大的框架。