📊 statistics

PERRY: Policy Evaluation with Confidence Intervals using Auxiliary Data

本文提出了两种通过利用可能存在偏差的辅助数据来构建有效置信区间的创新方法，即利用符合预测（conformal prediction）进行状态条件值估计，以及利用双重稳健估计（doubly robust estimation）进行平均策略性能评估，从而为医疗保健等高风险领域的安全强化学习部署实现可靠的不确定性量化。

原作者： Aishwarya Mandyam, Jason Meng, Ge Gao, Jiankai Sun, Mac Schwager, Barbara E. Engelhardt, Emma Brunskill

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Aishwarya Mandyam, Jason Meng, Ge Gao, Jiankai Sun, Mac Schwager, Barbara E. Engelhardt, Emma Brunskill

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正试图为患者制定新治疗方案的医生。你拥有一本记录着过去患者记录（即行为数据）的海量笔记本，上面显示了当医生使用旧治疗方案时发生了什么。现在，你想知道：“如果我们切换到这个新治疗方案，它效果会如何？”

这被称为离策评估（Off-Policy Evaluation, OPE）。这就像是试图根据一个与未来截然不同的过去，来预测未来。

问题在于，你的笔记本可能遗漏了一些场景。也许旧时期的医生很少针对某种特定的罕见症状进行治疗，因此你没有足够的数据来预测新治疗方案对这类人群的效果。

为了解决这个问题，研究人员开始使用 AI“生成器” 来创建虚假的（合成）患者记录，以填补这些空白。这就像是使用模拟器来运行成千上智能测试用例。但问题在于：虚假数据可能会带有偏差。 如果模拟器出了错，你的预测可能会变得极其危险。在医疗保健等高风险领域，你不能仅仅靠猜测；你需要知道你对答案的确定程度。

这篇名为 PERRY 的论文引入了两种使用这些虚假数据的方法，并为它们提供了一个可靠的“安全网”，即置信区间（Confidence Interval）。请记住，置信区间不是一个单一的数字，而是一个范围（例如，“新疗法很可能使 80% 到 90% 的患者获救”）。如果范围太宽，它就毫无用处；如果范围太窄却错了，则是危险的。PERRY 的目标是给你一个既紧凑又值得信赖的范围。

以下是他们发明的两种方法，通过类比进行解释：

1. CP-Gen：“特定患者”侦探

目标： 有时，你并不关心平均水平的患者，你关心的是特定类型的患者（例如，“这种新药对一名 65 岁且患有高血压的人效果如何？”）。

问题： 对于这类特定类型的患者，可能存在的真实记录非常少。AI 生成器可以制造出数千条类似的虚假记录，但它们可能会有轻微的“偏差”。

解决方案 (CP-Gen)：
想象你有一个真实的患者记录（真实轨迹）和一个由 AI 生成的虚假记录（合成轨迹），两者的起始症状完全相同。

技巧： CP-Gen 不仅仅信任虚假记录的最终得分，它会观察真实记录与虚假记录之间的差异。
类比： 把它想象成一个校准秤。你在其中一侧放上已知重量（真实数据），在另一侧放上“模拟”重量（虚假数据）。你测量它们之间的差距。
神奇之处： 论文使用了一种称为**符合性预测（Conformal Prediction）**的技术。它就像一把智能尺子，能够说：“基于过去虚假数据与真实数据通常存在多大的差异，我们 95% 确定真实答案就在这个特定的差距范围内。”
结果： 它能为那个特定的患者类型提供置信区间，即使状态空间（可能的患者状况数量）是巨大且连续的。

2. DR-PPI：“群体”审计师

目标： 有时，你只想知道新策略在所有人身上的平均表现（例如，“这种新药对整个医院人群的效果如何？”）。

问题： 如果你只是简单地对虚假数据取平均值，你可能会得到一个有偏差的结果，因为 AI 生成器并不完美。

解决方案 (DR-PPI)：
该方法结合了两个强大的概念：双重稳健估计（Doubly Robust Estimation）和预测驱动推理（Prediction-Powered Inference）。

类比： 想象你有一支审计师团队。
1. 审计师 A（模型）： 使用 AI 生成器来预测整个群体的结果。这很快，覆盖了所有人，但可能略有偏差。
2. 审计师 B（修正）： 获取一小部分真实数据，并检查审计师 A 预测的结果与实际发生情况之间的差异。
神奇之处： DR-PPI 采用审计师 A 的大规模预测，并加上审计师 B 的“修正因子”。
- 如果 AI 模型是完美的，修正因子为零，你会得到一个极佳的估计。
- 如果 AI 模型表现糟糕，来自真实数据的修正因子会将其修复。
- 至关重要的是，这种方法是“双重稳健”的，这意味着即使其中一位审计师犯了错，只要另一位是正确的，它依然能正常工作。
结果： 它为整个群体产生了一个置信区间，即使在使用合成数据时，该区间也是有效的。

他们发现了什么？

作者在四个不同的“世界”中测试了这些方法：

库存控制： 管理仓库中的库存。
败血症治疗： 治疗脓毒症的模拟环境。
机器人技术： 让一只虚拟猎豹跑得更快。
真实医疗数据 (MIMIC-IV)： 接受钾离子治疗的患者真实的电子健康记录。

结论：

旧方法尝试使用虚假数据，往往会产生要么太宽（毫无用处）要么无法覆盖真相（危险）的置信区间。
PERRY 的方法成功地利用虚假数据使区间变得更紧凑（更精确），同时仍能覆盖真实答案（安全）。
他们从数学上证明了这些方法是有效的，即使在数据混乱且“虚假”数据并不完美的情况下也是如此。

总结

PERRY 是一个工具包，它让研究人员能够安全地使用 AI 生成的虚假数据 来预测新策略的效果。它提供了一个保证的安全余量（置信区间），以便在涉及高风险决策时，我们可以说：“我们有信心新策略的表现会在这个范围内”，而无需等待数年的现实世界试验和错误。

技术摘要：PERRY —— 利用辅助数据进行带有置信区间的策略评估

问题陈述

离线策略评估（OPE）对于在部署新的强化学习（RL）策略之前估计其价值至关重要，尤其是在医疗保健等直接实验风险极高的关键领域。标准的 OPE 方法在由于数据集覆盖范围有限导致目标策略与行为策略存在显著差异时，往往表现不佳。近期的进展表明，利用辅助数据集（例如由生成模型生成的合成轨迹）可以提高 OPE 的准确性。然而，这些辅助数据集可能会引入偏差，且现有用于 OPE 数据增强的方法缺乏原则性的不确定性量化。在涉及高风险的场景中，可靠的置信区间（CI）对于安全的策略选择至关重要。目前，尚无现有方法能为结合了离线（真实）数据与合成轨迹的 OPE 设置提供正式的置信区间保证。

方法论

本文提出了两种方法，CP-Gen 和 DR-PPI，用于构建马尔可夫决策过程（MDP）中利用真实和合成数据的 OPE 置信区间。

1. CP-Gen：针对状态条件值的共形预测

CP-Gen 旨在解决估计特定初始状态下的策略值 $V^\pi(s)$ 的任务。这在利益相关者必须针对处于相同状态（例如具有相同疾病阶段的患者）的个体选择策略时至关重要。

核心概念： 该方法将策略值分解为一个模拟器估计值（使用合成轨迹）和一个“模型偏差”项（真实回报与合成回报之间的差异）。
机制： 它采用了一种专为具有连续状态空间的 MDP 定制的创新共形预测框架。
- 它为回报差异（即来自相同起始状态的真实轨迹与对应合成轨迹之间的差异）构建了一个预测区间。
- 为了处理行为策略 ( $\pi_b$ ) 与目标策略 ( $\pi_e$ ) 之间的分布偏移以及状态的连续性，作者引入了 $\epsilon$ -近似技术。该技术通过对局部邻域（以状态为中心、半径为 $\epsilon_s$ 的球体，以及以回报差异为中心、半径为 $\epsilon_r$ 的球体）进行条件化处理，而非针对精确的点，来近似重要性权重，从而使权重估计变得可行。
- 最终用于 $V^\pi(s)$ 的置信区间是通过将合成估计值与共形误差带相加而形成的。

2. DR-PPI：针对无条件值的双重稳健估计

DR-PPI 针对更常见的任务，即估计初始状态分布下的平均策略性能 $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$ 。

核心计算： 该方法从**双重稳健（DR）估计和预测驱动推理（PPI）**中汲取灵感。
机制：
- 将行为数据集分为两部分 ( $D_1, D_2$ ) 进行交叉拟合（cross-fitting）。
- 在其中一个拆分集上训练生成模型，以产生目标策略下的合成轨迹（rollouts）。
- 该估计器结合了一个基于模型的项（对合成轨迹的回报求平均）和一个源自真实数据的修正项。该修正项使用真实轨迹上的重要性采样（IS）来调整由生成模型引入的偏差。
- 具体而言，对于每条真实轨迹，会从相同的初始状态生成多条合成轨迹，以估计预期的合成回报，然后将其从重新加权后的真实回报中减去。
- 最终估计值是两个交叉拟合估计器的平均值，并通过计算其方差来构建渐近置信区间。

主要贡献

形式化： 作者形式化了在利用合成生成轨迹进行 OPE 时进行不确定性量化的问题。
创新算法： 他们引入了 CP-Gen 和 DR-PPI 两种方法，分别用于状态条件化和无条件化的策略价值估计。
理论保证：
- CP-Gen： 被证明能够产生有效的共形预测区间，即使在连续状态空间中，也能提供渐近有效的覆盖保证或在有限样本内保持极小的误差范围。该误差范围被明确界定为关于近似半径 ( $\epsilon_s, \epsilon_r$ ) 的函数。
- DR-PPI： 被证明能产生渐近有效的置信区间，即使生成模型存在误设（misspecification），只要重要性采样修正是一致的。
实证验证： 在四个领域（库存控制、脓毒症治疗、机器人控制和 MIMIC-IV EHR 数据）进行的广泛实验表明，这些方法有效地利用了辅助数据来产生覆盖真实值的 CI，且通常比仅依赖真实数据的基准方法具有更窄的区间。

实验结果

作者将他们的算法与多种基准方法进行了对比，包括重要性采样（IS）、直接法（DM）、双重稳健法（DR）及其增强变体（AugIS、AugDR），以及先前工作（Foffano et al., 2023）中的共形基准。

覆盖率： 在所有测试领域中，CP-Gen 和 DR-PPI 始终能产生覆盖真实策略值的置信区间。
区间宽度： 在许多设置中，特别是在具有连续状态空间的领域（库存控制、D4RL HalfCheetah、MIMIC-IV），所提方法产生的区间明显比基准方法更窄。例如，在库存领域，CP-Gen 产生的区间长度为 5531.60，而 Foffano 等人的基准方法为 8550.00，同时仍能覆盖真实值。
鲁棒性： 研究发现，这些方法对于行为策略的适度误设以及合成轨迹的质量（噪声）变化具有鲁棒性。
基准方法的失效： 未进行原则性不确定性修正而盲目进行数据增强的基准方法（如 AugIS、AugDR）往往会产生有偏的区间，导致无法覆盖真实值，或者由于 Q-learning 中的方差问题导致区间呈指数级扩大。

意义与主张

本文声称在同时使用真实和合成轨迹的场景下，为实现不确定性感知型 OPE 迈出了重要一步。作者强调，对于需要严格不确定性估计来实现安全部署 RL 策略的高风险领域，其工作具有基础性意义。

弥补差距： 本研究解决了现有缺乏原则性不确定性修正的数据增强 OPE 方法在数据质量保证方面的关键空白。
可扩展性： 通过引入 $\epsilon$ -近似，CP-Gen 将共形预测扩展到了具有连续和高维状态空间的 MDP，而先前的共形 OPE 方法在这些设置中表现不佳。
实际效用： 实证结果表明，将合成数据与这些特定的不确定性量化技术相结合使用，可以在不牺牲有效性的前提下提高 OPE 估计的精度。

作者对局限性保持了谦逊的态度，指出在更高维度的设置中，超参数 ( $\epsilon_s, \epsilon_r$ ) 的选择变得愈发重要，未来仍需开发更具原则性的选择程序，并探索如扩散模型等替代生成模型。他们也承认，CP-Gen 的理论保证涉及一个依赖于这些参数的微小误差范围。