技术摘要：非平稳离线情境马尔可夫决策过程中的自适应估计与最优控制

1. 问题表述

本文探讨了利用离线数据集在**情境马尔可夫决策过程（Contextual MDPs）**中估计转移机制和优化成本所面临的挑战。情境 MDPs 通过引入外生信息（“情境”）来调节状态转移和成本，从而推广了标准 MDPs。尽管这些模型在医疗、经济和运营等领域的应用至关重要，但该领域现有的离线学习统计理论严重依赖于限制性假设：

• 平稳性/遍历性：大多数方法假设数据生成过程是平稳的或遍历的，而这在现实世界的日志中（例如不断演变的患者健康状况）经常被违反。
• 参数建模：许多方法假设转移密度具有特定的参数形式，从而导致设定误差。
• 平滑性：标准的非参数方法通常要求较强的平滑性假设（例如 Hölder 连续性）和固定的带宽选择，这在状态、控制和情境空间为高维或不可数无限时是不切实际的。

作者旨在开发一个非参数框架，该框架无需平稳性或遍历性假设即可运行，在经验 Hellinger 度量下提供Oracle 风险界，并通过插入方案（plug-in scheme）将这些保证转移到最优控制选择中。

2. 方法论

所提出方法论的核心是应用T-估计，这是一种根植于模型选择理论的稳健统计技术（Baraud & Birgé, 2009; Baraud, 2011）。

2.1 T-估计量构建

令 $s(x, a, g, y)$ 表示真实的转移密度。作者通过在丰富的可数模型类 $\mathcal{S}$ 上最小化惩罚成对比较泛函来构建估计量 $\hat{s}$：
$$\hat{s} \in \arg\min_{f \in \mathcal{S}} \left( \sup_{f' \in \mathcal{S}} \left[ \alpha H^2(f, f') + T(f, f') \right] + \frac{L \Delta_{\mathcal{S}}(f)}{n} \right)$$
其中：

• $H^2$ 是经验 Hellinger 损失。
• $T(f, f')$ 是一个比较泛函，用于根据观测轨迹评估候选模型。它包含一个密度校正项，并比较 $f$ 和 $f'$ 对过程 $(X_i, a_i, G_i, X_{i+1})$ 的拟合程度。
• $\Delta_{\mathcal{S}}(f)$ 是一个与数据无关的复杂度惩罚项（例如，与模型维度或分箱数量相关）。
• $\alpha$ 和 $L$ 是通用常数。

2.2 技术革新

为了在不依赖平稳性的情况下推导保证，分析依赖于两个关键技术工具：

1. 鞅 Bernstein 不等式：用于在不假设混合或平稳性的情况下控制经验偏差。
2. 极化恒等式：用于将平方根密度空间中的风险与 Hellinger 损失联系起来，从而实现高概率比较，并将其转化为期望 Oracle 不等式。

2.3 从估计到控制

一旦估计出转移密度 $\hat{s}$，本文便解决最优控制问题。给定成本函数 $L(x, a, g, y)$，经验成本定义为：
$$\hat{C}_n(a, g) = \int L(x, a, g, y) \hat{s}(x, a, g, y) \lambda_n^{(1)}(dx, dy)$$
通过最小化该估计成本来选择最优控制 $\hat{a}^*(g)$。该框架是策略无关的，意味着任何优化此插入成本的过程都会继承估计量的统计速率。

3. 主要贡献与结果

3.1 具有 Oracle 不等式的非参数估计

本文在经验 Hellinger 度量下为估计量 $\hat{s}$ 建立了Oracle 风险界。在温和假设下（主导密度的有界性和无平稳性），期望风险满足：
$$\mathbb{E}[H^2(s, \hat{s})] \lesssim \inf_{f \in \mathcal{S}} \left\{ H^2(s, f) + \frac{\Delta_{\mathcal{S}}(f) + \text{dim}(f)\log n}{n} \right\}$$
该结果表明，该估计量的表现与模型类 $\mathcal{S}$ 中最佳候选者相当（至多相差一个惩罚项），而无需数据是平稳的。

3.2 极小极大速率适应性

对于标准平滑性类（例如 Hölder 或 Besov 空间），该过程实现了最优非参数速率（至多相差多项式对数因子）：
$$\mathbb{E}[H^2(s, \hat{s})] \lesssim \left( \frac{\log n}{n} \right)^{\frac{\bar{\sigma}}{4+\bar{\sigma}}}$$
这展示了适应性：估计量能够自动调整以适应真实密度的未知平滑性，而无需预先知道带宽或平滑性参数。

3.3 最优控制的有限样本保证

本文为估计代理所选控制与真实最优控制之间的成本差距提供了非渐近界。该界的缩放比例为：
$$O\left( \sqrt{\frac{\max(\Delta_{\mathcal{S}}(f), \log n)}{n}} \right)$$
此外，作者证明了最优成本的极小极大下界为 $\Omega(1/\sqrt{n})$，表明其插入方案是速率最优的。这将转移核估计的难度直接与控制选择最优控制的难度联系起来。

3.4 对分布偏移的鲁棒性

该框架被扩展到具有分布偏移（训练与部署之间的协变量偏移）的场景。作者推导出的界表明，偏移下的估计误差取决于真实分布与偏移分布之间的 Hellinger 距离，以及它们不变测度之间的全变差距离。

4. 意义与主张

本文声称填补了离线情境 MDPs 的现实（不规则、非平稳动态）与现有理论之间的显著空白。其主要意义在于：

• 消除限制性假设：它提供了第一个不依赖平稳性、遍历性或参数建模的离线情境 MDPs 理论框架。
• 鲁棒性：T-估计量本质上对模型不规则性和非平稳性具有鲁棒性，使其适用于动态随时间变化的现实世界日志。
• 统一框架：它统一了密度估计和最优控制，表明稳健的估计量可直接转化为具有严格有限样本保证的最优控制选择。
• 实际适用性：作者指出，虽然 T-估计量在某些类别中具有计算成本（随维度呈指数增长），但它们为医疗和经济等复杂领域的决策提供了一条“实用且假设较少”的途径，在这些领域中数据往往杂乱无章且非平稳。

作者总结认为，该方法作为 MDPs 中推断目的和离线设置中最优策略确定的有效工具，专门解决了困扰当前方法的非平稳性和不规则性局限。