技术摘要：具有动作触发观测机制的强化学习

1. 问题定义

本文研究了一类特定的部分可观测马尔可夫决策过程（POMDP），其中状态观测的可获得性不是外生的或固定的，而是由动作触发的。在标准的强化学习（RL）中，智能体在每次执行动作后都会观测到新状态。但在许多实际场景中（例如临床诊断、金融交易），获取状态观测可能成本高昂、不可靠，或者需要通过特定动作来触发。

作者将这一设定形式化为动作触发的间歇性可追踪马尔可夫决策过程（ATST-MDPs）。

• 机制： 当处于状态 $s$ 的智能体执行动作 $a$ 时，它会收到一个奖励，并且环境转移到 $s'$。至关重要的是，$s'$ 并不总是被观测到。以概率 $\beta(a)$，会发生一次“观测事件”（数据爆发），揭示 $s'$ 以及自上次爆发以来的累积奖励。以概率 $1-\beta(a)$，则不提供状态反馈。
• 挑战： 智能体必须同时优化控制策略并决定何时触发观测（通过选择具有更高 $\beta(a)$ 的动作）以减少不确定性，从而在信息获取的成本与控制性能之间进行权衡。
• 区别： 与观测虽然有噪声但频率固定的标准 POMDP，或反馈仅是延迟的具有外生延迟的 RL 不同，ATST-MDPs 的特征在于内生延迟，即智能体的动作选择直接决定了状态揭示的频率。

2. 方法论

2.1 增强状态空间与贝尔曼方程

为了处理部分可观测性，作者定义了一个增强状态空间 $\mathcal{X} = \mathcal{S} \times \mathcal{A}^{<\infty}$。一个增强状态 $x = (s_1, a_1, \dots, a_n)$ 由最后一次观测到的状态 $s_1$ 以及自该观测以来执行的动作序列组成。

• 充分性： 增强状态作为历史记录的充分统计量，使得该问题可以被视为在 $\mathcal{X}$ 上的全观测 MDP。
• 动力学： 增强状态上的转移是一个混合过程：以概率 $\beta(a)$，状态重置为新的观测状态 $s'$；以概率 $1-\beta(a)$，动作序列被追加（$x \leftarrow x \cdot a$）。
• 贝尔曼方程： 作者推导了该增强空间上价值函数 $V^\pi$ 和 $Q^\pi$ 的贝尔曼最优方程，证明了最优增强策略 $\pi^*$ 的存在性。

2.2 动作序列重构

由于增强状态空间会发生无限分支，作者提出了一种基于数据爆发更新结构（renewal structure）的重构方法。智能体不再是逐个动作进行决策，而是在每次数据爆发时承诺一个动作序列 $a \in \mathcal{A}^\mathbb{N}$，并在下一次观测发生前持续执行该序列。

• 这将问题转化为在 $(\mathcal{S}, \mathcal{A}^\mathbb{N})$ 上的决策过程。
• 价值函数 $K^\pi(s, a)$ 表示从状态 $s$ 开始执行序列 $a$ 直至下一次数据爆发期间所累积的期望折扣奖励，加上揭示状态后的延续价值。

2.3 在线性 MDP 假设下的线性表示

为了使无限维度的动作序列空间变得可处理，论文假设了一个线性 MDP 结构（假设 4.1），其中转移核和奖励对特征映射 $\phi(s, a)$ 是线性的。

• 核心洞察： 在此假设下，动作序列价值函数 $K^\pi$ 在有限维特征映射 $\psi: \mathcal{S} \times \mathcal{A}^\mathbb{N} \to \mathbb{R}^{2d}$ 下具有线性表示。
• 构建： 特征映射 $\psi$ 是利用动作矩阵 $M_a$（源自转移动力学）和观测概率 $\beta_a$ 构建的。具体而言，$\psi$ 编码了特征在动作序列上的演化以及在每一步发生数据爆发的概率。
• 结果： $K^\pi(s, a) = \langle \psi(s, a), v^\pi_{1,2} \rangle$，其中 $v^\pi_{1,2}$ 是与策略相关的向量。这使得尽管存在无限动作空间，仍能使用标准的基于回归的方法。

2.4 估计与学习算法

论文提出了 ATST-LSVI-UCB（具有置信上限的动作触发间歇性最小二乘值迭代算法）。

• 特征估计： 由于真实的特征映射 $\psi$ 是未知的，算法通过岭回归和经验均值，从探索性数据中估计底层的动作矩阵 $M_a$ 和观测概率 $\beta_a$。定理 4.6 和推论 4.9 提供了构建 $\epsilon$-容许近似 $\psi$ 的非渐近样本复杂度界限。
• 算法： 算法以几何时界进行运行。它在估计的特征映射上执行反向值迭代，以计算乐观的价值估计（使用 UCB 加成），并执行贪婪动作序列。
• 优化： 虽然动作空间是无限的，但优化 $\max_a K(s, a)$ 是在特征映射的紧致图像上进行的。在实践中，可以通过限制为有限深度或最终周期的序列来进行近似。

3. 主要贡献

1. ATST-MDPs 的形式化： 提出了一种全新的框架，在该框架中，观测的可获得性是动作的函数，弥合了标准 MDP 与通用 POMDP 之间的鸿沟。
2. 理论基础： 推导了增强状态空间上的贝尔曼方程，并证明了最优策略的存在性。
3. 线性表示： 证明了在满足线性 MDP 假设的情况下，动作序列上的价值函数在有限维特征映射下是线性的，从而实现了高效学习。
   求解。
4. 算法与遗憾界限： 提出了 ATST-LSVI-UCB，一种乐观值迭代算法。作者证明了其在回合制学习中的遗憾界限为 $\tilde{O}(\sqrt{d^3 K (1-\gamma)^{-3}})$，这与已知最优的完全可观测线性 MDP 的速率相匹配。
5. 样本复杂度： 确立了从数据中估计动作序列特征映射的样本复杂度保证，表明其与维度 $d$ 成多项式关系，且与状态空间大小 $|\mathcal{S}|$ 无关。

4. 结果

• 理论层面： 尽管增加了部分可观测性和动作触发延迟的复杂性，其遗憾界限仍与全观测状态下的最先进线性 MDP 相匹配。该界限随特征维度 $d$、回合数 $K$ 以及折扣因子 $(1-\gamma)$ 的倒数进行缩放。
• 实验层面： 在两个表格型环境 RiverSwim（侧重探索）和 RiverBalance（侧重稳定）上的实验展示了该算法的可行性。
  • 在 RiverSwim 中，稀疏的观测（低 $\beta$）出人意料地加速了收敛，因为它鼓励了更长的开环承诺（探索）。
  • 在 RiverBalance 中，频繁的观测（高 $\beta$）带来了更高的奖励，因为该任务需要依赖状态的修正来维持稳定性。
  • 结果强调，最优观测频率是任务相关的。

5. 意义与主张

本文声称为具有动作触发状态观测的强化学习提供了理论基础。其重要性在于：

• 弥合差距： 它解决了一类具有实际意义的特定 POMDP 类（主动感知、代价高昂的传感），而通用的 POMDP 方法由于计算上的不可行性难以处理此类问题。
• 可处理性： 通过利用数据爆发诱导的更新结构和线性 MDP 假设，它将一个难以处理的部分可观测问题转化为一个可处理的线性回归问题。
• 最优性： 它实现了与全观测设置相当的遗憾率，这表明如果理解并利用好观测机制，可以减轻“间歇性可观测性”带来的“成本”。
• 无奖励估计： 其特征映射估计是无奖励的，这意味着环境的结构化学习（动力学和观测概率）可以与特定的奖励函数解耦，从而实现灵活的策略调整。

作者指出，未来的工作应侧重于为无限动作序列优化设计高效的近似方案，并开发能够无需预先收集探索性数据即可自适应精炼特征估计的全在线算法。