📊 statistics

Generalized Linear Markov Decision Process

本文介绍了 GRASP-MDP，这是一个用于纵向研究的离线强化学习新颖框架，该框架通过将奖励建模与转移建模分离，解决了二元/有界奖励以及部分奖励观测带来的挑战，从而在无需填补的情况下利用所有可用的转移数据，进而提供有限样本保证并提升经验性能。

原作者： Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

发布于 2026-08-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sinian Zhang, Kaicheng Zhang, Ziping Xu, Zongqi Xia, Jue Hou, Tianxi Cai, Doudou Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人如何通过迷宫。在理想世界中，机器人在每走一步后都会得到一份完美的评分表：“你向左转了，你发现了一枚金币，+10分！”但在现实世界中——比如在医院或社交媒体应用中——情况要复杂得多。机器人可能会看到接下来的确切情况（它向左转并撞到了墙），但那次特定移动的评分表可能是缺失的、延迟的，或者只在少数幸运的转弯中才可用。这就是“离线强化学习”（offline reinforcement learning）所面临的挑战，即我们尝试利用旧的、记录好的数据来教导人工智能，而不是让它通过实时试错来进行学习。

为了让这种学习成为可能，科学家们经常使用一种被称为“线性马尔可夫决策过程”（Linear Markov Decision Process）的数学捷径。你可以将其理解为假设迷宫是由简单的直线构成的：如果你知道起点和方向，你就能轻松预测下一个位置以及你会得到的积分。如果“奖励”（points）是简单的数字，这效果很好。但如果奖励是某种棘手的变量，比如只能在0到10之间波动的患者健康评分，或者是二元的“是/否”结果呢？这些奖励并不遵循简单的直线；它们会弯曲和扭曲。此外，如果我们丢弃所有缺少评分卡的数据，我们就会失去关于迷宫实际布局的宝贵信息。本文解决了在规则呈曲线变化且评分卡不完整的情况下如何教导机器人的问题。

由 Sinian Zhang 及其同事领导的研究团队引入了一种名为 GRASP-MDP 的新方法。你可以将它看作是一种解决迷宫问题的巧妙的两部分侦探策略。GRASP-MDP 不尝试去猜测缺失的评分卡（因为这可能导致错误的猜测），而是将谜团拆分为两个截然不同的线索：世界是如何移动的以及奖励是什么。

首先，该方法研究“移动”部分。即使我们不知道特定转弯的得分，我们仍然可以看到机器人从一个位置移动到另一个位置。GRASP-MDP 利用所有这些移动记录——无论是否附带分数——来构建一张完美的迷宫地图。它将移动规则视为简单且线性的，这使得数学计算变得简单且可靠。

其次，它处理“奖励”部分。由于像健康评分或二元结果这类奖励是弯曲且复杂的，该方法使用一种称为“广义线性模型”（Generalized Linear Model）的特殊工具来拟合这条曲线。至关重要的是，它仅使用那些确实记录了分数的数据来确定这条曲线。它不会试图为缺失的数据发明一个分数；它只是承认：“我们不知道这里的分数，但我们确切知道迷宫是如何运作的。”

通过将这两个线索分开，GRASP-MDP 避免了猜错分数的陷阱。它说：“我们知道路径是通畅的，因为我们看到了移动过程，即便我们错过了分数。”论文从数学上证明，这种方法比那些要么忽略缺失数据、要么试图用假设来填补空白的旧方法效果更好。

为了测试他们的想法，团队通过包含简单和复杂奖励的计算机模拟进行了实验。他们发现，GRASP-MDP 始终能比以往的方法学到更好的策略，尤其是在奖励数据不完整的情况下。他们还将该方法应用于一个涉及 4,295 名多发性硬化症（MS）患者的真实医疗数据集。在这种情景下，“迷宫”是患者的治疗历程，而“奖励”是他们的残疾评分（EDSS），该评分仅在某些就诊时进行检查。该方法成功地利用了大量的治疗历史（移动数据），即使在残疾评分缺失的情况下，也能推荐更好的治疗方案。结果表明，通过保留“缺失分数”的数据用于学习移动规则，人工智能可以做出比丢弃这些数据更明智的决策。

简而言之，GRASP-MDP 是一种从杂乱的现实世界数据中学习的更聪明的方式。它尊重这样一个事实：我们通常知道发生了什么（转移过程），即使我们不知道结果有多好（奖励），并且它利用这些知识来构建更好、更可靠的决策系统，而不会编造虚假数字。

技术摘要：广义线性马尔可夫决策过程 (GRASP-MDP)

1. 问题陈述

针对纵向研究（特别是医疗保健和数字干预领域）的离线强化学习（RL）面临着两个相互关联的挑战：

非线性奖励结构： 结果通常是二元的（例如，复发）或有界的连续值（例如，0–10 分制的残疾评分），这些结果更自然地由广义线性模型（GLM）而非标准线性马尔可夫决策过程（Linear MDPs）中的线性奖励假设来建模。
半监督数据稀缺性： 虽然状态-动作-下一状态的轨迹通常被完整记录，但相应的奖励观测可能仅存在于部分轨迹或特定的时间点。现有方法要么丢弃仅包含转移的数据（从而损失了关于延续价值的信息），要么依赖于奖励插补（这会引入未经证实的假设）。

标准的线性 MDP 方法在此类场景下会失效，因为非线性奖励会破坏线性贝尔曼递归，且现有的半监督方法并未显式地将转移动力学估计与奖励建模进行分离。

2. 方法论：GRASP-MDP

作者提出了 GRASP-MDP（Generalized Reward And Semi-supervised Pessimism for Markov Decision Processes，用于马尔可夫决策过程的广义奖励与半监督悲观主义框架），该框架在保持可解贝尔曼结构的同时，实现了奖励与转移估计的解耦。

2.1 模型假设

GRASP-MDP 假设了一种混合结构：

转移动力学： 转移核在特征映射 $\phi_p$ 中保持线性：
$P_h(x_{h+1} | x_h, a_h) = \langle \phi_p(x_h, a_h), \mu_h(x_{h+1}) \rangle$
奖励动力学： 条件平均奖励遵循一个具有已知连接函数 $g$ 的广义线性模型 (GLM)：
$E[r_h(x_h, a_h) | x_h, a_h] = g(\langle \phi_r(x_h, a_h), \theta^*_h \rangle)$
这里 $\phi_r$ 和 $\phi_p$ 是不同的特征映射，允许与奖励相关的信息与与转移相关的信息发挥不同的统计作用。

2.2 非线性加线性贝尔曼完备性

其核心理论洞察是，尽管非线性奖励破坏了标准的线性贝尔曼类，但该模型诱导了一个非线性加线性函数类 $\mathcal{F}$ ：
$f_{\theta, \beta}(x, a) = g(\langle \phi_r(x, a), \theta \rangle) + \langle \phi_p(x, a), \beta \rangle$
作者证明（命题 1），任何有界价值函数的贝尔曼回退（Bellman backup）都属于该类 $\mathcal{F}$ 。具体而言，回退过程分解为一个非线性奖励项和一个线性延续项。这种结构使得在不需要奖励为线性的情况下，也能实现显式的贝尔曼完备性。

2.3 算法：分量化悲观价值迭代

学习过程利用了分解的悲观价值迭代（算法 1）：

奖励估计： 使用仅包含观测到奖励的数据子集（ $I^r_h$ ），通过 GLM（如二项回归或 Beta 回归）来估计奖励参数 $\theta_h$ 。
转移估计： 使用所有可用的状态-动作-下一状态转移（ $n + N$ 条轨迹）来估计延续参数 $\beta_h$ ，无论是否观测到奖励。这是通过岭回归实现的。
悲观主义： 算法通过减去奖励和转移组件的独立不确定性半径，构建一个悲观的 Q 函数：
$\hat{Q}_h(x, a) = \min \left\{ (\hat{B}_h \hat{V}_{h+1})(x, a) - \hat{\Gamma}_{r,h}(x, a) - \hat{\Gamma}_{p,h}(x, a), H-h+1 \right\}_+$
- $\hat{\Gamma}_{r,h}$ 源自 GLM 的曲率以及观测到奖励的集合规模。
- $\hat{\Gamma}_{p,h}$ 源自转移特征协方差以及总轨迹数。

这种方法确保了仅含转移的观测能够降低转移估计误差，而无需进行奖励插补。

3. 核心贡献

理论框架： 建立了由奖励-转移分离诱导的“非线性加线性”函数类的贝尔曼完备性。
算法开发： 开发了一种分量化悲观价值迭代算法，能够分别控制奖励和转移的不确定性。
有限样本保证： 理论界限表明，所学策略的次优性受两个不同项的控制：
- 一个随 $O(\sqrt{d_r/n})$ 缩放的奖励项，其中 $n$ 是观测到奖励的轨迹数。
- 一个随 $O(\sqrt{d_p/(n+N)})$ 缩放的转移项，其中 $n+N$ 是总轨迹数。
  这证明了即使在奖励缺失的情况下，仅含转移的数据（ $N$ ）也能通过减少转移不确定性来改进策略学习。
扩展性： 该框架被证明可扩展至步级奖励观测（即奖励在轨迹内随机缺失）以及具有有限均值范围的亚高斯奖励。

4. 实验结果

4.1 模拟实验

设置： 实验涵盖了具有二元和有界连续奖励（Beta 分布）的完整及部分奖励观测情况。
发现： 当奖励是非线性时，GRASP-MDP 的表现始终优于线性 MDP 基准方法（PEVI、Local/Global Q-learning）。在部分奖励观测下，保留仅含转移的轨迹比丢弃它们或仅使用带标签数据的策略显著提高了策略性能。

4.2 实际应用：多发性硬化症 (MS)

背景： 使用电子健康档案 (EHR) 学习疾病修正治疗 (DMT) 策略。
数据： 来自 Mass General Brigham EHR 和 CLIMB 登记库的 4,295 名患者队列。奖励基于扩展残疾状态量表 (EDSS)，该量表是有界的（0–10）且呈间歇性观测（约 40% 的患者-周期中存在缺失）。
结果： 与仅使用带标签数据或标准线性基准相比，利用奖励缺失数据（保留仅含转移的轨迹）的 GRASP-MDP 策略在平均 EDSS 和 EDSS $\le$ 4 的月份数方面取得了更有利的数值估计。这证明了在临床环境中，利用仅含转移的信息具有实际益处。

5. 重要性与主张

本文声称 GRASP-MDP 为具有结构化、间歇性观测结果的离线 RL 提供了一个原则性的解决方案。其重要性在于：

保持可计算性： 它在容纳现实世界数据中常见的非线性奖励结构的同时，保持了线性 MDP 的计算和统计可处理性。
高效的数据利用： 它从形式上证明了使用仅含转移的观测来进行策略学习的可行性，而无需对奖励进行插补，从而避免了插补假设带来的偏差。
不确定性分离： 通过分别控制奖励误差和转移误差，该方法提供了清晰界定额外转移数据与额外奖励数据价值的有限样本保证。

作者指出，该方法依赖于标准的假设，如奖励的随机缺失（Missing-at-Random）以及状态-动作区域的充分覆盖（Positivity）。他们也承认，非忽略性缺失（Non-ignorable missingness）以及奖励标记数据与仅含转移数据之间的分布偏移仍是开放性的挑战。此外，该框架也被指出支持在线扩展（GLSVI-UCB）及其亚线性遗憾保证。