📊 statistics

Learning Sequential Decisions from Multiple Sources via Group-Robust Markov Decision Processes

本文提出了一种具有特征级不确定性集和悲观离线算法的组鲁棒马尔可夫决策过程框架，用于从异构多站点数据中学习鲁棒的序列决策策略，在不依赖强状态-动作矩形性假设的情况下实现了次优性保证。

原作者： Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Mingyuan Xu, Zongqi Xia, Tianxi Cai, Doudou Zhou, Nian Si

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人如何在复杂的城市中穿梭以进行包裹递送。你没有时间让机器人到处乱开然后撞车（那是“在线”学习，既危险又昂贵）。相反，你给了机器人一个庞大的驾驶日志库，包含了来自三个不同城市的数据：纽约、芝加哥和迈阿密。

以下是问题所在：

纽约有很多交通灯和狭窄的街道。
芝加哥有巨大的开放式大道，但也有冰雪严寒的冬季。
迈阿密有强降雨和不同的交通规则。

如果你只是把这些日志全部混在一起，变成一大堆杂乱的数据，机器人可能会学到一种“中庸之道”的策略，这种策略在平均水平的城市里表现尚可，但在最坏的情况发生时（比如陷入芝加哥的暴风雪）会表现得一塌糊涂。这被称为分布偏移（distributional shift）。

如果你分别为每个城市进行教学，机器人可能会成为纽约的专家，却对迈阿密一窍不通；或者它会因为在任何单一城市中的数据量都不够大，从而无法确定规则。

本论文提出了一种聪明的方法，利用所有三个城市的数据来教导机器人，同时为任何城市可能出现的最坏情况做好准备。

核心思想：“最坏情况下的气象员”

作者将这个学习过程看作是两个角色之间的博弈：

机器人（智能体）： 想要找到运送包裹的最佳路线。
对手（气象员）： 想要通过从它见过的资料中挑选出最糟糕的交通状况或道路规则，来让机器人的生活变得尽可能艰难。

通常在这些博弈中，气象员可以针对每一个路口独立地改变规则。这使得数学计算变得无法解决（这就像试图同时预测大气层中每一个原子的天气一样）。

论文的妙招：
作者引入了一个巧妙的捷径，称为**“特征维度的矩形性”（Feature-wise Rectangularity）**。
他们不再让气象员独立地改变每一条规则，而是说：“好吧，气象员，你可以独立地改变‘交通灯’、‘道路宽度’和‘天气’，但你必须以一种整体的方式来应用所有的‘最坏情况’逻辑。”

这就像是一个食材菜单。

旧方法： 厨师（气象员）可以为每一道菜独立地更换汤里的盐、蛋糕里的糖和炖菜里的香料。这很混乱，难以计划。
新方法（本论文）： 厨师可以更换盐、糖和香料，但必须以一种结构化的方式进行，使其符合菜肴的“风味特征”。这保持了数学上的可解性，同时依然保持了高度的谨慎。

算法是如何运作的：“谨慎的厨师”

论文中的算法（算法 1）分为三个步骤，就像一位谨慎的厨师在为挑剔的客人准备餐点一样：

分别从每个城市学习（岭回归）：
首先，机器人分别观察来自纽约、芝加哥和迈阿密的日志。它尝试猜测每个城市的规则。但由于数据可能存在混乱或不完整，它会在猜测中加入一个“安全缓冲”（称为悲观主义/pessimism）。它假设数据可能存在轻微偏差。
“最坏情况”的混合（行向最小化）：
现在，机器人将这些猜测结合起来。它不是取平均值（因为这会掩盖糟糕的部分），而是查看每一条规则，并询问：“在所有三个城市中，这条规则最坏的版本是什么？”
- 如果纽约说“限速 30”，芝加哥说“25”，迈阿密说“35”，机器人就会假设限速为 25。
- 它基于每个特征的最低（最安全）估计来构建策略。这确保了无论哪种隐藏的“最坏情况”现实出现，机器人都不会撞车。
安全惩罚：
如果机器人在日志中没见过某种特定情况（例如，它在迈阿密只见过 5 天的雨天），算法会对这个猜测增加一个巨大的“惩罚”。它告诉机器人：“不要信任这个数字；你的数据不够。请按最坏的情况处理。”这防止了机器人仅凭偶然的小样本就变得过度自信。

“分组”策略：聚类相似城市

论文还提出了第二个技巧。如果你有 50 个城市，但其中 10 个非常相似（例如，都是沿海小镇），该怎么办？
你可以将它们汇聚成一个“超级沿海”组。

为什么？ 这能让你获得更多数据来学习“沿海驾驶”的规则。
代价： 你必须确保这些城市确实是相似的。如果你把一个沙漠城市和一个沿海城市汇聚在一起，你的“超级组”规则将会毫无意义。论文提供了一些数学证明，只要组内的城市足够相似，汇聚操作就能让机器人学习得更快、更准确。

结果：为什么这很重要

作者在计算机模拟中测试了这些方法：

朴素汇聚（Naive Pooling）： 直接混合所有数据。结果： 机器人在最坏的情况下失败了，因为它忽略了特定城市的独特危险。
单独学习（Separate Learning）： 仅针对每个城市单独学习。结果： 机器人表现不稳定且容易出错，因为它在任何单一城市中都没有足够的数据。
本论文的方法： 结果： 机器人学会了一个既安全又高效的策略，即使在最坏的情况下也能表现出色。它找到了“过于谨慎”与“过于鲁莽”之间的平衡点。

总结

这篇论文为我们提供了一个从多个不同来源（如医院、城市或工厂）学习的数学配方，而无需要求这些来源完全相同。它构建了一个**鲁棒（robust）**的决策系统：它为所见数据的最坏版本做好了准备，确保最终的计划即使在情况恶化或数据缺失时也能安全运行。

这就像是在训练一名飞行员，不仅要让他学习“平均天气”，还要通过模拟在任何训练日志中发现的最坏的风力、降雨和湍流组合，确保无论发生什么情况，他都能安全着陆。

技术摘要：通过组鲁棒马尔可夫决策过程学习来自多个来源的序列决策

问题表述

本文解决了从具有异质性的多站点（例如医院）收集的离线数据集中学习鲁棒序列决策策略的挑战。在标准的离线强化学习（RL）中，策略是从无需进一步环境交互的预先收集的数据中学习的。然而，现实世界中的多站点数据通常面临两个关键问题：

分布偏移（Distributional Shift）： 离线轨迹是由行为策略生成的，这些策略可能无法覆盖最优策略的状态-动作分布。
站点间异质性（Site-wise Heterogeneity）： 数据采集协议、人口构成和环境条件的差异意味着轨迹并非生成自单一、固定的马尔可夫决策过程（MDP）。相反，每个站点 $k$ 都有其自身的转移核 $P_k$ 和奖励函数 $r_k$ 。

作者将这一设定建模为 组线性分布鲁棒马尔可夫决策过程（Group-Linear DRMDP）。其基本假设是所有站点共享一个已知的共同特征映射 $\phi: \mathcal{S} \times \mathcal{A} \to \mathbb{R}^d$ ，但转移核和奖励函数在这些特征上是关于站点特定参数 $(\theta^k_h, \mu^k_h)$ 的线性函数。目标是学习一个在由站点特定分布构成的凸包所定义的合理不确定性集内，在最坏情况环境偏移下表现良好的策略。

方法论

1. 特征级（d-矩形）不确定性集

为了处理来自多个站点的不确定性，同时保持计算的可行性，作者提出了一个 特征级（d-矩形）不确定性集。

结构： 与会导致跨特征耦合（从而导致非矩形集且使规划变得 NP-hard）的标准跨站点凸包不同，这种方法允许对手独立地为每个特征维度 $i \in [d]$ 选择混合权重。
定义： 对于每个步骤 $h$ 和特征 $i$ ，对手选择一个混合向量 $\alpha_{h,i} \in \Delta^{K-1}$ ，以形成站点特定参数的最坏情况混合。不确定性集 $\mathcal{U}_h$ 的定义使得任何 $(s, a)$ 的奖励和转移都是由这些特征特定混合加权的站点参数的线性组合。
优势： 这种松弛保留了关键的跨站点异质性，同时恢复了 鲁棒贝尔曼递归（robust Bellman recursions），使问题变得可解。

2. 悲观值迭代算法

作者开发了一种基于 悲观值迭代（pessimistic value iteration） 的离线算法（算法 1），该算法包含三个核心组件：

逐站点岭回归（Per-Site Ridge Regression）： 对于每个站点 $k$ ，算法使用针对局部数据集 $D_k$ 的岭回归来估计贝尔曼目标系数 $\hat{\nu}^k_h$ 。这产生了线性参数的站点特定估计。
特征级最坏情况聚合： 该算法不是进行平均，而是执行所有站点估计系数的 行向最小值（row-wise minimum）。具体而言，对于每个特征维度 $i$ ，鲁棒系数被设置为 $\min_{k \in [K]} (\hat{\nu}^k_h)_i$ 。这捕捉了各站点间针对每个特征的最坏情况场景。
数据依赖型悲观惩罚项： 为了考虑估计不确定性和分布偏移，算法从 Q 值中减去一个惩罚项。该惩罚项使用岭回归中逆设计矩阵（协方差矩阵）的对角线进行计算。惩罚项随特征向量 $\phi(s, a)$ 以及在每个特征维度上观察到的最大站点间不确定性进行缩放。

3. 聚类级扩展

为了在站点表现出相似性时提高样本效率，作者提出了一个聚类级扩展。根据对相似性的先验知识将站点划分为不同的簇。在每个簇内，数据集被汇聚成一个“超级站点”，并对簇级代表应用鲁棒贝尔曼算子。这种方法在利用更大的汇聚样本量的同时，限制了由簇内异质性引入的误差。

理论结果

本文在 鲁棒部分覆盖假设（robust partial coverage assumption） 下为所提算法提供了有限样本次优性界限。

次优性分解： 次优性被分解为伪相关、内在不确定性和优化误差。
收敛速率： 在站点特定经验协方差矩阵支配鲁棒最优策略访问分布的二阶矩的假设下，学习到的策略 $\hat{\pi}$ 的次优性被界定为：
$\text{SubOpt}(\hat{\pi}; s) \leq O\left( d^2 H^2 \sqrt{\frac{\log(d K H N_{\max}/\xi)}{N_{\min}}} \right)$
其中 $N_{\min}$ 是各站点间的最小样本量， $d$ 是特征维度， $H$ 是步长， $K$ 是站点数量。
聚类级界限： 对于聚类级算法，界限包含一个与簇内参数差异（ $\Delta_h$ ）成正比的额外偏差项，证明了只要控制好簇内的异质性，汇聚操作就是有益的。

实验结果

作者通过在具有 $K=3$ 到 $4$ 个站点的回合制线性 MDP 上的模拟验证了其方法。

对比： 所提出的“Sitewise”算法与以下基准进行了比较：
- 朴素汇聚（Naive Pooling）： 聚合所有数据并应用标准的悲观值迭代（PEVI）。
- 逐站点 PEVI（平均 Q 值）： 对独立站点特定 PEVI 运行得到的 Q 函数进行平均。
- 逐站点 PEVI（最小 Q 值）： 取站点特定 Q 函数的点值最小值。
性能： 所提算法在鲁棒次优性方面始终显著低于所有基准。
- 朴素汇聚 无法对站点特定的分布偏移保持鲁棒，因为它优化的是平均性能而非最坏情况性能。
- 逐站点方法 由于局部样本量有限以及缺乏信息共享，面临着高方差的问题。
收敛性： 经验缩放法则证实了理论上的 $O(N_{\min}^{-1/2})$ 收敛速率。
悲观性的必要性： 实验表明，移除悲观惩罚项（设置缩放常数 $c=0$ ）会导致无法高效收敛，因为贪婪估计器会过拟合到有限样本噪声中，特别是在数据覆盖不平衡的场景下。

意义与主张

本文声称提供了一种在多站点离线 RL 设置中进行 鲁棒规划的原则性方法，且不依赖于强状态-动作矩形性假设。

可解性 vs. 鲁棒性： 通过引入 $d$ -矩形不确定性集，作者弥合了通用的跨站点凸包的不可解性与标准 $(s, a)$ -矩形鲁棒 MDP 过度保守性之间的差距。
隐私与效率： 算法仅通信聚合的站点级摘要统计量（岭回归系数和协方差对角线），而非原始轨迹，这降低了数据通信成本并增强了隐私保护。
处理异质性： 该框架显式地建模并利用了站点间的异质性，以确保学习到的策略对最坏情况下的站点配置具有鲁棒性，解决了标准离线 RL 在应用于多源数据时的根本局限。

作者承认其方法依赖于站点内的线性结构，并且 $d$ -矩形近似可能会导致保守的估计。他们建议未来的工作可以探索更紧密的近似以及集成表示学习，以处理非线性特征映射。