📊 statistics

Decision-Centered Abstractions via Orthogonal Estimation of Difference-of-Q Functions

本文介绍了一种用于离线强化学习的以决策为中心的特征抽象方法，该方法利用因果机器学习和正交估计来高效学习差分 Q 函数，从而在确保策略优化一致性的同时，将关键决策信息从无关的状态动力学中分离出来。

原作者： Defu Cao, Angela Zhou

发布于 2026-09-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Defu Cao, Angela Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在浩瀚的数据世界中，机器正在不断学习如何做出决策，从推荐一部电影到管理医院的患者流量。这个被称为强化学习（reinforcement learning）的领域，通过向计算机展示过去行动的结果来对其进行教学。然而，当数据过于丰富时，一个重大的挑战也随之而来。现代传感器捕捉一切：高分辨率图像、文本和复杂的环境细节。虽然这些信息对于预测未来会发生什么很有价值，但它们往往包含大量对于做出最佳选择而言并不重要的细节。试图学习完美动作的计算机可能会浪费时间去研究无关的模式，比如天空的颜色，而实际上决策仅取决于产品的价格。这种低效减慢了学习速度，并可能在数据稀缺时导致错误的决策。

来自南加州大学的研究人员 Defu Cao 和 Angela Zhou 开发了一种新的方法来拨开这些噪音。他们专注于一种特定的学习类型，即“离线强化学习”（offline reinforcement learning），在这种学习中，计算机必须从过去事件的固定历史中学习，而无法在现实世界中尝试新的事物。他们的工作引入了一个他们称之为“以决策为中心的抽象”（decision-centered abstractions）的概念。该方法不再试图通过理解情境中的每一个细节来预测未来，而是教导机器忽略所有不会改变两个可能行动之间差异的信息。他们发现，用于选择最佳行动所需的信息，往往比预测整个未来所需的信息要简单得多。通过剥离不必要的复杂性，他们让计算机能够更快速、更准确地学习，即使在数据混乱或不完整的情况下也是如此。

他们发现的核心在于如何衡量成功。传统方法通常试图估计给定情境下每一个可能行动的总价值。这就像是为了决定哪种度假套餐更便宜，而去计算每种套餐的精确总成本，包括每一张机票、酒店和餐费。Cao 和 Zhou 意识到，为了做出选择，计算机不需要知道每个套餐的总成本；它只需要知道两者之间的价格差。如果一个度假套餐比另一个贵十美元，计算机只需要学习这十美元的差距。他们将此称为“Q 函数之差”（difference-of-Q function）。通过仅仅关注这个差距，机器可以忽略大量对于两个选项而言完全相同的数据，例如共同承担的航班费用或共同的酒店费用。这种方法类似于医生在决定两种特定疗法时，可能会忽略病人的整体健康史，如果这两种疗法的副作用相同，医生只会关注那些能让一种疗法优于另一种疗法的部分。

为了寻找这些更简单的模式，研究人员创建了一个像过滤器一样的全新数学工具。他们使用一种名为“正交估计”（orthogonal estimation）的技术，帮助计算机从噪声中分离出信号。想象一下，你试图在嘈중에拥挤的房间里听清一段特定的对话；这种方法允许计算机屏蔽掉无关状态变化的背景杂音，转而专注于那些真正改变选择平衡的部分。他们在模拟实验中测试了这个想法，这些模拟中的数据是根据已知规则生成的，其中包括了包含数百个不同状态变量的情景。在这些测试中，他们的方法成功识别出，要做出正确的决策，实际上只需要极小部分的可用信息。例如，在一次拥有 120 个不同状态变量的实验中，他们的算法正确地确定了其中只有三个变量对决策真正重要，而标准方法则难以过滤掉其余的部分。

研究人员还展示了即使在计算机必须对系统其他部分进行猜测（例如一个人在过去采取某种行动的可能性）时，该方法依然有效。他们的方案具有鲁棒性（robust），这意味着即使最初的猜测并不完美，它依然能保持准确。他们证明，通过这种聚焦的方法，计算机学习最优策略的速度比传统方法快得多，因为传统方法往往会陷入建模整个复杂世界的泥潭。在涉及网约车服务的现实启发式模拟中，他们的方法与现有技术相比，显著降低了决策误差。结果表明，在许多复杂系统中，从管理医院出院到设定产品价格，获得更好决策的路径不在于了解更多，而在于知道该忽略什么。

这项工作不仅提供了理论上的改进，还为构建更智能的决策系统提供了实用的路线图。通过证明做出良好决策所需的信息通常是总可用数据的极小且稀疏的子集，研究人员表明机器可以变得更加高效。他们证明了，当数据结构呈现出某些变量并不影响行动选择时，他们的方法可以自动发现并舍弃这些变量。这使得生成的策略不仅更准确，而且更可靠，因为它们不太容易被无关细节所迷惑。这项研究证实，在数据大爆炸的时代，提升人工智能的关键或许不在于喂给它更多的信息，而在于教会它如何找到那片真正重要的、狭窄的信息切片。

技术摘要：通过 Q 函数差值的正交估计实现以决策为中心的抽象

1. 问题陈述

离线强化学习（Offline RL）旨在利用历史数据在无法进行在线实验（由于安全或成本限制）的情况下，评估并优化序列决策策略。虽然现代数据源提供了丰富的、高维的状态信息（例如文本、图像），但标准的离线强化学习算法往往难以应对，因为它们试图学习包含奖励和动作无关信息的完整状态动力学及价值函数（ $Q$ 和 $V$ ）。这种“维度之咒”减慢了统计学习速度，并将稀缺的数据浪费在预测那些并不影响最优动作选择的未来状态上。

本文解决的核心问题是识别并学习以决策为中心的抽象（Decision-Centered Abstractions）：即将状态空间映射到更简单的空间，该空间仅保留确定最优动作所必需的信息。具体而言，作者认为，保留不同动作之间 $Q$ 函数的差值（ $\tau = Q(\cdot, a) - Q(\cdot, a')$ ）对于决策是足够的，而保留绝对 $Q$ 值则通常需要对无关的动力学进行建模。

2. 方法论

2.1 以决策为中心的抽象

本文引入了以决策为中心的抽象的正式定义。与保留完整 $Q$ 函数或模拟转移过程的传统状态抽象不同，以决策为中心的抽象 $\phi_t$ 确保了如果两个状态映射到同一个抽象状态，则它们对于任何一对动作的 $Q$ 函数差值保持不变。

坐标支撑集（Coordinate Support）： 作者刻画了保留此差值所需的最小状态坐标集（ $K_{\Delta, t}$ ）。他们通过引入加性奖励结构（Additive Reward Structures），改进了现有的图形准则（如 IFactor）。他们证明了在加性奖励下，那些会影响奖励但在求差过程中会被抵消的坐标（例如不可控的外生变量）可以被舍弃，即使这些坐标对于预测绝对状态值是必要的。
局限性： 文中指出，虽然这些抽象保留了遗憾值（Regret）（即选择次优动作的代价），但它们并不一定支持在抽象空间上进行标准的动态规划（贝尔曼规划）以直接恢复最优策略。相反，它们被用于学习用于策略优化的对比函数 $\tau$ 。

2.2 Q 函数差值的正交估计

为了高效估计差值之 $Q$ 函数（ $\tau$ ），作者提出了一种基于 R-learner 框架（Nie et al., 2021; Lewis and Syrgkanis, 2021）的动态正交估计器。

伪结果（Pseudo-outcomes）： 该方法通过递归展开贝尔曼方程来构建伪结果。作者定义了一系列由展开深度 $L \in \{0, \dots, T-t\}$ $L \in {0, \dots, T - t}$ 参数化的估计器：
- $L=0$ （单步）： 使用即时奖励加上估计的后续价值 $V_{t+1}$ 。该变体依赖于对未来 $Q$ 函数的估计，但其伪结果具有较低的方差。
- $L=T-t$ （全展开）： 递归地用奖励和未来的对比值替换未来的 $Q$ 函数，从而消除了对终端价值估计的需求，但可能会增加方差。
正交性： 该损失函数在构造上对于扰动参数（行为策略 $\pi_b$ 和伪结果的条件均值）是 Neyman 正交的。这使得估计器即使在扰动估计器（如行为策略或 $Q$ 函数近似器）收敛速度较慢（具体为 $L_4$ 范数下的 $o_p(n^{-1/4})$ ）的情况下，也能实现 $\sqrt{n}$ 一致性。
交叉拟合（Cross-fitting）： 该方法采用 $K$ 折交叉拟合，以防止在估计扰动函数和目标对比函数 $\tau$ 时出现过拟合。

2.3 用于抽象恢复的稀疏学习

为了自动发现以决策为中心的抽象，该方法将稀疏统计学习（特别是阈值化 LASSO）与正交估计器相结合。

算法通过最小化正则化损失（ $L_1$ 惩罚项）来识别 $\tau$ 的线性模型中系数向量 $\beta$ 的支撑集。
理论保证（命题 6）表明，在满足受限特征值条件和“ $\beta$ -min”条件下，该方法能以高概率恢复出真实决策相关坐标的超集，且所选集合的基数被限制为真实支撑集大小的两倍。
文中还提出了一个**时界并集筛选（Horizon-union Screening）**规则，用于跨时间步聚合支撑集，以提高鲁棒性。

3. 核心贡献

定义并刻画了以决策为中心的抽象： 本文正式定义了仅保留差值之 $Q$ 函数的抽象。它提供了图形准则（在加性奖励下），用以识别何时这些抽象比模型保留型或 $Q$ 保留型抽象更简单，从而有效地过滤掉与动作无关的状态动力学。
动态正交估计器： 作者开发了 R-learner 在序列决策任务中的推广版本。他们引入了两个变体（ $L=0$ 和 $L=T-t$ ），在降低方差与对未来价值估计误差的敏感度之间进行权衡。他们证明了在扰动函数满足温和条件的情况下，该估计器能达到最优的策略评估收敛速率。
结构自适应策略学习： 通过结合正交估计与稀疏学习（阈值化 LASSO），本文建立了一个关于策略优化的保证，其依赖于决策相关状态空间的维度，而非环境的原始维度。这使得在决策信号具有稀疏性的高维设置中进行高效学习成为可能。
理论保证： 文中提供了非渐近界限，表明策略价值的收敛速率取决于边际条件（低噪声假设）和决策中心支撑集的复杂度，而非完整的状态维度。

4. 实验结果

作者在模拟数据和模拟增强的现实世界数据（网约车出行）上验证了其方法：

对结构的适应性： 在具有不同数据生成过程（奖励过滤、外生-内生以及非线性主效应）的实验中，所提出的阈值化 LASSO 差值之 $Q$ 估计器始终优于标准的拟合 $Q$ 评估（FQE）和奖励过滤基准。即使在完整状态动力学是稠密或误设的情况下，它也能成功适应稀疏的决策结构。
稀疏支撑集恢复： 在一个拥有 120 个状态坐标（仅 3 个与动作相关）的线性高斯 MDP 中，与全 $Q$ 岭回归相比，所提方法在恢复真实活跃坐标和学习策略方面表现出更优的样本量较小时的性能。
方差缩减： 通过比较 $L=0$ 和 $L=T-t$ 变体， $L=0$ （单步） 估计器展示了更低的方差和在策略改进任务中更好的整体性能，证实了其理论权衡分析。
网约车应用： 在马尔可夫干扰场景（网约车出行）中，与不带控制变量的基准相比，该方法将估计差值之 $Q$ 的均方根误差（RMSE）降低了 64%，与截断策略梯度（TPG）相比降低了 34%。它还实现了更快的状态相关策略改进的学习。

5. 意义与主张

本文声称，以决策为中心的抽象通过将统计学习资源集中在区分动作所需的特定信息上，而非建模整个环境动力学，为离线强化学习优化提供了一条更高效的路径。

连接因果机器学习与强化学习： 这项工作将差值之 $Q$ 函数定位为因果推断中条件平均处理效应（CATE）在序列决策中的对应物。通过利用来自因果机器学习的正交估计技术，作者证明了序列决策问题可以受益于相同的方差缩减和鲁棒性属性。
实际效率： 该方法允许使用黑盒估计器来处理扰动参数（如行为策略或 $Q$ 函数），同时只要决策相关结构是稀疏的，就能实现快速的策略价值收敛率。
研究范围： 作者承认，以决策为中心的抽象并不保证在抽象空间上进行标准的动态规划能恢复最优策略（这与基于模型的抽象不同）。相反，其方法旨在直接学习对比函数 $\tau$ ，以驱动策略优化（例如通过贪婪步骤或局部改进）。

总之，本文认为对于许多运营决策问题，其“重要的差异”显著简单于完整状态表示，而正交估计为从有限的离线数据中高效学习这种差异提供了统计工具。