🤖 machine learning

Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives

本文介绍了 UCB-BQRL，这是一种基于模型的强化学习算法，它利用平滑的下缓冲分位数目标函数和精确的动态规划程序（EVI-BQ），以实现具有可证明遗憾界限和分位数评估计算难度结果的稳定、风险敏感型学习。

原作者： Mohammad Alipour-Vaezi, Huaiyang Zhong, Sajad Khodadadian

发布于 2026-08-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Alipour-Vaezi, Huaiyang Zhong, Sajad Khodadadian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，存在一种被称为强化学习的强大方法，在这种方法中，计算机程序通过尝试并观察结果来学习如何做出决策。想象一个学生学习骑自行车：他们摔倒、调整平衡，最终获得成功。在数字领域，这些程序与环境进行交互，因良好的选择而获得奖励，并学习随着时间的推移实现总奖励的最大化。几十年来，这些程序的标准目标一直很简单：获得尽可能高的平均分。这种方法在许多任务中都表现出色，从玩电子游戏到管理库存。然而，在金融或医疗等高风险领域，仅靠平均值是不够的。医生需要的不仅仅是一个平均表现良好的治疗方案；他们需要一个能够避免灾难性失败的方案，即使这意味着平均成功率略低。同样，投资者可能会更倾向于一种能保证最低安全回报的策略，而不是一种可能带来巨额潜在收益但带有彻底损失风险的策略。为了处理这些情况，研究人员转向了一个被称为“分位数”（quantile）的概念。分位数不看平均值，而是观察结果分布中的特定点，例如底部的 10% 或顶部的 90%，这使得决策者能够根据需要专注于安全性或进取性。

然而，挑战在于优化分布中的这些特定点是非常困难的。与在微调环境时会平滑变化的平均值不同，这些特定点可能会发生剧烈的跳跃。如果一个计算机程序通过数据学习世界的规则，而这些数据存在微小的误差，那么程序对什么是“安全”结果的理解可能会突然转变为完全不同的东西。这种不稳定性使得构建可靠的风险敏感型学习系统变得困难。在一项新的研究中，弗吉尼亚理工大学的研究人员开发了一种解决方案。他们创建了一种新的学习算法，可以平滑掉这些突发的跳跃，使计算机即使在数据不完美的情况下也能安全且有效地学习。

研究人员 Mohammad Alipour-Vaezi、Huaiyang Zhong 和 Sajad Khodadadian 引入了一种他们称之为 UCB-BQRL 的方法。其核心思想是用一个“缓冲”版本来取代特定结果的尖锐、锯齿状目标。该算法的目标不是瞄准分布中一个精确的点，而是瞄准该点下方的一个微小范围。它对这个小范围内的结果进行平均，从而创造出一个平滑、稳定的目标，这使得学习过程变得容易得多。这就像是尝试在铅笔尖上保持平衡，与在小而平坦的平台上保持平衡相比——平台对微小的晃动不那么敏感。通过在学习过程中使用这种平滑后的目标，该算法可以探索环境并建立关于事物运作方式的模型，而不至于被数据的微小误差所干扰。一旦学习完成，算法仍可以针对原始的、尖锐的目标来评估最终结果，确保结果完全符合用户的预期。

为了测试他们的方法，团队将其应用于一个经典的决策问题，即资产出售。在这种场景下，卖家在固定时间内收到一系列物品报价。在每一步，卖家必须决定是接受当前报价并停止，还是拒绝并等待下一个随机报价。挑战在于找到正确的停止时机，以实现最终价格的最大化。在现实世界中，卖家并不了解未来报价的确切概率；他们必须通过经验来学习这些概率。研究人员进行了模拟实验，在这些实验中，他们的新算法必须在学习这些概率的同时，尝试最大化最终价格的特定分位数。他们将自己的方法与几种成熟的学习技术进行了比较，包括那些旨在最大化平均价格以及其他使用不同策略来探索未知领域的算法。

结果显示，该新算法在特定任务中表现优异。当目标是最大化中位数结果（即中间地带）时，新方法学到的策略明显优于其他方法。当目标转向最大化前 10% 的结果时，它再次胜过竞争对手。有趣的是，即使该算法被训练得非常保守，旨在追求底部的 10% 的结果，在以标准平均分为评判标准时，它的表现也并不糟糕。它依然保持着竞争力，这表明专注于风险并不一定意味着牺牲整体性能。研究还包括了一个严密的数学证明，证明该算法的学习速度在考虑到问题的难度下，已经达到了理论上的最快水平。他们证明了学习速度取决于问题的特定属性：即结果分布在目标点附近的变化程度。如果分布在这一点附近非常平坦或不稳定，学习本质上就会变慢，而他们的方法正确地考虑到了这种难度。

除了实际应用的成功之外，研究人员还发现了一个关于这些问题数学性质的惊人事实。他们证明了，即使是在只有两个可能状态和一个动作的极简单场景下，计算特定结果点的精确值在计算上也是极其困难的。这意味着，虽然他们的算法提供了一种有效学习的方法，但对于复杂的现实世界问题，要快速计算出最优策略的精确解很可能是无法实现的。这一发现区分了统计学习能力与完美的规划计算能力。研究人员的工作并不声称解决了所有的风险敏感型问题，但它为在高风险和噪声数据环境下进行学习提供了一个稳健、稳定的框架。通过平滑前进的路径，他们使得人工智能能够以一种此前难以企及的可靠程度，在安全与回报之间进行微妙的平衡。

技术摘要：基于平滑分位数目标的风险敏感强化学习

1. 问题定义

本文研究了在未知转移动力学的有限时界马尔可夫决策过程（MDP）中，**风险敏感强化学习（RL）**所面临的挑战。传统的强化学习侧重于最大化累积回报的期望值，而本研究的目标是优化累积回报分布的特定 $\tau$ -分位数。

核心难点在于分位数目标的特性：

非光滑性： 精确的分位数函数是非光滑的，在回报分布发生微小扰动时可能会发生剧烈变化。
不稳定性： 在需要从数据中估计转移模型的在线学习过程中，微小的估计误差可能会导致概率质量跨越目标分位数水平，从而引起策略值的非连续性变化。这使得依赖于平滑价值差值的标准“面对不确定性保持乐观（optimism in the face of uncertainty）”方法难以直接应用。

目标是找到一个策略 $\pi$ ，以最大化在真实转移核 $P^*$ 下，从固定初始状态 $\bar{s}$ 开始的返回分布的 $\tau$ -分位数 $V_{\pi, P^*}^{\tau, 0}(\bar{s})$ 。

2. 方法论

2.1 下缓冲分位数准则（Lower-Buffered Quantile Criterion）

为了克服精确分位数的不稳定性，作者引入了一个下缓冲分位数目标。算法不再优化精确的 $Q_\tau(X)$ ，而是优化在 $\tau$ 以下的一个小区间内的平均版本：
$Q^\beta_\tau(X) := \frac{1}{\ell_\beta(\tau)} \int_{\tau-\ell_\beta(\tau)}^{\tau} Q_u(X) du$
其中 $\ell_\beta(\tau) = \min\{\beta, \tau\}$ ， $\beta$ 是缓冲参数。这种平滑处理使得目标函数相对于 Wasserstein 距离具有全局 Lipschitz 连续性，从而在保持与精确分位数直接联系的同时（当 $\beta \to 0$ 时），增强了规划过程对转移估计误差的稳定性。

2.2 UCB–BQRL 算法

所提出的算法 UCB–BQRL 是一种基于模型的、以回合（episode）为单位的乐观学习算法。其结构遵循“估计 $\to$ 缓冲 $\to$ 规划”的范式：

置信集： 在每个回合 $t$ ，算法利用观测到的数据和 $\ell_1$ 置信半径，维护一个包含可能转移核的置信集 $\mathcal{C}_t^\delta$ 。
乐观规划： 在该置信集内，算法选择一个转移核 $P$ 和一个确定性的历史依赖策略 $\pi$ ，以最大化下缓冲分位数值。
执行： 执行选定的策略于真实环境，并更新计数以供下一回合使用。
缓冲调度： 缓冲参数 $\beta_t$ 是非增的（例如，采用对数衰减），这使得算法可以从平滑目标开始以保证稳定性，并逐渐收敛到精确的分位数目标。

2.3 EVI–BQ 规划算子

为了解决乐观规划步骤，作者引入了 EVI–BQ（扩展价值迭代用于缓冲分位数）。

与仅追踪标量期望值的标准价值迭代不同，EVI–BQ 追踪每个状态和阶段的完整返回律（return law，即累积回报的概率分布）。
它维护一个可实现的返回律及其对应递归策略标签的“前沿（frontier）”。
该算法执行从时界 $H$ 到 $0$ 的反向递归，基于转移概率构建返回律的混合，并选择使下缓冲分位数最大化的动作。
作者证明了 EVI–BQ 能正确解决置信集上的乐观规划问题。

3. 主要贡献

在线分位数 RL 的形式化： 本文形式化了未知转移且具有固定分位数目标的有限时界在线 RL 问题。
UCB–BQRL 算法： 引入了一种结合了转移置信集与下缓冲平滑近似分位数目标的基于模型的算法。
精确规划程序（EVI–BQ）： 开发了一种精确的动态规划程序来解决缓冲规划问题，通过状态增强的返回律处理分位数的非马尔可夫特性。
遗憾分析（Regret Analysis）：
- 上界： 建立了 UCB–BQRL 的高概率遗憾上界。在对数缓冲调度下，遗憾度量为 $\tilde{O}(e^{\tau/\rho_\tau} + H^2\sqrt{SAT})$ ，其中 $\rho_\tau$ 是问题相关的常数（根层左平台阈值）。
- 下界： 证明了对于任何处理精确分位数目标的算法，其信息论下界为 $\Omega(\frac{H}{\rho_\tau}\sqrt{AT})$ 。这表明对 $1/\rho_\tau$ 的依赖是不可避免的，并揭示了一个基本的统计障碍。
计算复杂性： 本文证明了即使在两个状态、一个动作的有限时界 MDP 中，精确的点分位数评估和精确的下缓冲分位数评估在多项式时间图灵归约下也是 PP-hard 的。这区分了统计可学习性与计算可处理性。

4. 结果

理论结果

亚线性遗憾： 只要缓冲调度下降得当，算法在回合数 $T$ 下实现了亚线性遗憾。遗憾由一个有限的瞬态项（由于初始缓冲间隙引起）和一个统计学习项组成。
统计障碍： 下界证实了学习分位数目标的难度本质上与其目标分位数附近的局部几何结构（特别是平台宽度 $\rho_\tau$ ）相关。较小的平台需要更高的统计精度才能区分不同的策略。
计算限制： PP-hard 的结果表明，尽管该问题在统计上是可学习的，但精确规划在一般情况下是计算上不可行的，这说明了使用精确规划器作为理论工具而非大规模可扩展实现的合理性。

数值实验

作者在有限时界的资产出售问题（一个最优停止问题）上评估了 UCB–BQRL。

设置： 将算法与标准基准（UCBVI、Q-learning、SARSA、Thompson Sampling、TRPO、PPO）在目标分位数 $\tau \in \{0.1, 0.5, 0.9\}$ 下进行对比。
发现：
- 分位数表现： 当基于目标分位数准则评估策略时，UCB–BQRL 显著优于所有基准模型。对于 $\tau=0.5$ 和 $\tau=0.9$ ，它实现了最小的累积策略差距。
- 期望回报： 当在标准的期望回报准则下进行评估时，针对保守的 $\tau=0.1$ 进行训练的 UCB–BQRL 仍保持竞争力（排名第二），这表明在此场景下优化风险敏感性并不一定会降低期望性能。
- 策略结构： 学习到的策略表现出清晰的阈值结构：较低的 $\tau$ 值导致更保守的停止规则（接受较低的报价），而较高的 $\tau$ 值则导致更激进的策略（等待更高的报价）。

5. 意义与主张

本文声称提供了第一个针对未知动力学下具有分位数目标的在线学习的全面框架。其意义在于：

稳定风险敏感学习： 通过引入下缓冲分位数，作者解决了由精确分位数的非光滑性引起的不稳定性，从而能够应用基于乐观主义的探索。
刻画统计极限： 研究确定了根层左平台阈值 ( $\rho_\tau$ ) 是决定学习难度的关键问题相关参数。它确立了分位数 RL 的统计复杂度在本质上不同于期望回报 RL，因为分位数对微小的分布偏移非常敏感。
分离统计与计算： 论文严格区分了问题的统计可学习性（可通过亚线性遗憾实现）与其计算困难性（精确评估为 PP-hard），阐明了精确规划器作为理论工具的角色。
实际应用价值： 通过资产出售实验，作者展示了所提方法能有效学习出适应目标分位数的风险敏感策略，并在风险敏感指标上优于标准的基于期望的方法。

作者对精确规划器（EVI–BQ）的计算可扩展性保持谦逊，承认实际实现需要近似处理（例如候选模型、剪枝），这会引入规划误差，但其理论框架为分析提供了必要的界限。