🔢 mathematics

Mathematical methods of reinforcement learning

本综述通过概率、优化和算子理论的视角，将从马尔可夫决策过程、贝尔曼算子到随机逼近和函数逼近的核心结构进行组织，从而为现代强化学习建立了一个统一的数学框架，以确立收敛保证和有限样本界限。

原作者： Denis Belomestny, Alexander Gasnikov, Egor Gladin, Alexey Naumov, Artemy Rubtsov, Yuri Sapronov, Daniil Tiapkin, Nikita Yudin

发布于 2026-07-09

📖 1 分钟阅读🧠 深度阅读

CC BY 4.0

原作者： Denis Belomestny, Alexander Gasnikov, Egor Gladin, Alexey Naumov, Artemy Rubtsov, Yuri Sapronov, Daniil Tiapkin, Nikita Yudin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章本质上是一本关于强化学习（Reinforcement Learning, RL）的数学“使用说明书”。想象一下，强化学习就像一个试图在没有说明书的情况下学习玩一款复杂电子游戏的机器人。作者们是一群数学家，他们并不是在教你如何为机器人编写代码，而是在解释让机器人的学习变得可能、可靠且高效的物理规律与几何原理。

以下是他们工作的详细拆解，使用了日常生活的类比：

1. 大局观：机器人与迷宫

把强化学习智能体（Agent）想象成一个在巨大的、不断变化的迷宫中穿行的机器人。

目标： 机器人想要尽可能多地收集金币（奖励）。
问题： 机器人并不知道地图。它必须通过探索、犯错，并从获得的反馈中学习。
论文的任务： 作者们正在绘制一套数学规则，这些规则保证了机器人最终能找到最佳路径，而不是陷入循环或永远徘徊不前。他们将这些规则组织成了三个主要的工具箱：算子（Operators）（数学机器）、优化（Optimization）（寻找最佳路径）以及概率（Probability）（处理不确定性）。

2. 核心工具：机器人如何学习

A. “魔镜”（贝尔曼算子 / Bellman Operators）

论文从动态规划（Dynamic Programming）开始。想象机器人正站在一个房间里。为了知道一个动作是否明智，它会看向一面魔镜，镜中显示了下一个房间的价值，加上当前步骤的奖励。

数学原理： 这个镜子被称为贝尔曼算子。作者证明了，如果你不断观察这面镜子，图像最终会稳定成一幅清晰、完美的最佳路径图。
保证： 他们证明了这面镜子是一面“收缩”的镜子——每次你观察时，它都会缩小“猜测值”与“真相”之间的距离。这保证了机器人不会迷失在无限循环中；它一定会收敛到解决方案。

B. 两种学习方式：基于模型 vs 无模型

论文对比了两种学习风格：

基于模型（建模者 / Model-Based）： 机器人首先尝试画出一张完整的迷宫地图。它会问：“如果我向左走，我会去哪里？”并建立一个关于世界的模型。一旦地图绘制完成，它就能规划出完美路线。
- 优点： 如果地图准确，效率极高。
- 缺点： 画图需要大量的时间和样本。
无模型（开拓者 / Model-Free）： 机器人不在乎地图。它只是不断尝试，记住“向左走很好，向右走很糟”，并直接更新其内部的评分表（Q-learning）。
- 优点： 即使迷宫复杂到无法绘图也能奏效。
- 缺点：* 因为必须经历许多死胡同，学习过程可能非常漫长。

C. “探索与利用”的抉择

这是机器人最大的头痛问题。它是应该坚持那条已知能给 5 枚金币的路径（利用 / Exploitation），还是应该尝试一条未知的路径——那条路径可能带来 100 枚金币，但也可能带来 0 枚（探索 / Exploration）？

解决方案： 论文讨论了像 UCB（置信区间上界） 这样的策略。想象机器人给每条未知路径都加上一个基于“对其了解程度”的“额外加分”。它对某条路了解得越少，加分就越高。这迫使机器人去探索未知领域，直到它确信未知路径并不比已知的更好。
随机性： 他们还讨论了 汤普森采样（Thompson Sampling），即机器人表现得像个赌徒。它会想象：“如果这条路其实是最好的呢？”并根据这种信念采取行动。如果错了，它会学习；如果对了，它会大获全胜。

3. 处理复杂性：当迷宫是无限的时候

如果迷宫不是由一个个房间组成的网格，而是一个连续的景观（比如开车）怎么办？你无法列出所有可能的坐标。

类比： 机器人不再死记硬背每一个点，而是学习模式。它使用函数近似（Function Approximation）（类似于一个灵活的网络或神经网络）来根据旧的位置推测新位置的价值。
数学原理： 作者解释了如何确保这个“网络”不会撕裂或给出荒谬的猜测。他们使用诸如 利普希茨连续性（Lipschitz continuity）（即如果两个点靠得很近，它们的数值也应该接近）等概念，来保持机器人预测的稳定性。

4. 新趋势：教机器人“思考”（自然语言处理与推理）

论文最后探讨了这些数学工具如何被用于训练大语言模型（LLM）——即生成文本的 AI。

转变： 传统 AI 只是记忆模式。现在，我们利用强化学习来教它们进行推理。
过程： 想象 AI 正在写一篇论文：
1. 执行者（Actor）： AI 写下一个句子。
2. 评论者（Critic）： 一个“奖励模型”（基于人类反馈训练而成）会说：“这个句子很有礼貌且逻辑通顺（+10 分）”或者“这句很不礼貌（-10 分）”。
3. 更新： AI 会调整其写作风格以获得更多分数。
创新： 论文重点介绍了 DPO（直接偏好优化 / Direct Preference Optimization）。与其建立一个复杂的评论者来为每个句子打分，不如直接给 AI 展示两个答案：“这个比那个更好。”它直接从这种比较中学习，跳过了中间环节。这就像是通过品尝两道菜并说“我更喜欢辣的这一道”，而不是试图用数学精确计算盐的含量来学习烹饪。

论文贡献总结

这篇论文并没有发明新的机器人或新的游戏。相反，它统一了描述这些机器人如何学习的数学语言。

它证明了为什么 Q-learning 和策略梯度（Policy Gradients）等算法能够奏效。
它计算了机器人学习一项任务之前需要进行多少次尝试（样本）。
它将经典数学（线性代数、概率论）与现代 AI（深度学习、大语言模型）联系在了一起。

简而言之，作者们是建筑师，他们绘制了蓝图，证明了现代 AI 的摩天大楼是建立在坚实、经过验证的数学基础之上的，确保它们不会因自身的重量而崩塌。

技术摘要：强化学习的数学方法

问题陈述

强化学习（RL）已成为处理不确定性下序贯决策问题的核心框架，它连接了最优随机控制、马尔可夫决策过程（MDP）以及统计决策理论。虽然经典的 MDP 理论假设环境模型完全已知，但强化学习旨在解决环境动态最初未知的场景，这要求智能体通过交互进行学习。这种学习需求将性能评价标准从基于似然的风险函数转向了遗憾（regret），即量化学习策略相对于最优策略的性能损失。

本文旨在为现代强化学习算法建立一个统一的数学基础。它试图组织来自概率论、优化论和算子理论的多种工具，以支撑强化学习的设计与分析，涵盖了各种时间跨度形式（有限时界、折扣时界及平均奖励）以及不同设置（表格型 vs 函数近似、基于模型 vs 无模型）。

方法论与结构

本综述将强化学习的数学结构组织为几个相互关联的领域：

1. 算子理论基础（动态规划）

本文将**贝尔曼原理（Bellman principle）**确立为核心分析工具，通过递归不动点关系来表达最优价值函数。

收缩映射（Contraction Mappings）： 文中强调贝尔曼算子（包括一致性算子和最优性算子）是 $\ell_\infty$ 范数下的 $\gamma$ -收缩映射。通过巴拿赫不动点定理（Banach's fixed-point theorem），这一特性保证了价值函数的存在性与唯一性，并确保了迭代方法如**价值迭代（VI）和策略迭代（PI）**的收敛性。
线性规划（Linear Programming）： 文中指出，对策略的优化可以通过线性规划进行等价的凸重构。线性规划的对偶问题对应于价值函数，而原问题则对应于占用度量（occupancy measures）。这揭示了 MDP 的隐性凸性（hidden convexity），特别是在引入熵正则化后，将非凸的策略搜索转化为对占用度量的凸优化问题。
加速算法： 本文讨论了求解 MDP 的加速方案（例如加速价值计算），通过在贝尔曼算子与光滑强凸目标的梯度之间建立类比，尽管文中也指出最优性算子的非微分性带来了挑战。

2. 生成模型设置与样本复杂度

在转换到转移核未知但可通过生成模型（Oracle）获取的设置时，本文分析了样本复杂度——即寻找 $\epsilon$ -最优策略所需的查询次数。

基于模型 vs 无模型： 文中对比了基于模型的方法（先估计转移核，再进行规划）与无模型方法（直接学习价值函数或策略）。
下界（Lower Bounds）： 综述通过展示“困难实例”（类 Bandit 型 MDP）来推导样本复杂度的极小极大下界。
- 折扣 MDP： 下界规模为 $\tilde{\Omega}\left(\frac{SA}{(1-\gamma)^3 \epsilon^2}\right)$ 。
- 平均奖励 MDP： 下界取决于混合时间 $t_{mix}$ ，规模为 $\tilde{\Omega}\left(\frac{SA \cdot t_{mix}}{\epsilon^2}\right)$ 。
- 有限时界 MDP： 下界规模为 $\tilde{\Omega}\left(\frac{SA H^3}{\epsilon^2}\right)$ 。
算法： 文中回顾了达到这些界限的算法，包括经验 QVI、Q-learning（及其方差缩减和平均变体），以及应用于鞍点形式线性规划的随机镜像下降（Stochastic Mirror Descent）。

3. 策略评估与函数近似

本文详细介绍了**时序差分（TD）学习，并将其置于线性随机逼近（LSA）**框架内进行讨论。

收敛性： 在 i.i.d. 和马尔可夫噪声下分析了 TD(0) 的收敛性，依赖于鞅集中不等式。
离策稳定性（Off-Policy Stability）： 文中探讨了 TD 在离策设置中的发散问题（如 Baird 反例），并引入了稳定的替代方案，如 GTD2 和 TDC，它们通过优化均方贝尔曼投影误差（MSBPE）来工作。
连续空间： 对于连续状态空间，综述涵盖了拟合价值迭代（FVI）、Kernel-UCBVI（利用 Lipschitz MDP 的核平滑）以及针对线性 MDP 的最小二乘价值迭代（LSVI），并提供了依赖于状态-动作空间覆盖维度的遗憾界限。

4. 探索与随机化算法

综述探讨了探索与利用之间的权衡。

乐观主义（Optimism）： 文中详述了通过置信上界（UCB）方法实现的面对不确定性时的乐观主义（OFU）（例如 UCRL、UCBVI），这些方法通过向奖励或 Q 值添加探索奖励来实现。
随机化： 文中介绍了后验采样强化学习（PSRL）和随机最小二乘价值迭代（RLSVI），其中探索是通过从后验分布中采样或通过噪声扰动价值估计来驱动的，而非显式的置信上界。

5. 策略梯度与现代应用

最后一部分涵盖了直接优化参数化策略的**策略梯度（PG）**方法。

梯度估计器： 涵盖了 REINFORCE 估计器、演员-评论家（Actor-Critic）方法（使用 TD 残差进行低方差优势估计）以及广义优势估计（GAE）。
置信区域（Trust Regions）： 文中讨论了置信区域策略优化（TRPO）和近端策略优化（PPO），它们通过 KL 散度或裁剪来约束策略更新，以确保稳定性。
偏好优化： 本文引入了 直接偏好优化（DPO） 和 群体相对策略优化（GRPO） 作为 PPO 的高效替代方案，特别是在无需显式奖励模型的情况下，用于使大语言模型（LLM）与人类偏好对齐。

核心贡献与结果

统一框架： 本文提供了一个凝聚的数学切入点，通过共同的算子和变分视角统一了算法模板。
收敛保证： 整合了价值迭代、策略迭代、Q-learning 及随机逼近方法的有限样本界限与渐近结果，并明确地将其与收缩性质及鞅理论联系起来。
样本复杂度表征： 阐明了样本复杂度对有效时界（ $1/(1-\gamma)$ ）、混合时间及时界长度 $H$ 的依赖关系，证明了不同设置下各类算法的极小极大最优性。
隐性凸性： 强调了通过占用度量进行的 MDP 凸重构，将强化学习与凸优化及镜像下降联系起来。
面向 NLP 的应用： 综述明确地将这些数学基础与**人类反馈强化学习（RLHF）**相联系，详细说明了如何利用 PPO、GRPO 和 DPO 使 LLM 符合人类偏好与安全约束。

重要性

本文声称其重要性在于为对强化学习感兴趣的概率论、优化论和统计学研究人员提供了一个统一的数学切入点。通过追溯动态规划、随机逼近、集中方法与函数近似理论之间的相互作用，本文旨在揭开现代强化学习算法的理论底蕴。文章强调，尽管强化学习问题在策略空间中通常是非凸的，但它们可以进行凸重构，并能通过算子理论和随机过程的严谨视角进行分析。本综述旨在架起经典控制理论与现代数据驱动学习之间的桥梁，特别是在大规模应用（如 LLM 对齐）的背景之下。