⚡ electrical engineering

Convergence Guarantees of Model-free Policy Gradient Methods for LQR with Stochastic Data

本文针对具有加性随机噪声的线性二次调节器（LQR）问题，在系统动力学未知的情况下，利用零阶优化技术近似梯度，通过量化梯度估计误差及其传播效应，为采用自适应步长和方差缩减技术的无模型策略梯度方法提供了全局收敛性保证。

原作者： Bowen Song, Andrea Iannelli

发布于 2026-04-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Bowen Song, Andrea Iannelli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这是一篇关于人工智能（强化学习）如何在一个充满“噪音”和“不确定性”的真实世界中，学会控制复杂系统的学术论文。

为了让你轻松理解，我们可以把这篇论文的研究内容想象成教一个盲人厨师做一道极其复杂的菜（线性二次调节器，LQR）。

1. 核心任务：盲人厨师的烹饪挑战

想象一下，你有一个目标：做出一道完美的菜（让系统达到最优状态）。

理想情况（有模型）： 你有一本完美的食谱，知道每种食材放多少克，火候怎么调。这就像论文中提到的“已知系统模型”的情况，算法很容易算出最优解。
现实情况（无模型）： 你没有食谱，甚至不知道厨房里的锅碗瓢盆具体是什么材质。你只能靠尝味道（收集数据）来调整。这就是**无模型（Model-Free）**的方法。

2. 最大的难题：厨房里的“噪音”

在现实世界里，做实验（收集数据）时总会遇到意外：

今天风大，火苗忽大忽小（随机噪声）。
你尝味道时，舌头有点麻，或者尝到的味道受刚才吃的东西影响（数据误差）。

这篇论文之前的研究大多假设厨房是完美的，或者噪音很小。但这篇论文关注的是：当厨房乱成一锅粥，数据全是“噪音”时，这个盲人厨师还能学会做菜吗？会不会把厨房炸了？

3. 论文的三个主要贡献（解决方案）

A. 给厨师配一个“智能导航仪”（自适应步长）

以前的算法像是一个死板的厨师：不管火多大，每次尝完味道，调整配料的幅度都一样（固定步长）。

问题： 如果噪音很大（火苗乱窜），死板的大幅度调整会让菜彻底做坏（算法发散）。
创新： 作者设计了一种**“自适应步长”**策略。
- 比喻： 就像开车。在平坦的大路上（噪音小），你可以猛踩油门（大步长），快速到达目的地。但在泥泞的雪地或大雾天（噪音大），你必须轻踩刹车，小步慢走（小步长），虽然慢，但能保证不翻车。
- 结果： 论文证明了，只要根据当前的“路况”（噪音大小和成本）自动调整步伐，算法就能保证最终收敛到最优解。

B. 给厨师配一个“降噪耳机”（方差缩减技术）

用零阶优化（Zeroth-order，即只靠尝味道，不靠看配方）来估算梯度（调整方向）时，误差非常大，就像在嘈杂的菜市场里听别人指路，经常听错。

问题： 每次尝味道，误差都很大，导致厨师反复横跳，效率极低。
创新： 作者引入了**“方差缩减”技术，并设计了一个“基准线”（Baseline）**。
- 比喻： 想象厨师在尝新菜之前，先尝一口“白开水”（基准线）。如果新菜比白开水咸，他就知道是盐放多了。通过减去这个“白开水”的味道，他就能更清晰地分辨出到底是哪次调味出了问题。
- 结果： 这种方法大大减少了需要“尝多少次”（样本复杂度）才能学会做菜。论文证明，加上这个“降噪耳机”，在噪音大的环境下，学习效率提升显著。

C. 绘制“安全地图”（收敛性保证）

这是论文最硬核的部分。作者不仅提出了方法，还从数学上证明了：

即使数据里有无穷大的高斯噪声（就像厨房里随时可能炸锅），只要按照他们设定的规则（调整步长、采样次数、探索半径），这个盲人厨师最终一定能做出那道完美的菜。
他们计算出了需要尝多少次（样本复杂度），以及噪音大到什么程度时，算法会失效。这就像给厨师画了一张安全地图，告诉他：“在这个范围内乱走是安全的，再远就可能掉进坑里。”

4. 总结：这篇论文到底说了什么？

简单来说，这篇论文解决了**“在充满不确定性和噪音的真实世界中，如何高效、安全地训练 AI 控制机器人”**的问题。

以前： 我们假设世界很安静，或者假设噪音很小，算法跑起来很快，但一遇到大噪音就崩溃。
现在： 作者告诉我们要**“看天吃饭”（自适应步长），并且“学会过滤杂音”**（方差缩减）。
结论： 即使环境很糟糕（噪音大），只要方法得当，AI 依然能学会控制，而且我们还能算出它需要多少时间和数据才能学会。

一句话概括：
这篇论文给在混乱噪音中摸索的 AI 控制算法，提供了一套**“稳健的导航系统”和“降噪耳机”，并画出了一张“安全地图”**，确保它们即使在不完美的现实世界里，也能一步步走向最优解。

这是一份关于论文《CONVERGENCE GUARANTEES OF MODEL-FREE POLICY GRADIENT METHODS FOR LQR WITH STOCHASTIC DATA》（随机数据下无模型策略梯度方法的 LQR 收敛性保证）的详细技术总结。

1. 研究背景与问题定义

背景：
强化学习中的策略梯度（Policy Gradient, PG）方法在策略优化问题上表现优异。然而，大多数 PG 方法依赖于对系统动力学的精确了解。在现实应用中，系统模型往往未知，且数据通常包含噪声。现有的无模型 PG 研究大多假设数据是确定性的或噪声是有界的，缺乏对加性随机噪声（Additive Stochastic Noise）（特别是无界高斯噪声）环境下算法收敛性及样本复杂度的全面分析。

问题定义：
本文研究的是带有加性随机噪声的线性二次调节器（LQR）问题：
$\min_{u_t} \lim_{T \to \infty} \frac{1}{T} \mathbb{E} \left[ \sum_{t=0}^{T-1} (x_t^\top Q x_t + u_t^\top R u_t) \right]$
受控系统动力学为： $x_{t+1} = A x_t + B u_t + w_t$ ，其中 $w_t \sim \mathcal{N}(0, \Sigma_w)$ 为高斯白噪声。
目标是设计**无模型（Model-Free）**的策略梯度算法，在系统矩阵 $(A, B)$ 未知的情况下，利用含噪轨迹数据直接优化策略 $u_t = K x_t$ ，并给出严格的收敛性保证和样本复杂度界限。

2. 方法论

本文采用零阶优化（Zeroth-order Optimization）技术来近似梯度和协方差矩阵，并引入了自适应步长和方差缩减技术。

2.1 基础性质分析

梯度主导（Gradient Domination）： 证明了 LQR 代价函数 $C(K)$ 在稳定策略集上是梯度主导的，即 $C(K) - C(K^*) \leq \mu \|\nabla C(K)\|_F^2$ 。这保证了不存在非最优的驻点。
局部 Lipschitz 连续性： 证明了平均协方差矩阵 $\Sigma_K$ 、代价函数 $C(K)$ 及其梯度 $\nabla C(K)$ 关于策略 $K$ 是局部 Lipschitz 连续的。这是分析扰动和误差传播的基础。

2.2 基于模型的收敛性（基准）

首先分析了已知模型 $(A, B)$ 下的三种 PG 方法：

策略梯度下降 (PGD)
自然策略梯度 (NPG)
高斯 - 牛顿法 (Gauss-Newton)
提出了自适应步长方案，证明了这些方法具有全局线性收敛性，且自适应步长比固定步长具有更快的收敛速度。

2.3 无模型估计与误差分析

在模型未知且数据含噪的情况下，利用零阶优化估计梯度和协方差：

估计方法： 通过在策略 $K$ 附近添加随机扰动 $U$ （探索半径 $r$ ），收集有限长度的轨迹（ rollout length $l$ ）和多次 rollout（rollouts $n$ ）来估计 $\hat{\nabla} C(K)$ 和 $\hat{\Sigma}_K$ 。
误差分解： 将估计误差分解为四个部分：
1. $\epsilon_d$ ：由随机噪声引起的误差。
2. $\epsilon_l$ ：有限时间 horizon 与无限时间 horizon 的截断误差。
3. $\epsilon_n$ ：有限样本数引起的统计误差。
4. $\epsilon_r$ ：平滑函数与原始函数梯度的偏差。
概率界限： 利用矩阵集中不等式（Matrix Concentration Inequalities）和 Hanson-Wright 不等式，推导了估计误差的有限样本界限，并给出了相应的失效概率。

2.4 关键技术改进

自适应步长（Adaptive Step Size）： 步长 $\eta_i$ 根据当前代价 $C(K_i)$ 动态调整。随着代价降低，允许更大的步长，从而加速收敛。
方差缩减（Variance Reduction）： 引入基于有限时间代价的基线函数（Baseline Function） $b(x)$ $b (x)$ 。
- 构建估计量： $\hat{\nabla} C_v(K) = \frac{1}{n} \sum \frac{nx \cdot nu}{r^2} (\hat{C}_{\bar{K}_k} - \hat{b}) U_k$ 。
- 证明了在满足一定条件下，方差缩减技术可以显著降低达到相同精度所需的样本数量（Sample Complexity）。

3. 主要贡献

理论突破： 首次为含无界加性高斯噪声的无限视界 LQR 问题提供了无模型 PG 方法的概率收敛保证和样本复杂度界限。填补了现有文献仅处理有界噪声或确定性数据的空白。
误差传播分析： 详细量化了估计误差（来自噪声、有限样本、有限时间）如何传播并影响算法的收敛性，建立了误差与收敛率之间的定量关系。
算法改进与保证：
- 提出了带有自适应步长的 PGD 和 NPG 算法，并证明了其收敛性。
- 在零阶优化框架下引入方差缩减技术，并严格证明了其能降低样本复杂度。
鲁棒性分析： 揭示了噪声对算法参数的影响（如噪声越大，允许的步长越小，所需样本越多），并给出了参数选择的指导原则。

4. 实验结果

通过数值模拟验证了理论分析：

噪声与步长的关系： 当噪声水平较低时，较大的步长能收敛；当噪声水平较高时，必须减小步长以防止发散，但收敛速度会变慢。自适应步长策略能有效平衡这一矛盾。
方差缩减的效果： 在高噪声场景下，引入方差缩减技术（使用基线函数）显著减少了达到相同精度所需的迭代次数和样本量，性能提升明显。
NPG 的表现： 自然策略梯度（NPG）在噪声增加时表现出较好的鲁棒性，因为梯度估计误差和协方差估计误差在更新规则中部分相互抵消。

5. 意义与结论

意义：

理论层面： 建立了无模型强化学习在随机环境下的严格理论框架，证明了即使存在无界噪声，只要样本量足够且参数选择得当，算法仍能收敛到最优解的 $\epsilon$ -邻域。
应用层面： 为实际工程中在噪声环境下使用无模型控制算法提供了参数调优指南（如步长、探索半径、样本数的选择），并展示了方差缩减技术在提高数据效率方面的巨大潜力。

局限性：

目前尚未解决含噪数据下高斯 - 牛顿法（Gauss-Newton）的无模型实现及其收敛性证明。
直接数据驱动方法与间接数据驱动方法（先辨识模型再控制）在噪声环境下的对比研究仍有待深入。

总结：
该论文通过严谨的数学推导，证明了在存在随机噪声的情况下，结合自适应步长和方差缩减技术的无模型策略梯度方法，依然能够保证全局收敛性，并给出了具体的样本复杂度界限。这为强化学习在真实物理系统（通常伴随噪声）中的应用奠定了坚实的理论基础。