⚡ electrical engineering

Policy Optimization with Differentiable MPC: Convergence Analysis under Uncertainty

本文证明了将基于梯度的策略优化与递归系统辨识相结合，能够确保在模型不确定性下收敛至最优控制器设计，并通过多个控制实例验证了这一发现。

原作者： Riccardo Zuliani, Efe C. Balta, John Lygeros

发布于 2026-03-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Riccardo Zuliani, Efe C. Balta, John Lygeros

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于如何让“自动驾驶”或“机器人”变得更聪明、更听话的故事。

想象一下，你正在教一个刚学开车的机器人（我们叫它“小智”）在复杂的赛道上跑圈。

1. 核心问题：小智的“地图”是错的

通常，我们要让机器人跑得快又稳，需要给它一个模型（就像一张地图），告诉它：“如果你踩油门，车子会加速；如果你打方向盘，车子会转弯。”

但在现实中，这张“地图”往往是不准确的：

我们不知道车子的确切重量。
不知道风有多大（噪音）。
不知道轮胎抓地力到底如何。

如果机器人完全依赖一张错误的地图去开车，它要么开得慢吞吞，要么直接冲出赛道。

2. 传统方法 vs. 新方法

传统方法：工程师会花很长时间手动调整参数，或者假设地图是完美的。一旦地图错了，系统就崩了。
这篇论文的方法：我们让机器人一边开车，一边画地图，一边调整驾驶策略。

这就好比小智在开车时，不仅在看路，还在心里嘀咕：“咦？刚才那个弯道我转得有点急，看来我的‘地图’里关于轮胎摩擦力的数据不对。下次我转的时候得慢一点，同时把地图上的摩擦力数据改大一点。”

3. 三大法宝：如何做到“边开边学”？

这篇论文提出了一套组合拳，包含三个关键步骤：

第一步：系统辨识（System Identification）—— “修正地图”

每次小智跑完一圈，它会把刚才的行驶数据（踩了多少油门、转了多少方向、实际走了多远）收集起来。

比喻：就像你每次跑步后，都会对比“我以为能跑多快”和“实际跑了多远”。如果差距大，你就知道你的体能估算错了，于是更新你的体能数据。
论文的作用：它用数学方法（递归最小二乘法）保证，只要跑得次数够多，小智画出的“地图”就会越来越接近真实世界。

第二步：可微分的模型预测控制（Differentiable MPC）—— “反向思考”

这是最厉害的地方。通常，机器人计算“下一步怎么走”是一个复杂的数学题，算出结果就完了，很难知道“如果我把参数改一点，结果会怎么变”。

比喻：想象你在玩一个复杂的迷宫游戏。传统方法是试错：走错路，退回来，换个方向再试。
论文的方法：它给迷宫装上了“透视眼”和“回溯功能”。它能直接算出：“如果我把转弯的灵敏度调高 1%，我就能少撞墙 5 次。”
作用：这让机器人能利用梯度下降（一种数学优化技巧），像下山一样，顺着“错误减少”的方向，自动调整它的驾驶策略。

第三步：闭环优化（Closed-loop Optimization）—— “实战演练”

把上面两步结合起来。

跑一圈：收集数据。
改地图：根据数据更新对世界的认知（系统辨识）。
改策略：根据新地图，用“反向思考”调整驾驶参数（策略优化）。
重复：再跑一圈，再改，直到跑得完美。

4. 论文的两个重要发现

这篇论文不仅提出了方法，还证明了它真的有效（收敛性分析）：

发现一：如果地图能越画越准，策略就能越跑越好。
只要机器人跑得足够久，它画出的地图误差会越来越小，最终它的驾驶策略会无限接近于“上帝视角”（即知道所有真相的最优策略）。
发现二：即使地图永远画不准，策略也能达到“次优”但很不错的水平。
在现实世界中，有些干扰（比如突然的狂风）是永远无法完全预测的。论文证明，即使在这种情况下，这套算法也能保证机器人不会乱跑，而是稳定在一个非常好的水平上，不会无限变差。

5. 实际效果（模拟实验）

作者在电脑里模拟了三种场景来测试：

随机线性系统：像是一个简单的玩具车。结果：经过训练，小智的表现从“笨手笨脚”变成了“老司机”，甚至比那些用传统 Riccati 方程（一种经典数学公式）设计的控制器还要好。
四旋翼无人机：这是一个复杂的非线性系统，像真的无人机。结果：小智学会了在风中稳定飞行，轨迹几乎和“全知全能”的最优解重合。
自动驾驶赛车：在弯曲的赛道上跑。结果：训练后的车能完美贴合赛道，而没训练的车会冲出赛道或跑得很慢。

总结

这篇论文的核心思想就是：不要试图一开始就拥有一张完美的地图，也不要死板地执行旧规则。

我们要设计一种**“自我进化”的控制系统**：

它承认自己不知道世界的全貌（有不确定性）。
它通过不断试错和修正来学习世界的规律。
它利用数学上的“反向推导”，自动调整自己的“大脑”（控制参数）。

最终，这个系统能在充满噪音和未知的真实世界里，自动进化出一个既安全又高效的控制器。这就好比教一个新手司机，不是靠死记硬背交规，而是让他上路跑，跑错了就教他改，跑多了他就成了车神。

这是一份关于论文《Policy Optimization with Differentiable MPC: Convergence Analysis under Uncertainty》（基于可微模型预测控制的策略优化：不确定性下的收敛性分析）的详细技术总结。

1. 研究背景与问题定义 (Problem Definition)

核心问题：
模型预测控制（MPC）是一种广泛使用的控制方法，其性能高度依赖于系统动力学模型的准确性。然而，在实际应用中，系统动力学参数往往是未知的，且受到随机噪声的干扰。传统的 MPC 设计通常假设模型已知，或者仅通过离线辨识获得模型，缺乏在控制策略优化过程中同时处理模型不确定性和策略超参数调整的严谨理论保证。

具体挑战：

模型不确定性： 系统动力学参数 $\theta$ 未知，且受到随机噪声 $w_t$ 的影响。
策略优化： 需要优化 MPC 的设计参数 $p$ （包括代价函数权重、约束参数等），以最小化闭环系统的长期期望成本。
收敛性缺失： 现有的基于可微优化（Differentiable Optimization）的 MPC 调优方法（如结合隐式微分）大多假设模型已知，或者缺乏在模型辨识与策略优化联合进行时，算法收敛到最优解的严格理论证明。

目标：
在系统动力学部分未知且受噪声干扰的情况下，设计一种结合递归系统辨识与基于梯度的策略优化的算法，并证明其收敛性。

2. 方法论 (Methodology)

论文提出了一种闭环优化框架，将系统辨识与策略优化紧密结合。

2.1 系统模型与问题形式化

系统动力学： 离散时间系统 $x_{t+1} = f(x_t, u_t, \theta) + w_t$ ，其中 $f$ 关于未知参数 $\theta$ 是线性的（ $f = \phi^\top \theta + \varphi$ ）， $w_t$ 是有界亚高斯噪声。
MPC 控制器： 基于二次规划（QP）的线性 MPC，其预测模型使用当前对 $\theta$ 的估计值 $\tilde{\theta}$ 进行线性化。
优化目标： 最小化期望代价 $E_v[C(x, u, p)]$ ，其中 $p$ 是包含 MPC 代价函数参数和预测模型参数的可调设计变量。

2.2 核心算法流程

算法采用迭代方式运行（Algorithm 2），每轮迭代包含以下步骤：

数据采集与部署 (Deploy)： 使用当前参数 $p_k$ 控制真实系统，收集状态 - 输入轨迹 $(x_k, u_k)$ 。
系统辨识 (System Identification)： 利用收集的数据，通过递归最小二乘法 (RLS) 更新参数估计 $\theta_k$ ，并构建高置信度的置信集 $\Theta_k$ ，确保真实参数 $\theta \in \Theta_k$ 的概率极高。
灵敏度计算 (Sensitivity Computation)： 利用可微优化技术（隐式函数定理/后向传播），计算目标函数关于参数 $p$ 的梯度（或保守雅可比矩阵）。这一步利用了当前的名义模型 $\theta_k$ 和观测到的噪声实现 $v_k$ 。
参数更新 (Update)： 执行投影梯度下降更新 $p_{k+1}$ 。更新后的参数必须满足约束，即预测模型参数必须位于当前的置信集 $\Theta_k$ 内（ $p_{k+1} \in \mathcal{Y}_k$ ）。

2.3 两种变体

通用方案 (Algorithm 2)： 将预测模型参数 $\tilde{\theta}$ 作为优化变量的一部分，允许其在置信集内自由调整。
确定性等价方案 (Certainty Equivalence, Algorithm 3)： 强制 MPC 的预测模型等于当前的最佳估计 $\theta_k$ （即 $\tilde{\theta}_k = \theta_k$ ）。这减少了优化变量的维度，提高了计算效率。

2.4 不完备模型学习下的处理

如果激励条件（Persistency of Excitation, PE）不满足，导致模型无法渐近精确收敛，论文提出了一种基于场景规划 (Scenario Program) 的方法（Algorithm 4），用于计算目标函数梯度的范数上界，从而在模型不完美时提供概率意义上的收敛保证。

3. 主要贡献 (Key Contributions)

不确定性下的收敛性证明：
- 首次为“模型未知且受噪声干扰”场景下的 MPC 策略优化提供了严格的收敛性分析。
- 证明了在渐近精确的系统辨识条件下，算法收敛到目标函数的临界点（Critical Point）。
- 证明了在模型未完美学习的情况下，算法收敛到一个次优解，并给出了误差界限。
理论框架的扩展：
- 将之前的凸 MPC 架构下的收敛结果（参考文献 [10]）推广到了包含随机噪声和模型不确定性的更通用场景。
- 利用了路径可微性 (Path-differentiability) 和 o-minimal 结构 理论，处理了 MPC 解映射中可能存在的非光滑性（如约束激活/去激活）。
工程实用的变体设计：
- 提出了“确定性等价”变体，简化了优化问题，更适合实际工程应用。
- 提出了在缺乏持续激励条件时，通过采样构建梯度范数上界的统计方法，增强了算法的鲁棒性。

4. 实验结果 (Simulation Results)

论文通过三个仿真实例验证了方法的有效性：

随机线性系统：
- 对比了未调优的 MPC、基于 Riccati 方程设计的 DARE 控制器以及本文提出的调优算法。
- 结果： 调优后的 MPC 在训练集和测试集上的次优性（Suboptimality）显著降低。确定性等价（CE）版本（Algorithm 3）表现优于通用版本，平均次优性仅为 11%（通用版为 30%），且收敛更快。
非线性四旋翼无人机：
- 在 12 维非线性动力学模型上测试。
- 结果： 算法成功辨识了模型参数（40 次迭代内误差<1%），闭环轨迹迅速收敛至“全知控制器”（Omniscient Controller，即已知真值的最优控制器）的性能。
- 即使在 MPC 代价函数未包含能量惩罚项的情况下，通过上层优化，算法仍能产生考虑能量消耗的有效控制器。
自动驾驶汽车横向控制：
- 在曲线路径跟踪任务中，处理了非零均值的外部扰动（路径曲率）。
- 结果： 即使无法使用标准 RLS 辨识（因扰动非随机），利用 VI-B 节提出的概率界限方法，训练后的控制器轨迹显著优于未训练控制器，成本降低了 35%，次优性仅为 15%。

5. 意义与结论 (Significance & Conclusion)

理论突破： 填补了模型预测控制在“数据驱动 + 模型辨识 + 策略优化”闭环框架下的理论空白，特别是解决了不确定性下的收敛性难题。
实际应用价值： 提供了一种无需精确先验模型即可自动调优 MPC 超参数的方法，显著提升了控制器在未知环境下的性能。
未来方向： 虽然本文未直接处理安全性（Safety）约束，但作者指出，结合之前工作 [11] 中的鲁棒设计方法，可以将学习到的模型用于构建安全证书（Safety Certificates），确保状态约束在所有迭代中始终满足（Anytime Feasibility）。

总结： 该论文成功地将可微优化、递归系统辨识和 MPC 控制理论融合，提出了一种在噪声和模型不确定性下具有严格收敛保证的自适应控制策略优化框架，并通过多种仿真验证了其优越性。