⚡ electrical engineering

Stability-Certified On-Policy Data-Driven LQR via Recursive Learning and Policy Gradient

本文提出了一种名为 Relearn LQR 的在线策略数据驱动框架，通过结合递归最小二乘法与直接策略梯度搜索，利用非线性系统平均化与时标分离理论，为未知动力学线性二次调节器问题提供了带有稳定性证明的闭环控制方案。

原作者： Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

发布于 2026-04-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Lorenzo Sforni, Guido Carnevale, Ivano Notarnicola, Giuseppe Notarstefano

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 Relearn LQR 的新方法，它能让机器人在完全不知道自身“身体构造”（动力学模型）的情况下，一边学习、一边控制，并且保证在这个过程中绝对不会“翻车”（即系统保持稳定）。

为了让你轻松理解，我们可以把这项技术想象成教一个从未开过飞机的飞行员（或者一个刚出生的婴儿）如何驾驶一架神秘的飞机。

1. 核心挑战：在迷雾中驾驶

想象一下，你被扔进了一架飞机的驾驶舱。

你不知道飞机怎么飞：你不知道引擎推力（ $B$ ）和机翼角度（ $A$ ）之间是什么关系。
你的目标是飞得最省油、最平稳（这就是数学上的“线性二次型调节器 LQR"问题）。
最大的风险：如果你乱按按钮，飞机可能会坠毁。传统的算法通常需要先“试飞”很多次来收集数据，然后停下来算出公式，再重新飞。但这在现实中很危险，因为试飞过程可能就会出事。

2. 传统方法的痛点

以前的方法主要有两种：

离线学习（Off-policy）：像是一个学生在教室里看了一万本飞行手册，或者用模拟器练了无数次，然后才上真机。但这需要大量数据，而且如果真机有意外（比如参数变了），书本知识就失效了。
在线试错（On-policy）：像是一个新手直接上真机。以前的方法通常是“飞一会儿 -> 停下来分析数据 -> 修改策略 -> 重置飞机 -> 再飞”。这就像每次走一步都要停下来查地图，效率极低，而且飞机需要反复重启，很不现实。

3. Relearn LQR 的绝招：边学边飞，且有“安全网”

这篇论文提出的 Relearn LQR 方法，就像给这位新手飞行员装上了一个超级智能的副驾驶，它有三个核心绝招：

绝招一：微操试探（Dithering Signal）

飞行员在控制飞机时，副驾驶会悄悄地在操纵杆上施加极其微小的、有规律的“抖动”（就像你在黑暗中摸索开关时，手指会轻微地左右晃动）。

作用：这种微小的抖动不会让飞机失控，但能让飞机产生微小的反应。通过分析这些反应，系统就能像“听声辨位”一样，迅速推断出飞机的物理特性（ $A$ 和 $B$ 矩阵）。
比喻：就像你在黑暗中摸索墙壁，轻轻敲击墙壁，通过回声来判断墙壁是厚是薄、是实是空。

绝招二：双速同步（Recursive Learning + Policy Gradient）

这是该方法最精妙的地方。它同时在做两件事，而且速度不同：

快动作（学习）：副驾驶以极快的速度，根据刚才的微小抖动和飞机反应，实时更新对飞机物理特性的“猜测”（参数估计）。这就像你的大脑在瞬间处理感官信息。
慢动作（优化）：主飞行员根据这些“猜测”，缓慢地调整飞行策略（控制增益 $K$ ），试图让飞机飞得更稳、更省油。这就像你根据路况慢慢调整方向盘的角度。

比喻：这就像骑自行车。你的身体（快系统）在毫秒级内不断微调平衡，而你的大脑（慢系统）在决定是向左转还是向右转。两者完美配合，而不是先停下来算算平衡公式再骑车。

绝招三：稳定性证书（Stability Certificates）

这是这篇论文最大的贡献。以前的方法虽然能学会，但没人能保证在学习过程中飞机不会坠毁。

作者用了一种叫**“平均化理论”的数学工具（可以想象成把快速抖动的细节“平均”掉，只看大趋势），证明了只要参数设置得当，这个“边学边飞”的系统永远会收敛到一个安全状态**。
比喻：这就像给这个学习过程颁发了一张**“安全合格证”**。它从数学上保证：无论飞机怎么变，只要按照这个算法飞，它最终一定会稳定下来，而且不会在过程中失控。

4. 实际效果：飞机也能“自适应”

论文在模拟中测试了两种情况：

静态飞机：飞机参数不变。结果：算法迅速学会了最佳飞行策略，误差几乎降为零。
漂移飞机：飞机在飞行过程中，引擎老化或机翼变形（参数随时间缓慢变化）。
- 结果：传统的算法可能会因为模型过时而失效，但 Relearn LQR 能实时感知变化，自动调整策略，继续稳定飞行。就像一位经验丰富的老司机，即使车坏了点零件，也能凭感觉把车开回家。

总结

这篇论文提出了一种**“在未知中探索，在探索中保证安全”**的终极控制方案。

它不再需要预先知道系统的精确模型，也不需要反复重启系统。它就像一位拥有“超能力”的飞行员：

一边在迷雾中通过微小的试探来看清飞机的构造；
一边根据看清的构造优化飞行路线；
并且头顶始终悬着一把数学尺子，确保每一步都在安全范围内。

这项技术对于机器人、自动驾驶汽车、无人机等需要在复杂、未知环境中实时工作的领域，具有巨大的应用潜力。

这篇论文提出了一种名为 Relearn LQR 的基于数据驱动的在线策略（On-Policy）控制框架，旨在解决系统动力学未知的线性二次型调节器（LQR）问题，并提供了严格的稳定性证明（Stability Certificates）。

以下是对该论文的详细技术总结：

1. 研究问题 (Problem)

核心挑战：在系统动力学矩阵（ $A^\star, B^\star$ ）完全未知的情况下，设计一个控制策略来求解无限时域 LQR 问题。
现有局限：
- 离线策略（Off-policy）：通常将数据收集与策略优化分离，或者依赖初始稳定策略，缺乏对闭环系统实时交互稳定性的严格分析。
- 在线策略（On-policy）：虽然能实时适应，但许多现有方法（如基于策略梯度的方法）缺乏对“学习 - 优化 - 控制”闭环耦合系统的整体稳定性证明，往往只关注渐近收敛性或遗憾界（Regret bounds）。
目标：开发一种在线策略方法，在应用当前策略控制真实系统的同时，迭代优化策略并估计系统参数，同时从理论上保证整个闭环学习控制系统的指数稳定性。

2. 方法论 (Methodology)

论文提出了 Relearn LQR (REcursive LEARNing policy gradient for LQR) 算法，其核心思想是将系统辨识与策略优化交织在一起，形成一个统一的双时间尺度反馈系统。

主要组件：

数据收集与激励 (Data Collection & Excitation)：
- 控制输入由当前策略 $K_t$ 和一个外部抖动信号（Dithering signal） $d_t$ 组成： $u_t = K_t x_t + d_t$ 。
- 抖动信号由一个外源振荡器生成，用于满足**持续激励（Persistency of Excitation, PE）**条件，确保参数可辨识。
递归学习过程 (Recursive Learning)：
- 利用**递归最小二乘法（RLS）**在线估计系统参数 $\theta^\star = [A^\star, B^\star]^\top$ 。
- 通过引入遗忘因子 $\lambda$ 和矩阵状态 $H_t, S_t$ ，实时处理状态 - 输入样本，更新参数估计 $\theta_t$ 。
策略优化过程 (Optimization Process)：
- 基于直接策略搜索（Direct Policy Search），将 LQR 问题转化为关于增益矩阵 $K$ 的无约束优化问题。
- 利用估计出的参数 $\theta_t$ 替代真实参数，计算近似梯度，并更新策略增益： $K_{t+1} = K_t - \gamma G(K_t, \theta_t)$ 。
闭环系统建模：
- 将抖动动力学、系统状态、RLS 估计器状态和策略增益更新建模为一个非线性时变反馈互联系统。
- 该系统被分解为快子系统（状态 $x$ 和参数估计误差）和慢子系统（策略增益 $K$ 和参数估计 $\theta$ 的演化）。

3. 理论分析与稳定性证明 (Theoretical Analysis)

论文的核心贡献在于利用**平均理论（Averaging Theory）和双时间尺度系统（Two-time-scale Systems）**理论，为整个闭环系统提供了严格的稳定性保证。

误差坐标变换：将系统转换为相对于稳态轨迹的误差坐标。
平均系统构建：
- 假设快状态（状态和参数估计）迅速收敛到其稳态流形，构建了一个平均系统（Averaged System）。
- 证明了该平均系统的原点（即最优增益 $K^\star$ 和真实参数 $\theta^\star$ ）是指数稳定的。
主要定理 (Theorem 3.3)：
- 在满足持续激励和适当步长 $\gamma$ 的条件下，整个闭环系统（包括学习、优化和控制）是指数稳定的。
- 收敛性：策略增益 $K_t$ 和参数估计 $\theta_t$ 以线性速率指数收敛到最优解 $K^\star$ 和真实值 $\theta^\star$ 。
- 实际稳定性：由于抖动信号的存在，系统状态在原点附近振荡，但振荡幅度可通过抖动幅度任意调节，因此系统是**实际指数稳定（Practically Exponentially Stable）**的。
关键区别：与现有文献不同，该方法不仅证明了收敛性，还证明了在迭代过程中，生成的策略 $K_t$ 始终能稳定真实系统（即 $K_t$ 始终属于稳定增益集 $\mathcal{K}$ ）。

4. 数值模拟结果 (Numerical Results)

论文在高机动飞机纵向动力学模型上进行了仿真验证：

静态参数场景：
- 系统参数未知。
- 结果显示，成本函数误差 $|J(K_t) - J^\star|$ 和参数估计误差 $\|\theta_t - \theta^\star\|$ 均快速收敛至零。
- 闭环状态轨迹在抖动信号作用下围绕原点振荡，验证了稳定性。
漂移参数场景 (Drifting Parameters)：
- 模拟系统矩阵随时间缓慢变化（通过 Sigmoid 函数平滑过渡到新参数）。
- 结果显示，Relearn LQR 能够动态适应变化，在参数突变点附近误差短暂增加后，迅速重新收敛到新的最优轨迹。
- 证明了该方法在非平稳环境下的鲁棒性和自适应能力，无需重启优化或学习过程。

5. 主要贡献与意义 (Contributions & Significance)

首个稳定性认证的在线 LQR 框架：
- 不同于大多数仅关注遗憾界（Regret）或渐近收敛性的数据驱动方法，本文提供了针对整个闭环互联系统（包含学习、优化和控制动态）的严格指数稳定性证明。
在线策略与实时适应：
- 实现了真正的“在线”学习，数据收集与策略更新同步进行，无需像某些方法那样反复初始化系统或分阶段进行。
- 能够处理时变系统和参数漂移，具有极强的适应性。
理论工具的创新应用：
- 巧妙地将平均理论应用于数据驱动的 LQR 问题，解决了非线性时变耦合系统的稳定性分析难题，为未来复杂控制系统的理论分析提供了新范式。
实际意义：
- 为在未知且可能变化的环境中（如航空航天、机器人）部署安全、稳定的自适应控制器提供了理论依据和可行方案。

总结

Relearn LQR 是一种将系统辨识与策略梯度优化深度融合的算法。它通过引入抖动信号保证激励，利用 RLS 进行参数估计，并结合平均理论证明了在未知系统下，该在线学习控制闭环具有指数稳定性。这一工作填补了数据驱动控制中“稳定性认证”的理论空白，特别是在处理时变和不确定性系统方面展现了巨大的潜力。