⚡ electrical engineering

A Data-Driven Algorithm for Model-Free Control Synthesis

本文提出了一种无需系统动力学模型、仅利用有限长度输入输出数据即可合成连续时间系统最优无限时域 LQR 反馈控制器及前馈增益的数据驱动算法，并提供了理论证明及包括真实无人机在内的实例验证。

原作者： Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

发布于 2026-02-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Sean Bowerfind, Matthew R. Kirchner, Gary Hewer

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种**“不用看说明书，只靠试错就能学会控制飞机”**的聪明算法。

为了让你更容易理解，我们可以把控制一架飞机（或者任何复杂的机器）想象成教一个从未开过车的人如何驾驶。

1. 传统方法 vs. 新方法

传统方法（看说明书）：
以前，如果你想让飞机自动保持平衡或跟随指令，工程师必须先像物理学家一样，把飞机的每一个零件、空气阻力、引擎推力全部算清楚，写出一本厚厚的“数学说明书”（也就是论文里说的系统动力学模型 $A$ 和 $B$ 矩阵）。只有拿到了这本说明书，才能计算出完美的控制策略。
- 缺点： 如果飞机是新的、或者太复杂（比如像论文里提到的那种小无人机），根本算不出这本说明书，或者算出来太贵、太慢。
新方法（直接看数据）：
这篇论文提出的算法就像是一个**“天才模仿者”**。它不需要那本厚厚的“数学说明书”。它只需要你给飞机一些指令（比如左右摇动副翼），然后记录飞机是怎么反应的（比如滚转了多少度）。
- 核心思想： 只要观察得足够仔细，它就能直接从这些**“试错数据”**中，算出完美的控制策略，完全跳过了“先建模”这一步。

2. 它是如何工作的？（核心比喻）

想象你在教一个盲人走迷宫。

传统方法是：先画一张完美的迷宫地图，然后告诉盲人怎么走。
这篇论文的方法是：让盲人先试着走几步，记录他每一步的**“感觉”**（比如：往左走了一步，感觉身体向右倾斜了 5 度）。

论文里有一个很厉害的数学发现（定理 1）：

无论迷宫多复杂，只要走对了路，“身体的倾斜感”和“下一步的动作”之间，一定存在一个完美的数学平衡关系。

这个算法就是利用这个**“平衡关系”**。它收集了飞机在风中乱飞时的数据（就像盲人乱走时的记录），然后问自己：“如果我要让飞机最平稳、最省油（这就是 LQR 优化的目标），那么根据刚才那些歪歪扭扭的数据，我下次该按什么力度去推操纵杆？”

它通过一个复杂的数学考试（非线性规划问题 NLP），强行让计算出的控制策略符合那个“平衡关系”，最后直接算出了最佳控制手柄的灵敏度（增益矩阵 K）。

3. 三个主要突破

这篇论文不仅解决了“怎么控制”，还解决了两个实际难题：

不仅要稳，还要听话（参考跟踪）：
以前的算法只能让飞机“稳住不翻”，但如果你想让飞机“跟着我手指的方向飞”（比如飞一个 8 字），就需要额外的技巧。这个算法能同时算出“怎么稳住”和“怎么跟随”，就像教盲人不仅不摔倒，还能跟着你的节奏跳舞。
半懂不懂也能用（混合模型）：
有时候，你知道飞机的引擎是怎么转的（已知部分），但不知道机翼在风里怎么晃（未知部分）。这个算法可以把“已知的引擎知识”和“未知的机翼数据”结合起来，像拼拼图一样，算出完整的控制方案。
抗干扰能力强（鲁棒性）：
现实中的数据都是脏的（有噪音、传感器误差）。这个算法在设计时就考虑了“数据是脏的”，它通过一种隐式的方法，像过滤网一样，自动忽略那些因为风大导致的错误数据，只提取有用的规律。

4. 真实世界的验证（真机试飞）

为了证明这不是纸上谈兵，作者真的造了一架1/19 比例的波音 737 模型机（Freewing AL37）。

第一步（采集数据）： 他们关掉所有自动稳定系统，让人类飞行员在大风天里手动飞这架飞机，记录下飞行员怎么动操纵杆，飞机怎么动。
第二步（算法计算）： 把这些数据喂给电脑，让算法算出“最佳控制策略”。
第三步（验证）： 把算出来的策略装回飞机。结果发现，在同样大风的条件下，这架飞机能完美地跟着飞行员的指令飞出一个"8 字”航线，就像有一个隐形的老司机在帮它稳住一样。

总结

这篇论文就像是在说：

“你不需要知道飞机为什么能飞（不需要懂空气动力学），你只需要知道‘当你推杆时，飞机往哪边歪’。只要收集足够多的这种‘推杆 - 歪斜’的数据，我的算法就能直接算出最完美的自动驾驶程序，哪怕是在狂风暴雨中也能飞得稳稳当当。”

这对于那些太复杂无法建模、或者太昂贵无法反复试错的系统（如新型无人机、机器人）来说，是一个巨大的进步。它让“数据”直接变成了“智慧”。

这是一份关于论文《A Data-Driven Algorithm for Model-Free Control Synthesis》（一种用于模型无关控制综合的数据驱动算法）的详细技术总结。

1. 问题背景 (Problem)

传统的线性二次型调节器（LQR）设计依赖于对系统动力学矩阵（ $A$ 和 $B$ ）的完全已知。然而，在许多实际应用中（特别是航空航天领域的小型无人机 UAV），获取精确的系统模型非常困难或成本高昂：

模型未知： 系统可能是非线性的，或者其动力学参数难以通过理论推导或风洞测试精确获得。
现有方法的局限性：
- 系统辨识： 先辨识模型再设计控制器，增加了中间步骤和误差累积。
- 在线强化学习（On-policy）： 需要实时更新策略并生成新数据，对机载嵌入式处理器的计算资源要求高，且难以在固件受限的平台上实施。
- 离线方法： 许多现有离线方法假设离散时间系统，且在采样时间较小时对数据噪声敏感。
核心挑战： 如何仅利用有限长度的输入 - 输出数据（包含噪声），在不依赖系统动力学模型（ $A, B$ ）的情况下，直接合成最优的无限时域 LQR 反馈控制器及前馈控制器？

2. 方法论 (Methodology)

该论文提出了一种基于数据驱动的模型无关（Model-Free）算法，直接从观测数据中合成 LQR 控制器。其核心逻辑如下：

A. 理论基础：最优性必要条件

作者推导了一个关于最优值函数（Value Function）沿任意轨迹演化的必要条件。

对于连续时间系统，最优值函数 $V(x) = x^T P x$ 满足特定的动态约束。
通过哈密顿 - 雅可比（Hamilton-Jacobi）方程和代数 Riccati 方程（ARE），作者证明了在最优控制律 $u = -Kx $下，值函数的时间导数$ \dot{V} $与状态$ x $、控制输入$ u $及权重矩阵$ Q, R$ 之间存在确定的代数关系（公式 8）。
关键突破： 该关系式消除了对系统矩阵 $A$ 的依赖，仅涉及 $P$ （或 $K$ ）、 $Q$ 、 $R$ 以及观测到的轨迹数据。

B. 算法核心：约束优化问题 (NLP)

基于上述必要条件，作者构建了一个非线性规划（NLP）问题来求解最优增益矩阵：

离散化： 将连续时间的动态约束离散化，利用有限差分法（如欧拉法）近似 $\dot{x}$ 。
隐式约束： 构建优化问题，目标是最小化观测输出 $Y$ 与估计状态 $X$ 之间的误差（处理测量噪声），同时强制满足离散化的动态约束方程。
变量设计：
- 直接求解 $P$ 可能无法保证半正定性。因此，算法引入变量 $L$ ，令 $P = L^T L$ ，从而在优化过程中自动保证 $P$ 的半正定性。
- 优化变量包括： $L$ （决定 $P$ ）、 $K$ （反馈增益）以及潜在的状态轨迹 $X$ 。

C. 扩展应用

论文将该方法扩展到了两个更复杂的场景：

模型无关参考跟踪（Reference Tracking）：
- 不仅计算反馈增益 $K$ ，还同时计算前馈增益 $F$ ，以实现 $u = -K(x-Hr) + Fr$ 结构，消除稳态误差。
- 通过定义误差状态 $\tilde{x} = x - Hr$ 和修正控制输入，将跟踪问题转化为上述 NLP 框架。
混合模型（Mixed-Model）控制：
- 针对部分动力学已知（如执行器动力学 $\hat{A}, \hat{B}$ 已知）但主体系统未知的情况。
- 将已知部分与未知部分组合成增广状态向量，利用已知矩阵约束优化问题，求解剩余未知部分的增益。

3. 关键贡献 (Key Contributions)

理论创新： 提出了一个基于值函数动态约束的模型无关 LQR 合成必要条件，该条件不依赖于系统矩阵 $A$ 和 $B$ ，仅依赖输入输出数据。
算法设计： 提出了一种基于非线性规划（NLP）的离线算法，能够直接从含噪数据中同时求解反馈增益 $K$ 和前馈增益 $F$ 。
鲁棒性处理： 通过引入隐式状态变量和 $P=L^T L$ 的参数化形式，算法对测量噪声具有鲁棒性，且能保证解的数学性质（半正定性）。
混合模型框架： 首次将模型无关方法推广到“部分已知动力学”的混合模型场景，提高了方法的实用性。
实物验证： 在真实的小型无人机（UAV）上进行了飞行测试，验证了算法在未知非线性动力学和强风干扰下的有效性。

4. 实验结果 (Results)

论文通过三个案例验证了方法的有效性：

已知线性系统基准测试（A-4D Skyhawk 模型）：
- 设置： 使用已知的 A-4D 侧向动力学模型生成数据。
- 结果： 模型无关方法计算出的增益矩阵 $\hat{K}$ 和 $\hat{F}$ 与基于真实 $A, B$ 矩阵计算出的“真值”LQR 控制器（ $K^*, F^*$ ）高度一致。
- 性能： 闭环仿真显示，模型无关控制器的跟踪性能与真值控制器几乎无法区分。
混合模型参考跟踪：
- 设置： 在 A-4D 模型中引入已知的一阶执行器动力学（舵面伺服），构建混合模型。
- 结果： 算法成功求解了包含已知执行器动态的混合模型 LQR 增益。
- 性能： 闭环响应与真值解非常接近，证明了混合模型方法的有效性。
真实飞行测试（Subscale UAV）：
- 对象： Freewing AL37 小型无人机（1/19 比例波音 737 机身），具有未知的非线性动力学。
- 过程：
  - TF1（数据采集）： 在无人工稳定辅助下，由飞行员手动飞行收集滚转角和滚转速率数据（含噪声）。
  - 合成： 利用采集数据运行 NLP 算法，合成滚转控制器。
  - TF2（验证）： 在强风条件下，启用模型无关控制器进行"8"字形飞行测试。
- 结果： 控制器成功稳定了飞机，能够精确跟踪飞行员的滚转指令，即使在强风干扰和地面速度剧烈变化的情况下，稳态误差极小。这证明了算法在真实、嘈杂环境下的鲁棒性。

5. 意义与影响 (Significance)

降低工程门槛： 该方法消除了对精确系统建模的依赖，使得在难以建模或成本敏感的系统（如小型无人机）上应用最优控制成为可能。
无需在线计算： 作为离线算法，它不需要在飞行过程中进行复杂的在线参数辨识或策略更新，适合计算资源受限的嵌入式系统。
数据驱动的新范式： 展示了如何直接从物理系统的输入输出数据中“提取”最优控制律，为强化学习（特别是 Q-learning 和优势学习）在连续时间控制中的应用提供了新的理论视角和实用工具。
实际应用潜力： 通过真实的飞行测试，证明了该理论不仅停留在仿真层面，而是能够解决实际的工程问题，特别是在处理未知非线性动力学和外部扰动方面表现出色。

总结： 该论文提出了一种严谨且实用的数据驱动控制综合方法，通过构建基于值函数动态约束的优化问题，实现了从含噪数据到最优 LQR 控制器的直接映射，并在仿真和真实飞行中得到了充分验证。