📊 statistics

Learning to control switching nonlinear systems with Koopman operator regression

本文提出了一种针对具有有限动作空间的非线性系统的控制框架，该框架利用再生核希尔伯特空间中的 Koopman 算子回归来学习线性切换预测模型，并将其应用于具有学习率和次优性理论保证的模型预测控制中。

原作者： Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人用手指平衡一根摇晃且难以捉摸的木棒。这根木棒不仅仅是会倒下，它还会根据机器人的推力产生扭转、旋转和各种怪异的非线性反应。这就是科学家所说的“非线性系统”，由于其数学处理起来极其复杂，控制起来非常困难。

这篇论文介绍了一个巧妙的技巧来驯服这种混沌。作者建议不要直接尝试解决那些混乱、扭曲的数学问题，而是将问题“提升”（lifting）到一个不同的世界——一个高维空间，在那里规则突然变得简单且笔直。这就像是将一团乱麻神奇地拉伸开，直到它变成一条完美的直线。在这个新世界里，那根混沌的木棒表现得就像一个可预测的、直线移动的物体。

神奇的阶梯：Koopman 算子
他们用来进行这种“拉伸”的工具被称为 Kopperan 算子。在现实世界中，木棒的运动是一条复杂的曲线。但在这种“提升”后的世界里，运动只是一个简单的开关。如果机器人向左推，木棒就向一个方向移动；如果向右推，则向另一个方向移动。这就像一列火车只能在几条既定的轨道上选择运行。作者证明，即使原始系统是一个狂野的非线性怪兽，只要机器人拥有一组有限的选择动作，我们就能找到描述其行为的一系列“铁轨”（线性算子）。

从少量快照中学习
问题在于：机器人还不知道这些轨道在哪里。它必须通过学习来掌握它们。作者通过向机器人展示大量关于木棒运动的“快照”来对其进行教学。他们使用了一种称为 Koopman 算子回归（一种通过数据学习模式的高级说法）的方法，来确定这些轨道的具体形态。

他们从数学上证明，如果你给机器人足够的快照，它就能以极高的精度学习这些轨道。你喂给机器人的数据越多，学到的轨道就越接近真实的轨道。他们不仅仅是在猜测，而是推导出了特定的速率，显示出误差是如何随着数据点数量的增加而缩小的。例如，在最快的情况下，预测下一步的误差以特定速率（随 $n^{-1/6}$ 缩放）下降，这意味着模型变得越来越精准。

“向前看”策略：模型预测控制 (MPC)
一旦机器人知道了轨道，它仍然需要决定在每一时刻该走哪条路。这篇论文使用了一种名为 模型预测控制 (MPC) 的策略。想象一下，机器人就像一名棋手，它不仅看眼下的棋步，还在脑海中模拟接下来的 10 或 15 步，以观察哪条路径能带来最好的结果。

作者证明，即使机器人的“预见距离”（预测时界）很短，它依然能做得很好。他们证明，如果机器人看得足够远（具体来说，如果时界 $T$ 相对于由系统代价函数导出的常数 $C$ 足够大），该策略的表现将几乎等同于完美的无限时界计划。随着机器人向前看的步数增加，“次优性”（即与完美计划相比的差距）会呈指数级下降。

关于错误的处理
由于机器人是从数据中学习这些轨道的，它可能会犯一些小错误。论文正面应对了这个问题。他们表明，即使使用这些学到的、略有偏差的轨道，机器人的性能也不会崩溃。相反，最终的代价（即平衡木棒的效果）会保持在一个可预测的范围内。学习误差越大，最终结果就稍差一些，但这种关系是平滑且受控的。他们不仅说这种情况会发生，还写下了展示学习误差如何转化为控制误差的具体公式。

实测演练：达芬公式（Duffing 振荡器）
为了证明这不仅仅是理论，作者在一个著名的摇摆系统——Duffing 振荡器上测试了它。他们模拟了机器人控制该系统的过程，并使用了两组不同的动作：一组是对称集合（以相等的力向左或向右推），另一组是非对称集合（增加了更强的“推力”选项）。

在模拟中，他们发现：

数据越多越好： 当他们将训练快照的数量从少量增加到 $10^6$ 时，机器人的性能显著提升。
看得越远越好： 当他们将“向前看”的时界 $T$ 从 1 步增加到 15 步时，机器人对系统的稳定效果也更好。在短时界（ $T=1$ ）下，系统会在多个吸引子之间徘徊（无法决定停留在哪里）；而在长时界（ $T=15$ ）下，它能平滑地稳定在中心位置。
代价函数很重要： 他们使用了一个包含折扣因子 $\lambda = 0.9999$ 的特定代价函数，以确保机器人关注长期未来，而不会陷入无限循环。

他们并未声称的内容
需要注意的是，这篇论文并没有声称该方法适用于任何具有无限控制选项的系统；他们明确要求必须是一个有限的动作集（例如具有几个位置的开关）。他们也并未声称在控制集有限的情况下，系统在极限状态下会变得完美稳定；相反，他们使用了一个随时间变化的代价函数，以处理系统可能只是保持有界而非完美收敛于零的情况。他们避免了假设系统是“遍历的”（一种关于时间平均值的特定统计特性），这使得他们的方法比以往的方法更具灵活性。

核心结论
作者在混乱的现实世界非线性混沌与简洁的线性数学之间架起了一座桥梁。他们证明了通过“提升”问题、从数据中学习规则并使用智能的“向前看”策略，可以有效地控制复杂系统。他们通过数学证明了这一点，并通过在经典摇摆系统上的模拟验证了其有效性。虽然他们尚未在真实的物理机器人上进行测试（这是未来的步骤），但数学逻辑和计算机模拟表明，这是一个可靠且稳健的方法，可以教机器如何应对不可预测的情况。

技术摘要：基于 Koopman 算子回归的学习控制切换非线性系统

问题陈述

本研究旨在解决识别和控制控制空间 $U$ 为有限集的非线性动力学系统的问题。系统的动力学由非线性切换流映射 $f: X \times U \to X$ 描述，其差分方程为 $x_{t+1} = f(x_t, u_t)$ 。控制此类系统的主要困难在于两个方面：

非线性与未知动力学： 流映射 $f$ 通常是未知的且具有非线性，这使得求解无限时界最优控制问题在计算上变得难以处理。
有限控制集： 控制集的有限性可能导致闭环动力学虽然最终是有界的，但在极限意义下并非渐近稳定的，这可能导致最优控制代价出现无界情况。

为了解决这些问题，作者提出了一个数据驱动的框架，通过利用 Koopman 算子形式化方法，将非线性切换问题转化为再生核希尔伯特空间（RKHS）中的线性切换问题。

方法论

1. RKHS 中的 Koopman 提升

核心方法涉及通过特征映射 $\psi: X \to \mathcal{H}$ 将状态空间 $X$ 提升到高维（可能是无限维）的可观测空间 $\mathcal{H}$ 。

线性切换动力学： 对于有限控制集 $U$ ，非线性动力学被表示为作用在提升状态 $z_t = \psi(x_t)$ 上的一个线性算子族 $\{K_u\}_{u \in U}$ 。其演化遵循 $z_{t+1} = K_{u_t} z_t$ 。
算子构建： 作者通过扩展定义在状态空间像上的预 Koopman 算子，来定义 RKHS $\mathcal{H}$ 上的 Koopman 算子 $K_u$ 。这种扩展依赖于核函数是严格正定的，且算子在 $\mathcal{H}$ 的稠密子空间上一致有界的假设。
避免不变测度： 与现有的一些文献不同，该方法在定义算子时不需要存在或已知不变测度（例如对于遍历动力学）。

2. 通过回归进行数据驱动识别

由于算子 $K_u$ 是未知的，因此通过在 RKHS 中进行非参数回归，利用有限的数据样本来估计它们。

学习问题： 对于每个控制 $u$ ，通过求解正则化算子值回归问题（Tikhonov 正则化）来学习算子 $\hat{K}_u$ ，以最小化预测的提升状态与观测到的下一状态之间的误差。
收敛保证： 本文推导了近似误差 $\|\hat{K}_u - K_u\|$ 的学习率。这些速率取决于样本量 $n$ 、核函数的性质以及一个“源条件”参数 $r \in (1/2, 1]$ ，该参数量化了目标算子相对于核几何结构的平滑度。该分析不依赖于遍历性或时间可逆性的假设。

3. 模型预测控制 (MPC)

为了在提升空间中求解无限时界最优控制问题，作者采用了模型预测控制（MPC）。

时变阶段代价： 为了处理由于有限动作可能导致的缺乏渐近稳定性问题，阶段代价 $\ell(t, z, u)$ 被显式地设计为随时间变化的（例如引入折扣因子）。这确保了最优控制代价保持有界。
精确与非精确 MPC：
- 精确 MPC： 假设真实的 Koopman 算子已知。本文证明，在满足控制性假设的前提下，次优间隙随预测时界 $T$ 指数级衰减。
- 非精确 MPC： 使用学习到的代理模型 $\hat{K}_u$ 。本文通过结合统计学习误差（来自 Koopman 回归）与 MPC 算法的鲁棒特性，来量化次优间隙。

主要贡献

针对有限控制的线性切换模型： 本研究为具有有限控制空间的非线性动力学形式化了一种基于 Koopman 的线性预测模型，避免了其他工作中常见的双线性或线性时不变假设。
具有收敛界的非参数学习： 作者展示了如何通过 RKHS 中的非参数回归来学习这些 Koopman 模型。他们推导出的学习界限不依赖于遍历性或时间可逆性，提供了一个更通用的理论框架。
鲁棒 MPC 公式化： 本文针对有限动作集，通过引入时变阶段代价，构建了一个无限时界、无约束的最优控制问题。利用 MPC 来求解该问题，并提供了理论性能分析。
次优性分析：
- 对于精确 Koopman 动力学，本文推导了次优界限，显示其随时界长度呈指数级衰减。
- 对于学习到的（代理）动力学，本文提供了一个高概率界限，将统计学习误差与闭环控制性能联系起来。这架起了统计学习理论与鲁棒控制之间的桥梁。
经验验证： 提出的算法在 Duffing 振荡器基准测试上进行了实现和测试，从经验上验证了关于预测时界和训练样本数量对控制性能影响的理论发现。

结果与发现

学习率： 理论分析表明，近似 Koopman 模型的单步预测误差在最快机制下（取决于源条件参数 $r$ ）按 $O(n^{-1/6})$ 缩放。这与监督学习中的速率相匹配，表明估计是紧致的。
MPC 性能：
- 精确 MPC 的次优间隙随预测时界 $T$ 指数级衰减。
- 当使用学习模型时，次优间隙受限于一个取决于学习误差 $\epsilon(n, \delta)$ 的项。随着样本量 $n$ 的增加，学习模型变得更加精确，闭环代价趋向于最优值。
数值模拟： 在 Duffing 振荡器上的实验证实了：
- 增加预测时界 $T$ 可以提高控制器性能，实现更好的原点附近稳定。
- 增加训练样本数 $n$ 可以降低控制代价，验证了理论学习界限。
- 该方法在对称和非对称控制集下均能有效工作，其中非对称集合表现出更快的切换面接近速度。

意义与主张

本文声称为使用数据驱动 Koopman 算子控制切换非线性系统提供了一个严谨的理论框架。其意义在于：

连接理论与实践： 它将统计学习理论（RKHS 回归）与控制理论（MPC）相结合，为数据驱动控制提供了可证明的性能保证。
泛化性： 通过避免遍历性或特定系统结构（如双线性）的假设，该方法适用于更广泛的具有有限控制输入的非线性系统。
可量化的鲁棒性： 该工作明确量化了来自有限数据的估计误差如何传播到控制性能，提供了连接学习与控制的“高概率桥梁”。
实际应用： 作者提供了开源实现，并通过 Duffing 振荡器模拟证明了其理论次优界限在实践中是相关的。

作者的表述保持了谦逊，指出理论分析依赖于特定的假设（如有界性、源条件），并且未来的工作可以将其扩展到不同的采样策略，或验证特定类非线性系统的假设。他们也承认，实际应用可能需要对最优控制问题中固有的组合搜索进行近似处理。