⚡ electrical engineering

Kernel-Based Learning of Stable Nonlinear Systems

本文提出了一种基于核的非线性辨识程序，该程序利用增强的再生核理论和表示定理，系统地学习具有保证稳定性属性（如输入-状态稳定性）的离散时间动力学模型，并通过数值结果证明，这些约束在对短期预测影响极小的情况下，提高了长期模拟的准确性。

原作者： Matteo Scandella, Michelangelo Bin, Thomas Parisini

发布于 2026-08-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Matteo Scandella, Michelangelo Bin, Thomas Parisini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人预测未来。你给它看一段摆动的钟摆或弹跳的小球的视频，并要求它猜猜物体下一个位置会在哪里。在科学领域，这被称为“系统辨识”。这就像是试图仅通过品尝几口蛋糕，就摸索出它的秘密配方。但问题在于：一个好的配方不仅要在第一口时味道对，还得能永远有效。如果你的机器人学到了一个让小球越跳越高、直到飞向太空的配方，那就是一场灾难。在数学和工程学中，我们称之为“稳定性”。一个稳定的系统就像一只乖巧的狗，无论你扔出多少球，它都会留在院子里。而不稳定的系统则是一只会追着球冲进车流里的狗。几十年来，科学家们非常擅长教机器人处理那些简单且线性的世界，比如一条直线。但真实世界是混乱、弯曲且非线性的——就像过山车一样。教机器人预测过山车的路径而不至于发生撞车，是一个巨大的、尚未解决的谜题。

这篇由 Matteo Scandella、Michelangelo Bin 和 Thomas Parisini 撰写的论文，正是针对这个“过山车问题”展开讨论。他们提出了一种新方法，教计算机学习这些混乱的非线性系统，同时保证其稳定性。把他们的方法想象成学习过程中的一个“安全护栏”。通常情况下，当计算机学习时，它只是试图尽可能地贴合数据，即使这意味着它可能会学到一个疯狂且不稳定的模式。作者们利用一种被称为“核”（kernels）的数学框架（它们就像是灵活的、变形的透镜，帮助计算机识别模式）构建了一个框架，并在学习过程中加入了严格的规则。这些规则就像是俱乐部的保镖，确保只有“稳定”的模型才能进入。他们展示了通过调整计算机选择学习设置的方式（称为超参数），我们可以迫使模型在几种特定的方式下保持稳定，例如确保输入变大时模型不会失控，或者确保预测中的微小误差不会随时间演变成巨大的错误。

研究人员不仅仅是凭空构想；他们还进行了测试。他们在两种不同类型的系统上运行了模拟：一种是已知稳定的系统，另一种则更为复杂。他们将这种“带有安全护栏”的学习方法与不考虑稳定性的标准学习方法进行了对比。结果令人振奋。在模拟实验中，他们的方法学到的模型在预测下一步时，表现得与标准方法一样出色。但神奇之处在于，当他们让模型长时间运行以模拟未来时，标准模型开始发生漂移并变得疯狂，而作者提出的稳定模型则始终保持在轨道上。他们甚至在一个神经元中的钾离子通道模型上进行了测试，证明了该方法可以在其他方法失效的长周期模拟中保持准确。

论文指出，这种方法是解决一个长期存在问题的系统性途径。然而，作者也谨慎地指出，他们的“安全护栏”并非没有代价。有时，对于稳定性过于严苛的要求可能会导致模型在拟合数据时精确度略有下降，尤其是在模型非常复杂的情况下。他们发现，对于某些类型的数学“透镜”（核），保证稳定性比其他类型更容易。例如，他们展示了某些流行的透镜除非经过修改，否则根本无法用来保证最严格类型的稳定性。但总体而言，他们的工作为那些需要构建在现实世界中使用且不会崩溃或失败的预测模型的工程师们，提供了一套坚实的、经过数学证明的工具包。这是让人工智能不仅变得聪明，而且变得安全可靠的一大步。

技术摘要：基于核的稳定非线性系统学习

问题阐述
本文针对系统辨识中的一个关键空白提出了研究：即缺乏能够系统性保证所学习的离散时间非线性模型具有特定稳定性属性的学习程序。虽然稳定性对于预测和仿真的鲁棒性至关重要（特别是在长时程内），但现有的方法往往无法确保识别出的模型能继承底层系统的稳定性。经典的线性时不变（LTI）系统存在此类方法，但由于稳定性概念和建模技术的多样性，非线性情形在很大程度上仍是一个开放问题。目前的非线性方法（如使用神经网络或 Koopman 算子的方法）通常难以处理数值约束违规问题，或者依赖于两步法——即先识别一个不稳定的模型，然后再对其进行修改。作者提出了一个统一的框架，用于直接学习满足有界输入有界状态（BIBS）稳定性、输入状态稳定性（ISS）及其增量对应项（ $\delta$ BIBS, $\delta$ ISS）的稳定非线性预测器，同时确保对预测误差的稳定性。

方法论
所提出的方法通过将稳定性约束直接嵌入到学习算法和超参数选择过程中，扩展了标准的基于核的正则化回归框架。

正则化核学习： 预测函数 $f$ 通过求解正则化最小二乘问题，从再生核希尔伯特空间（RKHS）中进行选择。该解被保证以核函数的线性组合形式存在（表示定理）。
通过可行集实现稳定性： 为了强制执行稳定性，作者为核超参数引入了“可行集”（ $\Omega_k$ ）的概念。该集合将超参数的选择限制在能够确保生成的 RKHS 函数满足特定稳定性充分条件的范围内。
约束优化： 学习过程涉及一个双层优化问题：
- 外层循环（模型选择）： 在约束超参数属于可行集 $\Omega_k$ 的条件下，选择使代价函数（例如经验贝叶斯或交叉验证）最小化的超参数。
- 内层循环（预测器选择）： 通过在 RKHS 范数约束（ $|f|_{k_\eta}^2 \leq \chi$ ）下求解正则化回归问题来获得预测器 $f$ 。该范数约束对于满足理论分析中推导出的稳定性条件至关重要。
理论条件： 本文推导了关于核函数（特别是关于其增长性和度量性质）的充分条件，这些条件保证了学习到的系统 $\Sigma(f)$ 具有所需的稳定性属性。这些条件将核的行为与一个同时模拟输入输出动力学和预测误差演化的辅助动力系统联系起来。

核心贡献

系统性的稳定性强制执行： 本文提供了一种系统性的非参数化方法，用于学习具有保证稳定性属性（BIBS, ISS, $\delta$ BIBS, $\delta$ ISS）的非线性模型，而不依赖于特定的模型结构（如 ARMAX 或神经网络）。
稳定性与误差的统一框架： 该方法不仅保证了系统对外部输入的稳定性，还保证了对预测误差的稳定性。这对于仿真具有重要意义，因为它防止了在无限时程内误差的无限累积。
核可行性分析： 作者分析了各种常见核结构（线性、多项式、高斯、Matérn 和平稳核）的“可行性”。他们确定了虽然平稳核通常适用于 BIBS 稳定性，但除非经过修改（例如通过与退化核复合），否则它们并不适用于 ISS。
理论保证： 本文证明，如果核超参数是从特定的可行集中选择的，并且 RKHS 范数受到约束，则生成的预测器将保证所需的稳定性属性。

结果
理论发现通过数值实验得到了验证：

合成模型： 在两个合成离散时间系统（一个是 ISS，一个是 $\delta$ ISS）上的蒙特卡洛模拟表明，所提出的约束方法在提供严格稳定性保证的同时，实现了与无约束方法相当的预测和仿真性能。
Hodgkin-Huxley 神经元模型： 在涉及识别神经元模型中钾离子通道动力学的现实应用中显示：
- 无约束模型（Ha）随时间表现出巨大的仿真误差，使其不适用于长期仿真。
- 针对 $\delta$ BIBS 稳定性及弱渐近增益进行约束的模型（Hb）提供了一种平衡，在不显著损失预测准确性的情况下保持了良好的仿真性能。
- 针对 $\delta$ ISS 进行约束的模型（Hc）保证了相对于预测误差的有界仿真误差，但会导致预测性能略微下降。
- 至关重要的是，约束模型防止了仿真误差的发散，证实了对预测误差稳定性性的理论益处。

意义与主张
本文声称为学习稳定非线性系统这一开放问题提供了一个灵活且系统的解决方案。通过利用再生核理论，该方法允许使用各种核函数和评估准则（如经验贝叶斯），同时确保稳定性。作者强调，稳定性保证涵盖了系统对输入的响应以及预测误差的累积，这对于仿真应用至关重要。

作者也谦逊地承认了局限性：稳定性条件可能较为保守，可能导致与无约束模型相比出现预测性能的损失，且计算复杂度可能会随模型维度增加。然而，他们认为考虑到所提供的鲁棒性保证（特别是对于误差累积是主要问题的长时程仿真），这些权衡是可以接受的。这项工作代表了弥合数据驱动学习与控制理论稳定性需求之间差距的一步。

类似论文