⚡ electrical engineering

Local Observability and Moving Horizon Estimation-based Training of Feedforward Neural Networks

本文通过将具有 ReLU 激活的前馈神经网络重构为动态系统、分析其局部可观测性以推导充分条件与输入设计策略，从而从控制理论视角建立了权重估计的收敛性保证，提出了一种基于移动 horizon 估计的训练方法。

原作者： Yi Yang, Victor G. Lopez, Matthias A. Müller

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yi Yang, Victor G. Lopez, Matthias A. Müller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和创造性类比对该论文的解读。

全景图：用地图调收音机

想象你有一台复杂的收音机（一个神经网络），需要将其调谐以完美接收特定电台。这台收音机上的“旋钮”就是它的权重（网络内部决定其如何处理信息的数字）。

通常，人们通过试错来调谐这些收音机：稍微转动一个旋钮，听听声音，再转动一次。这就像论文中提到的标准“反向传播”方法。它确实有效，但没有人能从数学上证明确切何时或为何它能找到完美设置，或者它是否会陷入死胡同。

这篇论文提出了一种调谐收音机的新方法。它不再只是猜测，而是将调谐过程视为一个导航问题。它问道：“如果我播放一首特定的歌曲（输入）并听到结果（输出），我能否从数学上确切地证明旋钮在哪里？”

核心思想：将权重转化为移动目标

作者采取了一个巧妙的捷径。他们假设神经网络的权重不仅仅是静态数字，而实际上是一辆汽车在地图上的位置。

汽车：神经网络的权重。
道路：数据在网络中的流动。
目标：仅通过在不同颠簸（输入）上驾驶时聆听引擎噪音（输出），就能确切地找出汽车停在哪里（理想权重）。

他们使用了一种称为**移动视界估计（MHE）**的技术。将 MHE 想象成一名侦探，通过查看汽车近期移动的短视频片段（数据的“窗口”）来推断它当前的位置。

问题：“幽灵”旋钮

论文指出了一个主要障碍。在许多神经网络中，不同的旋钮设置可以产生完全相同的声音。

类比：想象你有三个音量旋钮。如果你将旋钮 A 调大，同时将旋钮 B 调小相同的幅度，总音量可能保持不变。如果你只监听音量，你就无法分辨具体使用的是哪种旋钮组合。系统是“不可观测的”。你无法将真实设置与其邻近设置区分开来。

作者发现，对于深层复杂网络（多层网络），这种“幽灵”问题几乎总是存在的。你根本无法仅通过观察输出，从数学上证明你已经找到了唯一的完美设置。

解决方案：“特殊房间”与“魔法歌曲”

然而，论文表明，对于一种特定类型的更简单网络（具有固定输出设置的两层网络），存在一个“特殊房间”（一个局部可观测邻域），在这个房间里旋钮是可区分的。

要进入这个房间并留在那里，你需要一首魔法歌曲（持续激励输入）。

魔法歌曲：这不仅仅是任何随机噪音。它是一个非常具体、精心设计的输入序列。
类比：如果你只是随机敲击收音机，你可能听不出两个相似设置之间的区别。但如果你播放一段特定且复杂的和弦进行（PE 输入），收音机对旋钮的每一个微小差异都会做出不同的反应。这使得“侦探”（算法）能够精确定位旋钮的确切位置。

作者制定了一份食谱，用于编写这首“魔法歌曲”，从而使系统在数学上变得可解。

训练如何运作

一旦他们拥有了这首“魔法歌曲”并知道自己在“特殊房间”内，他们就会运行 MHE 训练：

查看一小段数据窗口：他们不会一次性使用整个数据集（那会太沉重）。他们查看一个小批次（mini-batch）。
仅更新可见部分：如果数据的特定部分无助于区分旋钮（“不可观测”部分），他们就会冻结该部分。他们只更新当前数据能够区分的权重部分。
重复：他们循环遍历不同的数据批次。随着时间的推移，“魔法歌曲”确保收音机的每一部分都有机会被区分开来。

结果：更快且可证明

论文在两方面测试了这种方法：

合成数据（Fake Data）：他们创建了一台完美的“教师”收音机，并尝试训练一台“学生”收音机来模仿它。新方法比标准方法更快地找到了完美设置（在 1 个 epoch 内达到目标，而标准方法耗时 3.3 秒，尽管论文指出每一步的计算量更重，但收敛速度更快）。
真实数据（UCI 葡萄酒数据集）：他们尝试预测葡萄酒质量。即使他们使用的网络属于那种数学上不能严格保证有解的“复杂”类型，新方法的表现仍然优于 Adam 或其他高级技术的标准方法（误差更低）。

底线

作者不仅仅是说“试试这个新技巧”。他们构建了一张数学地图。

他们证明，对于某些网络，如果你使用他们特定的“魔法歌曲”（输入设计），你可以从数学上保证训练将收敛到正确答案。
他们表明，即使你无法为每一个网络保证这一点，使用这种方法在实践中仍然非常有效。

简而言之，他们将训练 AI 的混乱艺术转变为严谨的导航科学，证明了只要拥有正确的地图和正确的歌曲，你总能找到通往完美设置的道路。

技术摘要：基于局部可观测性与移动视界估计的前馈神经网络训练

问题陈述
前馈神经网络（FNN）被广泛用作通用函数逼近器，但其通过标准反向传播和梯度下降（GD）进行的训练，往往缺乏关于收敛至最优权重的严格理论保证。尽管基于状态估计的方法（如扩展卡尔曼滤波和移动视界估计 MHE）已被探索用于将网络权重视为系统状态，但仍存在一个关键的理论缺口：即这些权重是可观测的这一假设。一般而言，由于非唯一性（例如权重的对称性和节点置换），FNN 权重并非全局可观测。此外，对于通用的多层 FNN，可观测性秩条件往往不成立，导致基于 MHE 的训练方法的收敛性未被证明。本文旨在解决为 FNN 建立局部可观测性的挑战，从而为基于 MHE 的训练提供理论基础。

方法论
作者通过将网络权重视为动态系统的静态状态，重新构建了 FNN 训练问题。核心方法论包含一个三步过程：

局部可观测性分析：本文研究了具有整流线性单元（ReLU）激活函数的 FNN 的局部可观测性。通过定义 $k$ -可观测性映射并应用可观测性秩条件，作者分析了权重是否能利用输入 - 输出数据与其邻域状态区分开来。
- 两层 FNN：对于具有固定输出权重的一类特定两层 FNN，作者推导出了局部可观测性的充分条件。该条件依赖于权重矩阵的行空间与状态空间中特定象限的交集，确保了存在满足可观测性秩条件的持续激励（PE）输入序列。
- 通用多层 FNN：分析表明，通用的多层 FNN 通常无法满足可观测性秩条件，这意味着对于任意深度架构，无法保证全局甚至局部可观测性。
持续激励（PE）输入设计：基于可观测性分析，本文开发了一种系统性的方法来设计 PE 输入序列。对于局部可观测状态，作者构建了一个“局部可观测邻域”，在该邻域内所有状态共享相同的可观测性映射雅可比结构。在此邻域内，单个 PE 输入序列可确保所有状态均可区分。
基于 MHE 的训练算法：作者提出了一种基于 MHE 的训练方案，其中权重利用固定长度的输入 - 输出数据窗口（小批量）进行迭代更新。
- 约束处理：为了处理单个小批量可能不具备持续激励性的情况，优化问题包含一个约束，即固定状态估计在不可观测子空间上的投影。仅更新在可观测子空间上的投影。
- 收敛性分析：利用交替投影理论，本文证明了如果初始权重位于局部可观测邻域内，且聚合训练数据集是持续激励的，则状态估计误差将收敛至零的邻域。该邻域的大小受数据中拟合误差（噪声）的界限约束。

主要贡献

重构与条件推导：本文将 FNN 重构为动态系统，并推导出了具有 ReLU 激活函数和固定输出权重的两层 FNN 局部可观测性的充分条件。该条件基于由权重矩阵行空间与象限交集的符号向量导出的指示矩阵的秩。
PE 输入设计与邻域构建：开发了一种系统性方法，用于为局部可观测状态设计 PE 输入序列。关键在于，作者构建了“局部可观测邻域”，证明了如果某个输入序列使特定状态可观测，那么它也使该邻域内的所有状态可观测且可区分。
收敛性保证：本文确立了所提出的基于 MHE 的训练方法的理论收敛保证。它证明了在局部可观测性假设和周期性使用小批量的条件下，权重估计误差将收敛至由数据噪声水平决定的界限。
向通用架构的扩展：虽然严格的收敛证明适用于特定的两层架构，但本文承认通用多层 FNN 通常缺乏局部可观测性。它提出了一种改进的 MHE 方法（移除可观测性约束并添加正则化），该方法在实践中仍具有竞争力，尽管缺乏相同的理论保证。

结果
所提出方法的有效性通过数值实验得到验证：

合成数据：在具有两层 FNN 的合成回归任务中，基于 MHE 的方法相比标准小批量 GD 方法，展现了更快的状态估计误差收敛速度。MHE 方法在一个 epoch 内达到了目标误差阈值，而 GD 需要更长时间，尽管 MHE 方法每个 epoch 的计算成本更高。
UCI Wine 数据集：在用于通用两层 FNN（其局部可观测性在理论上未得到保证）的真实世界基准数据集上，基于 MHE 的方法相比标准 Adam 优化和最近的自然梯度下降方法（NNG-MVG），实现了更低的均方根误差（RMSE）。

意义与主张
本文声称提供了首个基于控制理论中局部可观测性概念的、关于基于 MHE 的 FNN 训练的严格理论分析。通过识别 FNN 权重局部可观测的具体条件，作者使得应用具有正式收敛保证的 MHE 成为可能。这项工作强调，虽然全局可观测性对于 FNN 通常无法实现，但如果输入数据经过适当设计，局部可观测性足以用于训练。作者谦逊地指出，其收敛保证取决于初始权重位于局部可观测邻域内，并且需要未来的工作将这些保证扩展到无法确保局部可观测性的通用多层架构。