State-Space Neural Network with Ordered Variance for Model Order Determination

技术摘要：具有有序方差的态空间神经网络用于模型阶数确定

问题陈述
本文解决了从输入-输出训练数据集中识别非线性状态空间模型，并同时确定充分模型阶数（状态维度）的挑战。尽管状态空间神经网络（SSNN）在学习非线性动力学方面已广受欢迎，但它们仍面临着预测误差法（PEM）中常见的共性问题，包括收敛至局部极小值，以及至关重要的未知状态维度问题。选择模型阶数通常需要反复试验，这在计算上是非常昂贵的。现有用于自编码器或基于核的模型中进行模型阶数确定的方法尚未有效地扩展到 SSNN 中。

方法论：SSNNO 框架
作者提出了一种名为**具有有序方差的状态空间神经网络（SSNNO）**的新型框架。其核心创新是在 SSNN 损失函数中集成了一个方差正则化项，以强制执行状态方差的排序。

1. 架构与训练：

   • SSNNO 保留了标准的 SSNN 结构，通过神经网络学习状态方程（$x_{k+1} = f_{NN}(x_k, u_k)$）和输出方程（$y_k = g_{NN}(x_k)$）。
   • 损失函数 ($J$) 结合了平方预测误差（SPE）、输出子网络的参数正则化项以及一种新型的方差正则化项 ($J_v$)。
   • 该方差项对预测状态的样本方差进行惩罚，并由一个对角矩阵 $W = \text{diag}(w_1, \dots, w_d)$ 加权，其中权重是严格递增的（$0 \le w_1 < w_2 < \dots < w_d$）。
   • 这种加权方案鼓励优化过程将尾部状态（具有较高权重的状态）的方差压低至接近零的水平，同时保留领先状态的方差。

2. 模型阶数确定与降阶：

   • 显著状态与残差状态： 训练完成后，状态按方差进行排序（$V_{x_1} \ge V_{x_2} \ge \dots \ge V_{x_d}$）。应用容差阈值 $\delta$ 将状态分类为“显著状态”（$V_{x_i} > \delta$）或“残差状态”（$V_{x_i} \le \delta$）。
   • 降阶 SSNNO (R-SSNNO)： 通过仅保留显著状态来降低模型阶数。残差状态由其均值近似，并被吸收进状态子网络的第一层和最后一层的模型参数中。这产生了一个无需重新训练即可实现的降阶模型。

3. 实际实现：

   • 考虑到局部优化算法可能无法收敛到满足严格方差排序所需的全局最小值，作者提出了一个实用的迭代算法（算法 1）。该方法通过置换局部优化解中的状态变量以满足方差排序条件，并在必要时进行重新优化，直到获得满足方差排序的解。

理论贡献
论文为所提出的框架提供了正式的理论保证：

• 有序方差的存在性： 利用重排不等式，作者证明了所提损失函数的全局极小值天生满足方差排序条件（$V_{x_1} \ge \dots \ge V_{x_d}$）。
• 误差界限： 作者确立了 SSNNO 相对于标准 SSNN 的输出预测误差的上界。他们证明了由于方差正则化导致的预测精度下降是可以被有界限的，且受超参数 $\alpha$ 和 $\beta$ 控制。

仿真结果
SSNNO 的有效性在具有严重增益非线性的非线性连续搅拌反应器（CSTR）工艺上得到了验证。

• 模型阶数识别： 在真实系统阶数为 2 的仿真中，SSNNO（使用初始维度 3 进行训练）成功识别出第三个状态具有微不足道的方差。这使得推导出二阶 R-SSNNO 模型成为可能。
• 性能： R-SSNNO 模型（降阶为 2 阶和 1 阶）在训练和测试数据上的均方误差（MSE）指标显示，其保持了与全 3 阶 SSNNO 及标准 SSNN 相当的预测精度。
• 鲁棒性： 在不同噪声水平下的蒙特卡洛仿真证实，在不损害平方预测误差（SPE）的情况下，始终可以实现方差排序。
• 控制应用： 识别出的 R-SSNNO 模型被成功集成到基于扩展卡尔曼滤波（EKF）的模型预测控制（MPC）方案中。控制器有效地跟踪了参考温度轨迹，并对植物-模型失配进行了修正。

意义与主张
论文声称 SSNNO 是第一个通过在 SSNN 框架内直接引入状态变量方差排序来解决模型阶数确定问题的研究。其主要意义在于：

1. 同步识别： 它实现了非线性状态空间模型的识别与从数据中确定充分模型阶数的同步进行。
2. 系统化降阶： 它提供了一种系统性的、非启发式的程序，用于导出保留本质动力学特性同时最小化复杂度的降阶模型。
3. 理论严谨性： 它为这类有序模型的存在性以及预测误差界限提供了正式证明，解决了许多数据驱动识别方法中缺乏理论保证的问题。

作者总结道，虽然该方法在识别和控制方面是有效的，但未来仍需进一步研究以扩展该框架，从而提供关于可控性和稳定性的理论保证。