Deep Koopman Learning using Noisy Data

这是一份关于论文《Deep Koopman Learning using Noisy Data》（基于噪声数据的深度 Koopman 学习）的详细技术总结。

1. 研究背景与问题定义 (Problem)

背景：

• 非线性系统控制挑战： 直接处理复杂的非线性动力学系统进行模型控制设计具有挑战性。Koopman 算子理论提供了一种将非线性系统映射到高维线性空间（提升空间）的方法，从而利用成熟的线性控制理论。
• 深度 Koopman (DKO) 的局限： 现有的深度 Koopman 方法（DKO）通常假设观测数据是完美的。然而，在现实世界的实际应用中，传感器测量不可避免地包含噪声。
• 噪声带来的核心难题：
  1. 偏差估计： 噪声会导致线性系统估计产生偏差。
  2. 非线性变换的复杂性： 即使原始状态噪声是不相关的，经过深度神经网络（DNN）导出的可观测函数（Lifting 变换）后，噪声在提升空间中会产生复杂的非线性变换和关联，导致噪声特性发生改变（失真）。
  3. 现有方法的不足： 现有的抗噪方法（如总最小二乘法 TLS、鲁棒优化等）在处理基于 DNN 的可观测函数时，难以有效量化和抑制由非线性变换引起的噪声传播。

问题定义：
论文考虑了一个离散时间不变系统：
$$x(t+1) = f(x(t), u(t))$$
$$y(t) = x(t) + w(t)$$
其中 $x(t)$ 是真实状态，$u(t)$ 是控制输入，$y(t)$ 是含噪观测值，$w(t)$ 是未知但有界的测量噪声（$\|w(t)\| \le w_{max}$）。
目标是利用含噪轨迹 $\xi = \{(y_t, u_t)\}$，学习一个深度 Koopman 表示（DKR），即确定矩阵 $A, B, C$ 和 DNN 参数 $\theta$，使得重构的动力学模型能准确逼近真实系统状态。

---

2. 方法论 (Methodology)

论文提出了一种名为 DKND (Deep Koopman Learning using Noisy Data) 的数据驱动框架。其核心思想不是直接最小化含噪数据下的残差，而是构建并最小化一个误差上界。

2.1 核心思路：误差上界最小化

传统的 DKO 试图最小化 $\|x_{t+1} - \hat{f}(y_t, u_t, \theta)\|^2$，但由于 $x_{t+1}$ 未知，这不可行。
作者引入了两个辅助模型：

1. 无噪模型 ($\tilde{f}$)：基于假设的无噪数据训练得到的理想模型。
2. 含噪模型 ($\bar{f}$)：基于实际含噪数据训练得到的模型。

利用三角不等式，作者推导出真实状态估计误差的上界：
$$\|x_{t+1} - \hat{f}(y_t, u_t, \theta)\| \le \|y_{t+1} - \hat{f}(y_t, u_t, \theta)\| + \|\tilde{f}(x_t, u_t, \tilde{\theta}^*) - \bar{f}(y_t, u_t, \bar{\theta}^*)\| + \text{常数项}$$

因此，新的优化目标转化为最小化以下损失函数 $L_f$：
$$L_f = \underbrace{\|y_{t+1} - \hat{f}(y_t, u_t, \theta)\|^2}_{\text{项 1: 拟合含噪数据}} + \underbrace{\|\tilde{f} - \bar{f}\|^2}_{\text{项 2: 最小化噪声引起的模型偏差}}$$

2.2 关键创新：噪声偏差的量化与缓解

• 项 1 (数据拟合)： 标准的深度 Koopman 损失，拟合观测数据 $y_t$ 到 $y_{t+1}$ 的映射。
• 项 2 (噪声鲁棒性)： 这是本文的核心。作者证明了在噪声有界且 $g(\cdot, \theta)$ 为 Lipschitz 连续的前提下，可以通过最小化一个解析形式的上界函数 $\hat{L}_{f,2}(\theta)$ 来间接最小化项 2。
  • 该上界函数仅依赖于数据矩阵（$G, \bar{G}, U$）和噪声界 $w_{max}$，不需要知道真实的无噪状态 $x_t$。
  • 通过优化 DNN 参数 $\theta$，可以显式地抑制噪声在提升空间中的传播效应。

2.3 算法流程 (Algorithm 1)

DKND 采用迭代优化策略：

1. 初始化： 给定 DNN 结构 $g(\cdot, \theta)$ 和初始参数 $\theta_0$。
2. 迭代步骤 ($k$)：
   • 基于当前 $\theta_k$，计算数据矩阵 $G_k, \bar{G}_k$。
   • 利用伪逆（Moore-Penrose pseudoinverse）解析求解最优的线性矩阵 $A_k^*, B_k^*, C_k^*$。
   • 构建总损失函数 $\hat{L}_f$（包含拟合项和噪声上界项）。
   • 计算梯度 $\nabla_\theta \hat{L}_f$ 并更新 $\theta_{k+1}$。
3. 终止： 当损失收敛时，输出最终的 $A^*, B^*, C^*, \theta^*$。

---

3. 主要贡献 (Key Contributions)

1. 提出 DKND 框架： 首次提出了一种专门针对未知但有界测量噪声的深度 Koopman 学习框架。
2. 理论创新：
   • 将传统的残差最小化问题转化为误差上界最小化问题。
   • 推导出了噪声影响的可计算上界（Theorem 1），使得在无需真实状态数据的情况下，也能通过调整 DNN 参数来缓解噪声对 Koopman 算子学习的影响。
   • 仅需假设噪声有界，不要求噪声服从特定分布（如高斯分布），具有更强的通用性。
3. 易于实现： 该方法通过修改现有的 DKO 损失函数，增加了一个基于数据矩阵的解析正则化项，易于在现有的深度学习框架中实现。
4. 广泛的实验验证： 在多种基准测试（2D 线性系统、Cartpole、Lunar Lander）和真实世界数据（无人水面艇）上进行了验证，涵盖了高斯、泊松和均匀分布三种噪声类型。

---

4. 实验结果 (Results)

实验对比了四种方法：

• DKND (本文方法)
• DK (标准深度 Koopman，直接使用含噪数据)
• MLP (多层感知机，直接回归)
• DMDTLS (基于总最小二乘法的动态模态分解)

关键发现：

• 测试集表现优异： 在测试集（Test Data）上，DKND 的均方根偏差（RMSD）在所有噪声类型（高斯、泊松、均匀）和所有系统复杂度下，均显著优于其他对比方法。
• 抗强噪声能力： 特别是在均匀分布噪声且噪声幅度较大（$w_{max}$ 较大）的情况下，DKND 的优势最为明显。例如在 Lunar Lander 任务中，均匀噪声下 DKND 的 RMSD 约为 2.33，而标准 DK 方法高达 3.08，MLP 高达 6.29，DMDTLS 甚至高达 288。
• 训练集表现： 在训练集上，所有基于梯度的方法（DKND, DK, MLP）表现接近，因为它们都达到了相同的训练精度。这证明了 DKND 的优势在于泛化能力和抗噪鲁棒性，而非过拟合训练数据。
• 稳定性： DKND 在 10 次实验中的标准差较小，表明其结果更加稳定。

---

5. 意义与局限性 (Significance & Limitations)

意义：

• 填补空白： 解决了深度 Koopman 学习在现实噪声环境下应用的关键瓶颈，使得基于数据驱动的非线性系统建模和控制设计在工程实践中更具可行性。
• 理论指导实践： 为处理非线性变换下的噪声传播提供了新的理论视角（通过最小化模型差异上界），而非仅仅依赖数据清洗或滤波。
• 控制应用潜力： 由于该方法能更准确地估计系统动力学，为后续基于学习模型的控制策略（如 MPC）奠定了坚实基础。

局限性：

• 噪声界假设： 方法依赖于“噪声有界”的假设，对于无界噪声（如某些重尾分布）可能失效。
• 局部最优： 由于 DNN 优化的非凸性，算法可能收敛到局部最优解。
• 噪声界的影响未量化： 论文未形式化地分析噪声界 $w_{max}$ 的大小对最终性能的具体影响程度。

总结：
本文提出了一种鲁棒的深度 Koopman 学习方法，通过显式建模并最小化噪声对提升空间表示的影响，显著提高了在含噪数据下学习非线性系统动力学的精度和稳定性。这对于机器人、自动驾驶等依赖传感器数据的控制领域具有重要的应用价值。