技术摘要：用于混沌系统深度学习预测的动力学感知加权 (DAW)

1. 问题陈述

深度学习 (DL) 代理模型在模拟复杂动力系统方面已取得成功，但在长期的自回归展开（rollouts）过程中面临灾难性的误差累积问题。这种失败归因于混沌系统中相空间访问的不均匀性：轨迹大部分时间停留在循环的、低维的静止状态（例如，接近层流的状态），而仅极少访问稀疏的高复杂度状态（例如，波浪合并事件或拓扑转变）。

标准的训练目标（如样本级的均匀均方误差 MSE）隐含地将所有状态视为具有同等信息量。因此，神经代理模型会将有限的表示能力分配给统计学上占主导地位的低维主体，从而系统性地忽视了那些稀有的、高维的瞬态过程。这导致了一种特定形式的不平衡回归 (imbalanced regression)：模型通过拟合多数类来最小化平均误差，却在触发不成比例的局部预测误差的稀疏区域表现不佳。

现有的深度不平衡回归解决方案通常根据目标空间的统计密度（例如，使用目标值的核密度估计 KDE）对样本进行重加权。然而，本文指出，目标空间的统计稀有性并不一定与内在动力学稀有性（即驱动这种不平衡的吸引子几何结构）相一致。目前仍缺乏能够描述这种内在不平衡的具有动力学意义的指标，也缺乏一种能够利用这些指标的原则性数据中心方案。

2. 方法论：动力学感知加权 (DAW)

作者提出了 动力学感知加权 (DAW)，这是一个通过重塑损失函数景观以优先考虑动力学复杂状态的数据中心框架。DAW 的核心是使用动力系统理论中的局部维度 ($d$) 作为衡量一个状态活跃自由度及其复杂性的先验度量。

2.1 理论基础：局部维度 ($d$)

局部维度 $d_\mu(x)$ 量化了在状态 $x$ 的微小邻域内不变测度的缩放方式。

• 低 $d$： 对应于几何上稠密、频繁被访问且自由度较少的区域（简单动力学）。
• 高 $d$： 对应于稀疏、极少被访问且自由度较多的区域（复杂动力学，例如波浪合并）。
• 估计： 使用庞加莱回归（Poincaré recurrence）和极值理论 (EVT) 来估计 $d$。具体而言，通过使用广义帕累托分布 (GPD) 对轨迹点到参考状态的负对数距离进行建模。局部维度定义为 GPD 尺度参数的倒数 ($d = 1/\sigma$)。

2.2 DAW 框架

DAW 通过四个步骤构建样本权重：

1. 密度估计： 计算每个训练样本（输入-输出对）的局部维度 $d_i$，并使用核密度估计 (KDE) 估计经验概率密度函数 $P(d)$。
2. 基础加权： 分配一个随归一化密度 $P'(d)$ 线性递减的基础权重 $w_{base}$，从而提升稀有状态的权重（类似于 DenseWeight 基准）。
3. 动力学重塑（“倾斜”）： 为了确保权重与动力学复杂度而非仅仅与统计稀有性对齐，基础权重需乘以归一化后的局部维度 $\tilde{d}_i$。这会抑制频率低但结构简单的（低-$d$）状态的权重，并放大稀有且复杂的（高-$d$）状态的权重。
   $$w_{reshaped} = \max(w_{base} \cdot \tilde{d}, \epsilon)$$
4. 全局归一化： 对权重进行归一化，使其在整个数据集上的期望等于 1.0，以保持全局梯度规模。

最终目标是加权 MSE：
$$L_{DAW}(\theta) = \frac{1}{N} \sum_{i=1}^N w_i \|\hat{f}_\theta(x_i) - y_i\|_2^2$$

2.3 理论动机

论文基于误差传播提供了理论证明。第 $n$ 步的预测误差可以分解为单步模型误差 ($\tilde{\varepsilon}_k$) 以及由系统动力学（协循环 $M_{k \to n}$）所放大的误差。

• 经验证据表明，单步误差在高-$d$ 状态下系统性地更大。
• 均匀训练会通过平滑处理忽略高-$d$ 处的波动。
• DAW 的作用在于专门降低高-$d$ 状态下的单步误差 $\|\tilde{\varepsilon}_k\|$。由于放大因子是由真实的动力学决定的（独立于模型），在这些关键点减少注入的误差，可以缩小随后会被动力学放大的误差项，从而延迟空间相关性的崩溃。

3. 实验设置

• 数据集：
  • Kuramoto-Sivashinsky (KS) 方程： 一种 1D 时空混沌系统 ($L=22$)，表现出静止区、行波和波浪合并事件。
  • Lorenz-63 系统： 用于验证泛化能力的低维混沌吸引子。
• 模型： 一个具有 6 个隐藏层、每层 128 个神经元的 MLP。
• 基准模型：
  • Standard (标准)： 均匀加权 ($w_i = 1$)。
  • DenseWeight： 基于目标空间统计密度的最先进的不平衡回归重加权方法。
  • RandomWeight (随机加权)： 一种消融实验，将 DAW 的权重进行随机置换，以测试增益是来自于权重的大小还是其与动力学的对齐。

4. 关键结果

在长达 1.0 李雅普诺夫时间 (LT) 的自回归展开中对 KS 方程进行评估：

• 长期预测准确性： DAW 在所有基准模型中表现最优。
  • 在 1.0 LT 时，DAW 实现了最低的平均绝对误差 (MAE) 和最高的空间皮尔逊相关性保持度。
  • DAW 将“空间相关性崩溃”（即跨越 0.5 可预测性阈值）的时间推迟到了约 0.85 LT，相比之下，Standard 约为 ~0.5 LT，RandomWeight 约为 ~0.6 LT。
• 单步误差分析：
  • 单步误差随局部维度 $d$ 单调增加，验证了高-$d$ 状态是产生大误差的来源这一前提。
  • DAW 降低了包括低-$d$ 主体在内的整个 $d$ 范围内的误差，而不仅仅是高-$d$ 尾部。
• 事件级分析：
  • 在高-$d$ 事件（如波浪合并）期间，DAW 系统性地抑制了局部误差跳变。
  • 在 21,146 个高-$d$ 事件窗口的胜率分析中，DAW 在 42.4% 的案例中实现了最低的累积误差，显著优于 DenseWeight (24.4%)、RandomWeight (28.1%) 和 Standard (5.1%)。
• 泛化性：
  • 在 Lorenz-63 系统上，DAW 同样将相关性崩溃从 ~2.3 LT (Standard) 推迟到了 ~4.1 LT，证实了该方法在不同几何结构下的适用性。
• 消融研究：
  • RandomWeight： 表现优于 Standard 但差于 DAW，证明了权重与动力学复杂度（而非仅仅是非均匀加权）的对齐才是性能提升的来源。
  • DenseWeight： 虽然优于 Standard，但在长时界下退化速度比 DAW 快，表明目标空间的统计稀有性不足以作为动力学复杂性的有效代理。
  • 输入 vs. 目标 $d$： 使用在输入上计算的局部维度 $d(x)$ 或输入-输出对上的 $d(x,y)$ 得到的结果相似，其中 $d(x)$ 表现得略微更稳健。

5. 意义与主张

论文声称 DAW 解决了深度学习处理混沌系统中的一个基本差距：即缺乏一种原则性的、以数据为中心的方案来利用吸引子的内在几何结构来处理不平衡回归。

• 范式转移： 不同于近期侧重于模型架构或物理约束的科学机器学习 (SciML) 的进展，DAW 将问题重新定义为以数据为中心的分布重塑。它使用局部维度 $d$ 作为一种无模型的、先验的动力学复杂度代理。
• 作用机制： 其重要性在于其机制：DAW 迫使网络将表示能力分配给那些误差系统性较大的稀疏高-$d$ 区域。通过在这些关键时刻抑制单步误差，它防止了系统固有的动力学将其放大为灾难性的长期失效。
• 实用性： DAW 是一个“即插即用”的框架。由于 $d$ 是从历史轨迹中离线计算的，它不会引入架构变化或推理开销，并保持了代理模型的轻量化。
• 谦逊性： 作者明确指出，DAW 并不会消除混沌预测的内在极限（李雅普诺夫不稳定性），而是系统地延迟了空间相干性的丧失，并相对于均匀训练或纯统计加权方法提高了长期预测的准确性。

研究结论认为，将表示能力与局部动力学复杂度相对齐，比依赖目标空间的统计稀有性或均匀目标函数，是实现长期预测更有效的策略。