Learning Transferable Predictability Representations

技术摘要：学习可迁移的可预测性表示

问题定义

本文旨在解决如何为短时间轨迹窗口分配一个标量分数，以反映其在有序连续体上所处的预测性状态这一挑战。虽然现有方法能够有效区分单一系统内的确定性与随机性动力学，但它们无法在不同系统之间产生具有一致数值解释的分数。

作者将此形式化为一个针对五级“可预测性阶梯”（$L_0$ 到 $L_4$）的序数估计问题：

1. $L_0$（稳定确定性）： 不动点或极限环（$\lambda_{max} \le 0$）。
2. $L_1$（弱混沌）： 具有微小正向不稳定性的确定性系统（$0 < \lambda_{max}\tau \ll 1$）。
3. $L_2$（强混沌）： 具有快速发散性的确定性系统（$\lambda_{max}\tau \gg 0$）。
4. $L_3$（结构化随机）： 保留线性统计特性（如功率谱）但破坏非线性几何结构的代理数据（Surrogates）。
5. $L_4$（无结构随机）： 独立同分布（i.i.d.）噪声。

研究识别出的一个关键结构性障碍是规范自由度（Gauge Freedom）：仅靠序数监督只能确定分数的排序，却无法固定数值坐标，使其在单调重参数化下具有不确定性。因此，在不同系统间训练的分数无法直接比较，即使其序数排名是正确的。论文指出，跨系统迁移需要解决这种坐标歧义，因为零样本（zero-shot）场景缺乏用于事后校准的目标系统数据。

方法论：规范固定序数网络 (GON)

提出的解决方案是 GON，这是一种旨在学习跨系统共享分数坐标的时间卷积模型。它由三个核心组件组成：

1. 2-Jet 预处理：
   GON 并非使用原始状态坐标（这些坐标带有系统特定的缩放和单位），而是操作 2-jet 特征：位置 ($x$)、速度 ($\dot{x}$) 和加速度 ($\ddot{x}$)。这些特征通过 Savitzky–Golay 滤波和中心有限差分进行估计，旨在揭示局部轨迹几何结构。这种表示方式在平滑的确定性流中得以保持，但在随机代理程序中会被破坏，因此非常适合区分确定性结构与结构化噪声。

2. 架构：
   该模型使用带有扩张残差块的时间卷积网络 (TCN)，将 2-jet 输入编码为隐藏序列。多尺度平均池化将其聚合为一个向量，随后通过一个两层 MLP 映射为标量分数。输出使用双曲正切函数进行裁剪，以符合目标范围。

3. 规范固定序数目标：
   为了解决规范自由度，训练目标为每个阶梯层级的平均分数分配了固定的锚点目标：$\{t_k\} = \{-4, -2, 0, +2, +4\}$。损失函数 ($\mathcal{L}$) 由以下部分组成：

   • 锚点项（Anchor Term）： 惩罚各层级分数均值 ($\mu_k$) 与其目标值 ($t_k$) 之间的偏差。
   • 方差项（Variance Term）： 惩罚过大的层内离散度 ($\sigma_k$)，从而鼓励在锚点周围形成紧密的聚类。

   这种“锚点与方差”目标固定了分数坐标，确保特定的数值对应于不同系统中的特定预测性状态。

实验设置

• 训练数据： 12 个三维耗散混沌 ODE 系统（如 Lorenz-63, Rössler, Chen），涵盖了各种吸引子几何结构。
• 测试数据： 五个完全独立的留出系统（如 Thomas, Tigan, 強迫摆），在训练过程中未使用任何相关数据。
• 评估指标：
  • 单调性斜率 ($\beta$)： 衡量层级均值的全局序数连贯性。
  • 尺度归一化 $\beta$ ($\beta_{norm}$)： 用于跨方法比较。
  • 锚点漂移 ($\delta_{anchor}$)：衡量学习到的均值与目标锚点的匹配程度。
  • 成对 AUROC： 评估在特定边界处（如 $L_2 \to L_3$）的判别能力。

主要结果

1. 零样本迁移：

   • GON 在留出系统上实现了 $\beta_{norm} = 0.559$ 的尺度归一化单调性斜率，优于所有监督基准模型（后者聚集在 0.46–0.48 左右）。
   • 迁移在随机边界（$L_2 \to L_3$ 和 $L_3 \to L_4$）处最为显著，因为代理程序会破坏非线性几何结构。确定性侧的边界（$L_0 \to L_2$）分离效果较弱，表明细粒度的混沌区分更具系统特异性。
   • 分布内校准表现极佳，平均锚点漂移 $\delta_{anchor} = 0.0097$。

2. 适应效率：

   • 从预训练的 GON 检查点开始初始化，其表现显著优于从头开始训练，即使在标签窗口极少（$k=5$）的情况下也是如此。
   • 全参数微调 (pre_all) 始终优于随机初始化，而冻结编码器 (pre_head) 虽然提高了判别能力，但无法恢复全局序数结构 ($\beta$)。
   • 适应深度与几何相似性相关：具有与训练集相似向量场的系统能立即适应，而具有未见结构（如正弦强迫）的系统则需要更多数据，并可能无法解决精细的边界。

3. 消融实验：

   • 锚点 vs. 间隔（Margin）： 将锚点目标替换为间隔损失（仅强制分离但不固定坐标）会保留分布内的判别力，但会导致锚点漂移从 0.005 上升到 2.556，并使迁移 $\beta$ 下降 47%。这证实了坐标稳定性（而非仅仅是序数连贯性）是实现迁移的必要条件。
   • 2-Jet 特征： 使用相干的 2-jet 特征比使用原始状态 ($\beta = 1.132$) 或打乱后的导数 ($\beta = 1.504$) 能显著提升迁移性能。这强调了几何结构相对于单纯维度的重要性。

意义与主张

本文声称，识别出**规范固定（gauge-fixing）**是实现可迁移序数预测性分数的缺失要素。其核心贡献在于证明了：为序数层级分配一个稳定的数值坐标，是实现跨系统可比性的必要条件。

• 理论洞察： 本研究确立了成对判别与全局连贯序数评分是两个不同的属性；若要在迁移过程中架起桥梁，必须具备稳定的坐标。
• 实际效用： 该框架使得在无需系统特定校准的情况下，对自然及工程系统进行预测性评估、模型选择和早期预警诊断成为可能。
• 局限性： 作者指出目前的基准测试局限于低维耗散 ODE 系统。向高维、保守系统或现实世界信号的扩展仍是未来的工作。该方法基于合成数据，不涉及个人数据，也不存在可预见的负面社会影响。

总之，本文提出，通过规范固定学习一个可迁移的序数预测性坐标，可以实现对异构动力系统间预测性状态的有意义比较，而这在以往的标准序数回归或分类方法中是无法实现的。