技术摘要：基于后验加权高斯过程的近似周期性时间序列生成建模

1. 问题陈述

工业和物理信息系统中（例如机器人装配线）的离散自动化过程通常表现出近似周期性行为。虽然连续重复遵循共同的轨迹，但由于噪声、磨损和环境波动，它们在持续时间、幅度和细粒度动态上存在差异。

使用高斯过程（GP）对这些过程进行建模面临特定挑战：

• 严格周期性模型强制精确重复，抑制了真实数据中存在的必要重复间变异性。
• 非周期性模型无法捕捉长期生成所需的强结构规律性。
• 现有的准周期性方法通常强制精确周期性，或在长时程中引入均值衰减和方差膨胀，限制了其作为任意多次重复生成模型的实用性。

目标是开发一种随机生成模型，能够生成长度任意的重复序列，在保留过程特征形状的同时，允许重复之间进行平滑、受控的变异。

2. 方法论

作者提出了一种两阶段构建方法，将重复内结构与重复间变异性解耦。核心创新在于调制高斯过程的后验而非先验，从而避免了与加权先验相关的病态行为。

阶段 1：学习稳定的重复模板

第一阶段使用严格周期性高斯过程先验对重复内统计特性进行建模。

• 假设：观测到的重复 $y_1, \dots, y_r$ 被视为同一潜在周期性过程的部分（或完全）独立实现，该过程共享共同的超参数。
• 核函数：使用周期性核 $k_\theta$，其中输入被嵌入到圆上。
• 训练策略：针对在因子化似然下噪声方差 $\sigma^2_\theta$ 无法从独立重复中识别的问题，作者采用小批量训练策略。负对数似然（NLL）在多个重复的小批量上进行评估。这迫使模型解释重复间的变异，从而稳定噪声方差估计。
• 训练后调整：在后验构建过程中，重复被视为同一潜在函数的观测值，以保持全局空间结构。为防止因多次重复的“证据累积”导致不确定性的人为衰减，噪声方差 $\sigma^2_\theta$ 会根据有效重复次数进行重缩放。

阶段 2：后验加权

第二阶段通过直接修改后验协方差而非改变先验核函数，引入重复间相关性。

• 机制：新颖的权重核 $w_\psi$（嵌入空间中的高斯核）通过逐元素乘法（Schur 积）应用于阶段 1 获得的后验协方差矩阵 $\hat{\Sigma}_\theta$。
  $$\Sigma_\psi := W_\psi \odot \hat{\Sigma}_\theta + \sigma^2_\psi I$$
• 权重核设计：核函数 $w_\psi$ 使用涉及平方正弦函数积分的特定嵌入 $\phi(t)$。这确保了核函数在周期的整数倍处导数为零，防止加权核中出现不需要的相位偏移。
• 生成模型：最终的生成分布定义为：
  $$\gamma \sim \mathcal{N}(\hat{\mu}_\theta, \Sigma_\psi)$$
  其中 $\hat{\mu}_\theta$ 是阶段 1 的均值（保持不变），$\Sigma_\psi$ 是调制后的协方差。
• 原理：
  • 保持均值不变确保所有重复的均值结构相同，满足结构一致性的要求。
  • 调制协方差允许保留局部不确定性，同时确保远距离重复间的相关性单调衰减至零。
  • 这种方法避免了使用加权周期性先验的“病态”，后者会导致预测均值随时间衰减至零且方差膨胀。

3. 主要贡献

1. 新颖的生成模型：一种基于高斯过程的近似周期性多元时间序列随机生成模型，支持任意多次重复。
2. 两阶段构建：一种将稳定周期性模板的学习（阶段 1）与受控重复间变异性的注入（阶段 2）分离的方法。
3. 后验调制：引入核调制的后验（而非加权先验）以实现长时程稳定性，确保均值保持一致，同时协方差反映重复间相似性的自然衰减。
4. 小批量训练策略：一种通过在批量上评估似然来稳定独立重复情况下噪声方差估计的技术。
5. 实际实现：展示了该模型从玩具数据集生成逼真合成轨迹的能力，包括使用核心区域化线性模型（LMC）的多维案例。

4. 实验结果

该模型在由加权周期性高斯过程生成的合成数据集上进行了评估，包括无噪声和有噪声场景，以及二维数据。

• 批量大小敏感性：实验表明，阶段 1 中估计的方差 $\sigma^2_\theta$ 高度依赖于小批量大小 $|B|$。当 $|B|=1$ 时，方差坍缩至零附近。随着 $|B|$ 增加，估计值趋于稳定，正确捕捉了内在变异性。
• 噪声处理：在噪声环境下，第二阶段噪声参数 $\sigma^2_\psi$ 随观测噪声水平增加而增加，而第一阶段噪声 $\sigma^2_\theta$ 在噪声水平变得非常高之前保持相对稳定。
• 多输出能力：该模型成功扩展到使用非平稳周期性核的二维数据，捕捉了不同周期中不同程度的变异（例如，穿过原点时方差较高）。
• 性能：该模型在预测均值与测试均值之间实现了低均方误差（MSE），并准确建模了逐点标准差。

5. 意义与主张

本文主张，修改高斯过程的后验而非先验，为生成目的建模近似周期性过程提供了一种原则性方法。

• 稳定性：该模型实现了长时程生成稳定性，能够生成长度任意的序列，而不会出现其他准周期性方法中常见的均值衰减或方差膨胀。
• 可解释性：通过将均值（严格周期性）与协方差（衰减相关性）解耦，该模型保持了高斯过程的可解释性和校准不确定性。
• 应用：作者指出了这种稳定性和可解释性至关重要的具体实际应用：
  • 为单元测试生成逼真的合成数据。
  • 创建数字孪生。
  • 填充工业系统中的蜜罐。
  • 通过量化与学习统计量的偏差进行基于似然的异常检测。

作者对未来工作保持谦逊，指出扩展到大量重复将需要稀疏或近似推理技术，并且有必要在真实工业数据集上进行系统性评估，以量化下游任务中的实际效益。