技术摘要：识别工业时间序列中的显式简约分段多项式关系

1. 问题陈述

本文解决了从工业时间序列数据中识别非线性关系的挑战，具体应用于数字孪生、控制设计和异常检测等领域。尽管深度神经网络（DNN）因其通用近似特性而被广泛使用，但作者认为，由于以下三个具体约束，它们往往不适合工业环境：

1. 训练数据不完整：工业设备在训练集未能完全涵盖的多样化环境中运行，导致过拟合风险极高，特别是在高参数 DNN 中。
2. 强制性可解释性：工业操作员需要符合物理定律并允许对异常进行根本原因分析的模型。DNN 具有“黑盒”性质且包含数十万参数，若不经过繁琐的事后分析，无法提供这种可解释性。
3. 内在简约性：工业系统受物理定律支配，这些定律在结构上是简约的。不强制这种稀疏性的模型容易在未见过的情境中泛化能力差。

本文解决的具体技术缺口是从隐式分段多项式模型（提供用于异常检测的紧密残差，但不产生显式预测函数 $\hat{y} = f(x)$）向显式简约分段多项式表示的过渡。显式模型对于虚拟传感器设计或前馈控制等任务是必需的。

2. 方法论

2.1 基础：隐式分段表示

该方法建立在先前提出的算法 [3] 之上，该算法识别出一组 $n_m$ 个稀疏多元多项式 $\{P_\kappa\}_{\kappa=1}^{n_m}$。这些多项式定义了一种隐式关系，其中残差最小化为：
$$e(x, y) := \min_{\kappa=1}^{n_m} |y - P_\kappa(x)|$$
在这种隐式形式中，对于给定的特征向量 $x$，标签 $y$ 接近集合中的某个多项式，但具体的多项式索引并未显式地映射为 $x$ 的函数，从而无法在不重新求解最小化问题的情况下进行直接预测。

2.2 提出的启发式方法：显式分段构建

为了推导显式预测器 $\hat{y}$，本文提出了一种基于“投票者”的聚合策略。核心思想是构建一组显式分段映射，划分特征空间，并将隐式集合中最合适的多项式分配给每个区域。

步骤 1：划分三元组
定义一个划分三元组 $\xi = (\pi, n_d, x_c)$，包含：

• 一个多项式 $\pi: \mathbb{R}^n \to \mathbb{R}$。
• 一个整数 $n_d \ge 2$（子区域数量）。
• 一个中心点 $x_c \in \mathbb{R}^n$。
  该三元组基于 $\pi(x - x_c)$ 的分位数将特征空间划分为 $n_d$ 个区域。

步骤 2：单一投票者构建
对于给定的三元组 $\xi$，算法通过最小化每个区域 $R^{(i)}_\xi$ 内的平均绝对误差（MAE），将“最佳”多项式 $P_{\kappa}$ 分配给该区域。这创建了一个单一的显式预测器（投票者）：
$$P_\xi(x) := P_{\kappa_\xi(\sigma_\xi(x))}(x)$$
其中 $\sigma_\xi(x)$ 将 $x$ 映射到其区域索引。

步骤 3：通过迭代投票者选择进行聚合
由于单个随机划分可能不是最优的，算法迭代生成一组 $n_V$ 个投票者：

1. 初始化一个随机三元组 $\xi^{(1)}$（中心为 0，随机多项式）。
2. 计算当前集成（$j$ 个投票者的平均值）的预测误差 $\epsilon^{(j)}$。
3. 通过以下方式生成新的候选三元组 $\xi^{(j+1)}$：
   • 从当前残差最高的前 5% 样本中随机选择一个新中心 $x_c$。
   • 生成一个具有固定阶数和活跃单项式数量的随机多项式 $\pi$。
4. 接受准则：仅当新集成的误差满足收缩条件时，才将新投票者添加到集成中：$\epsilon^{(j+1)} \le \gamma_c \times \epsilon^{(j)}$，其中 $\gamma_c \in (0, 1)$。
5. 当达到最大试验次数时，过程停止。

最终的显式预测是所有被接受投票者的平均值：
$$\hat{y} := \frac{1}{n_V} \sum_{\ell=1}^{n_V} P_{\xi^{(\ell)}}(x)$$

3. 主要贡献

1. 启发式推导：本文提出了一种新颖的启发式方法，利用划分三元组和投票者聚合机制，将隐式稀疏多项式残差转换为显式分段多项式预测器。
2. 概念验证（6 轴机器人）：该方法在 6 轴 Staubli TX2-90 机械臂上进行了验证。算法成功识别了所有六个关节力矩的显式模型，证明了其扩展到高维特征空间（$n=18$）的能力。
3. 泛化研究（4 轴机器人）：在 4 轴机器人（Staubli TS0-80）上进行的专门实验测试了对“未见情境”（ excursion 显著大于训练数据的轨迹）的泛化能力。这突显了简约方法相对于 DNN 的鲁棒性。
4. 比较分析：该研究针对预测精度、泛化差距、计算复杂度和训练时间，与最先进的 DNN 架构（MLP、CNN、Transformer）进行了严格比较。

4. 实验结果

4.1 用例 1：6 轴机器人（可扩展性与性能）

• 精度：在测试数据集上，所提出的显式分段多项式（xpwpol）模型在前三个轴上实现了与 DNN 相当的归一化残差（nMAE/nMSE）。对于第 4 至 6 轴，残差略高，但仍保持在同一数量级。
• 泛化：xpwpol 模型表现出极低的泛化差距（$\alpha_c \approx 0.00 - 0.11$），表明过拟合极小。相比之下，DNN 显示出显著的差距（高达 $\alpha_c \approx 2.31$），其训练残差远低于测试残差，证实了过拟合。
• 复杂度：xpwpol 模型最多使用约 700 个活跃系数（单项式）。DNN 需要 14,000 到约 800,000 个可训练参数。
• 计算时间：在标准 CPU 上，xpwpol 的模型拟合仅需数秒（例如 35 秒至 173 秒）。即使使用 GPU 加速，DNN 训练也需要数小时（2 小时以上）。

4.2 用例 2：4 轴机器人（对未见情境的泛化）

• 设置：训练在“小 excursion"轨迹上进行，而测试在“大 excursion"轨迹上进行（显著的分布偏移）。
• 结果：
  • DNN：Transformer 模型未能泛化，在大 excursion 测试集上显示出巨大的误差增加（例如，第 1 轴的 nMAE 从 0.08 跃升至 1.38）。
  • xpwpol：简约模型在前三个轴上保持了稳健的性能，尽管情境发生偏移，nMAE 值仍保持较低水平（例如 0.10 至 0.37）。
  • 例外：对于第 4 轴，DNN 和 xpwpol 模型都表现不佳，表明可用数据或模型结构未能很好地捕捉该轴特定的物理动力学。
• 观察：在此场景中，xpwpol 模型仅需一个划分三元组（$n_V=1$），利用一阶多项式，但在泛化方面仍优于 DNN。

5. 意义与主张

本文声称，所提出的框架为工业时间序列建模提供了 DNN 的可行替代方案，特别是在以下情况：

• 数据稀缺或不完整：模型的简约性质降低了过拟合到特定训练情境的风险。
• 可解释性至关重要：显式分段结构允许操作员将预测追溯至特定的传感器子集和物理关系，促进根本原因分析。
• 计算资源有限：该方法在标准硬件上可在数秒内完成拟合，而 DNN 则需要数小时。
• 泛化至关重要：承认“没有免费午餐”定理；所提出的方法并未在所有指标上普遍优于 DNN（例如，某些轴上的原始精度略低），但在对未见情境的泛化和模型可解释性方面显著优于 DNN。

作者得出结论，虽然没有单一解决方案适用于所有用例，但所提出的显式简约方法是一种稳健、高效且可解释的选择，值得在可靠性和模型理解与原始预测能力同等重要的工业环境中采用。