Research on Rolling Bearing Degradation Modeling and Remaining Useful Life Prediction Based on TCN and an Improved Transformer Algorithm

技术摘要：基于 TCN 与改进型 Transformer 的滚动轴承退化建模与剩余寿命（RUL）预测

问题陈述
本文解决了在复杂工况下预测滚动轴承剩余使用寿命（RUL）时面临的三大关键挑战：

1. 计算复杂度高： 标准 Transformer 模型相对于序列长度具有二次方计算复杂度（$O(T^2)$），在对全寿命周期轴承数据进行建模时，会产生效率瓶颈。
2. 局部特征不敏感： 依赖全局自注意力机制的 Transformer 架构往往缺乏必要的归纳偏置，难以捕捉短期时间波动、瞬态冲击和局部退化模式，而这些对于早期故障检测至关重要。
3. 小样本场景下的泛化能力弱： 在工业环境中，针对新工况（如不同的负载或转速）的有标签数据通常非常稀缺。标准深度学习模型难以在无需大规模重训的情况下快速适应这些未见工况，从而导致性能下降。

方法论
作者提出了一种结合了时间卷积网络（TCN）与改进型 Transformer 算法，并辅以模型无关元学习（MAML）策略的混合框架。

• 利用 TCN 集成局部特征： 在输入阶段嵌入了一个一维卷积层。通过利用因果卷积和扩张卷积，该模块能够提取局部时间特征和短期波动模式，在数据进入 Transformer 之前增强模型对瞬态冲击事件的敏感性。
• 改进型 Transformer 架构：
  • 分段稀疏注意力机制： 为了缓解 $O(T^2)$ 的复杂度，输入序列被划分为若干个非重叠的分段。在分段内部应用密集自注意力以捕捉细粒度的局部演化；而在分段之间，则通过一个压缩记忆矩阵实现稀疏交互。这使计算复杂度降低至接近线性（$O(S^2 + SL)$，其中 $S$ 为分段数量），同时保留了对全局趋势的感知能力。
  • 局部增强卷积： 引入了时间卷积增强（TCE）模块，以补偿 Transformer 缺乏局部归纳偏置的问题，确保短期依赖关系得到有效建模。
• 元学习策略（MAML）： 为了解决小样本适应问题，该方法采用了 MAML。将来自各种工况的数据视为元任务（meta-tasks）。模型通过双层优化学习一个任务通用的初始化参数，从而使其能够仅通过极少的梯度更新步数和极少的有标签数据，即可快速适应新的目标域。

核心贡献

1. 统一框架： 本文提出了一种新颖的架构，将 TCN 的局部归纳偏置与改进型 Transformer 的全局建模能力相统一，有效地平衡了局部细节捕捉与长程依赖建模。
2. 高效的长序列建模： 所提出的分段稀疏注意力机制成功将计算复杂度从二次方降至线性，使得工业部署中的全寿命周期建模成为可能。
3. 小样本适应： 通过集成 MAML，该方法展示了学习可泛化初始化参数的能力，从而能够利用有限的数据实现向新工况的快速迁移学习。

实验结果
该方法利用从自建加速寿命试验台采集的 2,400 组全寿命周期振动数据集进行了验证，涵盖了三种不同的运行工况（变化的转速和负载）。

• 预测精度： 在目标域工况下，所提方法实现了 0.13 的平均绝对误差（MAE）、0.22 的均方根误差（RMSE）和 0.05 的均方误差（MSE），决定系数（$R^2$）为 0.99。
• 对比分析： 与基准模型 CNN、LSTM 和 GRU 相比，这些结果在精度上实现了超过两个数量级的提升。具体而言，与表现最好的基准模型（LSTM）相比，误差指标分别降低了 96.24% (MAE)、94.01% (RMSE) 和 99.63% (MSE)。
• 效率： 训练时间为 34.36 秒，仅略高于基准模型（24–28 秒），表明在获得显著精度增益的同时，计算开销的增加微乎其微。
• 泛化能力： 跨工况迁移测试证实了该模型仅需使用极小的支持集（目标数据的 5%–20%）即可适应新的运行场景。

意义与主张
作者声称，这项研究为复杂工业环境下的滚动轴承 RUL 预测提供了一种高精度且强泛化能力的解决方案。通过将局部特征提取、高效全局建模与元学习相结合，所提方法克服了计算成本、局部敏感度与数据稀缺性之间的权衡。研究表明，该方法特别适用于标签数据有限且工况多变的智能维护场景，为高效计算、长程感知和快速适应提供了一个统一的框架。