🤖 machine learning

Modular Foundation Models for Time-Series Perception in Digital Twins

本文提出了一种用于数字孪生中时间序列感知的模块化基础模型，该模型利用自监督预训练、用于编码器选择的动态门控机制以及基于 Transformer 的聚合技术，为多样化的故障诊断与健康管理任务构建鲁棒且可迁移的表示。

原作者： Quang Hung Pham, Ryad Zemouri, Martin Gagnon, Luc Vouligny

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Quang Hung Pham, Ryad Zemouri, Martin Gagnon, Luc Vouligny

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图构建一个“数字孪生（Digital Twin）”——一个像水电发电机这样庞大且复杂机器的虚拟、活生生的副本。为了让这个虚拟副本发挥作用，你需要一个“感知系统”，它能够观察并理解来自混乱数据流（振动、温度、电信号）的信息，从而明白机器正在发生什么。

问题在于，现实世界的机器是杂乱无章的。它们的运行速度各异，受天气影响不同，磨损程度也各不相同。传统的 AI 模型就像是只会在特定天气条件下修理特定问题的专家。如果机器发生了变化，模型就会失效。

这篇论文提出了一种全新的解决方案：一种模块化基础模型（Modular Foundation Model）。你可以把它想象成不是一个单一的专家，而是一个超级聪明的“瑞士军刀”团队，旨在处理任何形式的时间序列数据。

以下是其工作原理，通过简单的概念进行拆解：

1. 专家团队（编码器/Encoders）

作者并没有训练一个处理所有事务的巨型大脑，而是构建了一个由被称为**编码器（Encoders）**的小型专业化大脑组成的“图书馆”。

它们如何学习： 每个编码器都在其独特的特定数据集（如振动数据、心跳或用电量）上，通过一种称为**自监督学习（Self-Supervised Learning）**的技术进行了训练。
类比： 想象一群厨师。一位厨师只擅长烤面包，另一位擅长烤鱼，还有一位擅长做汤。他们并不是通过被告知“去做个三明治”来学习的；他们是通过反复练习自己的特定手艺，直到掌握了食材的“精髓”。
结果： 这些“厨师”（编码器）现在已经处于“冻结”状态。他们是识别特定类型数据模式的专家，但目前还不知道如何解决你的具体问题。

2. 智能经理（门控机制/Gating Mechanism）

当你向系统输入新数据（例如一个新的水电发电机）时，你并不希望去询问“面包师”来解决“烧烤”问题。你需要一个经理来决定该找谁。

过程： “门控机制”充当一名聪明的调度员。它观察输入的数据并询问：“这看起来像是‘振动厨师’熟悉的模式吗？它符合‘温度厨师’的经验吗？”
选择： 它会挑选出前几个与其过去的经验最匹配的专家。它会忽略其余的部分。这既节省了能量，又确保了应用正确的专业知识。

3. 翻译官与集思广益（投影与聚合/Projection & Aggregation）

被选中的厨师们说着不同的“语言”（他们的数据格式各异）。你不能直接把他们的笔记堆在一起。

翻译官： 一个投影层（Projection Layer）将每位厨师的笔记翻译成一种通用的语言（一个共享的“潜空间”）。
集思广益： 一个 Transformer（一种擅长连接各种关联点的 AI 类型）充当了会议室。它接收来自选定厨师的翻译后的笔记，并让它们进行“对话”。它会弄清楚振动专家的见解如何与温度专家的见解相结合，从而构成一幅完整的图景。

4. 特定任务工具（头部/The Head）

一旦团队对数据达成了共识，一个轻量级的“头部（Head）”就会附加在前端来执行实际的任务。

工作内容： 这可以是填补缺失的数据（插补/Imputation）、预测未来（预测/Forecasting），或者是利用极少量的数据来发现问题（少样本学习/Few-shot learning）。
神奇之处： 因为“大脑”（团队）已经经过了训练，你只需要训练这个微小的“头部”极少量的全新数据即可。这就像拥有一支大师级的厨师团队，他们只需看一眼食谱就能立刻学会做一道新菜，而不需要从头开始训练整个厨房。

他们证明了什么？

作者通过两种方式测试了这个“瑞士军刀”团队：

标准测试（ETT 基准测试）： 他们使用了电力变压器的公开数据集。该模型在填补缺失数据和预测未来方面表现出色，即使在需要通过极少量的学习信息进行学习（少样本学习）的情况下也是如此。它的表现与其他顶尖模型相比具有竞争力。
现实世界测试（水电发电机）： 他们将此应用于一个真实的工业问题：在没有物理传感器的情况下估算旋转发电机转子的温度（即“虚拟传感器”）。
- 结果： 模型成功预测了温度，甚至给出了一个“置信区间”（不确定性的范围）。它在所训练的机器上表现良好。当他们尝试将其应用于另一台机器时，预测结果在追踪总体趋势方面仍然表现良好，尽管置信区间变宽了（这在移动到新的、略有不同的环境时是预料之中的）。

核心结论

这篇论文认为，我们不应该为每一个工业任务都去构建一个全新的、脆弱的 AI 模型，而应该构建一个模块化的基础。通过拥有一个预训练的专家团队和一个智能的经理来挑选合适的专家，我们可以创造出一个灵活、鲁棒且能够适应新机器和新条件的感知系统。它将“数字孪生”从一个静态的快照转变为一个活生生的、不断学习的伙伴。

技术摘要：用于数字孪生时间序列感知的模块化基础模型

1. 问题陈述

工程数字孪生（DT）与故障诊断与健康管理（PHM）系统需要鲁棒的感知模块，能够从异构、非平稳的时间序列数据中提取可操作的信息。现有方法面临三个主要局限性：

任务特定性（Task-Specificity）： 当前的方法通常是为单一任务设计的，难以跨越不同的运行工况或资产进行迁移。
数据饥渴（Data Hunger）： 传统的监督学习流水线需要大量的标注数据，而在工业场景中，由于标注有限和类别不平衡，这类数据非常稀缺。
非平稳性（Non-Stationarity）： 工业系统在变化的机制下运行（负载波动、老化、环境干扰），导致传统模型难以实现泛化。

本文认为，为每一个新场景构建独立的任务特定模型是成本高昂且不可持续的。相反，需要一个统一的感知层，该层能够利用来自异构来源的既有知识，并在有限监督的情况下适应新的、未见的领域。

2. 方法论

作者提出了一种用于时间序列处理的模块化基础模型（FM-TSP）。与端到端架构不同，该框架显式地将表示学习、编码器选择和任务适配解耦。该架构由三个主要部分组成：

A. 预训练编码器集合 ( $E$ )

其基础是一个包含 $M$ 个预训练表示编码器的库（ $E = \{E_1, \dots, E_M\}$ ）。

训练策略： 每个编码器都在异构数据集（例如振动、声学、电学、生理信号）上使用**自监督学习（SSL）**进行独立训练。
目标函数： 预训练采用双重目标方法：
1. 重构（Reconstruction）： 一个轻量级解码器使用 Huber 损失重构输入片段，以确保对异常值的鲁棒性。
2. 对比学习（Contrastive Learning）： 对比目标（NT-Xent）强制执行对部分信号损坏（掩码）的不变性，从而正则化潜在空间。
专业化： 编码器在多样化的数据子集和架构（MLP、CNN、Transformer）上进行训练，以捕捉广泛的时间动态和物理机制。

B. 门控与选择机制 ( $G_{gate}$ )

为了处理新的目标数据集 $Y$ ，模型并不会使用所有的编码器。相反，一种门控机制会动态选择最相关的编码器子集 ( $E^*$ )。该选择基于两个标准：

数据相似性： 使用统计和频谱描述符（如矩、分位数、傅里叶系数）计算目标数据集与预训练数据集之间的差异性。
结构相关性： 评估一个编码器在将其映射到潜在空间时，是否保留了目标数据的局部相似性结构（邻域关系）。
这确保了条件计算，即仅激活那些学习到的表示与目标领域相匹配的编码器。

C. 投影与聚合模块 ( $G_{agg}$ )

选定的编码器产生异构空间的潜在表示。

投影（Projection）： 可学习的线性投影器将这些异构输出映射到一个共享的 $d$ 维潜在空间。在早期微调期间，应用对齐正则化项（最大均值差异，MMD），以确保各编码器之间的语义一致性。
聚合（Aggregation）： 一个基于 Transformer 的自注意力模块将投影后的表示作为序列 Token 进行处理。这使得模型能够捕捉跨编码器的交互和依赖关系，并根据其对特定下游任务的相关性进行动态重新加权。

D. 任务适配 ( $T$ )

该框架通过轻量级的任务特定头部支持多种下游任务（插补、预测、虚拟传感）。在适配过程中，预训练的编码器保持冻结状态；仅更新投影器、聚合模块和任务头部。这实现了高效的少样本学习。

3. 核心贡献

模块化基础架构： 提出了一个解耦的框架，将表示学习与任务适配分离，从而允许在多样化的工业场景中复用预训练编码器。
两阶段门控机制： 引入了一种基于数据相似性和结构相关性的原则性编码器选择策略，超越了随机或朴素的聚合方式，确保了计算效率和相关性。
跨编码器聚合： 证明了基于 Transformer 的自注意力在融合异构表示方面的效用，其表现优于简单的拼接或平均池化。
自监督预训练： 验证了双重目标 SSL 方法（重构 + 对比）在从无标签工业数据中学习鲁棒、任务无关的时间序列表示方面的有效性。

4. 实验结果

该框架在 ETT（电力变压器温度） 基准测试和实际工业案例研究中进行了评估。

基准测试评估（ETT 数据集）

模型在三个任务上进行了测试：插补、长期预测和少样本预测。

插补（Imputation）： FM-TSP 取得了与最先进模型（PatchTST, iTransformer, DLinear）相当或更好的性能，这得益于预训练重构目标与插补任务之间的直接联系。
长期预测（Long-term Forecasting）： 模型与领先的基准模型（DLinear, iTransformer）保持了竞争力，但略逊于 PatchTST。作者将其归因于编码器并非在特定的 ETT 数据上进行预训练，这凸显了一个潜在的改进方向，即通过更丰富的编码器库来增强性能。
少样本预测（Few-shot Forecasting）： 在数据稀缺场景下（仅使用 5% 或 10% 的训练数据），FM-TSP 位居顶尖水平，展示了有效的知识迁移能力。

工业案例研究：转子温度虚拟传感

开发了一个虚拟传感器，用于利用运行信号估计水轮发电机组的转子温度，解决了直接测量困难的问题。

训练： 模型在其中一台机组（TGU）上进行训练，并在其他机组上进行测试。
性能： 模型成功追踪了地面真值的平均温度。
不确定性量化： 通过使用 Beta-loss 似然函数预测分布参数（均值和方差），模型提供了经过校准的不确定性估计。在训练机组上，覆盖率约为 93.5%（接近标称的 95%）。在另一台机组（迁移学习）上，由于分布偏移，覆盖率降至 65%，但模型仍能有效识别关键的高温事件，这对于安全监控至关重要。

5. 意义与主张

本文将 FM-TSP 定位为工业数字孪生和混合模型-数据 PHM 系统的可扩展感知层。其意义在于：

可扩展性： 通过冻结编码器并仅训练轻量级头部，该框架降低了为新任务或新资产部署模型的成本。
对数据稀缺的鲁棒性： 利用异构数据进行自监督预训练的能力，使系统能够在标签数据有限的少样本机制下有效运行。
模块化： 该架构支持增量开发；可以通过向库中添加新的编码器来覆盖新的运行机制，而无需重新训练整个系统。
混合集成： 作者声称该框架作为一个数据驱动组件，可以自然地与物理模型集成，以增强在安全关键型应用中的可解释性和鲁棒性。

作者总结道，虽然该框架与端到端的先进模型相比具有竞争力，但其核心价值在于提供了一个可复用的、模块化的基础，解决了工程数字孪生中固有的非平稳性和数据异构性挑战。