TS-MLLM: A Multi-Modal Large Language Model-based Framework for Industrial Time-Series Big Data Analysis

本文提出了 TS-MLLM 框架，通过结合工业时序补丁建模、谱感知视觉语言模型适配以及时序中心多模态注意力融合机制，实现了对工业时序数据中时间信号、频域图像和文本知识的统一多模态建模，从而在工业设备健康管理任务中显著提升了预测的准确性、鲁棒性和泛化能力。

要点

这篇论文介绍了一个名为 TS-MLLM 的新系统，它的任务是像一位经验丰富的老医生一样，通过“望、闻、问、切”来预测工业机器（比如飞机引擎）还能健康工作多久。

在工业界，这被称为“剩余寿命预测”（RUL）。如果预测不准，机器可能突然坏掉导致停工，或者被过早更换造成浪费。

为了让你更容易理解，我们可以把 TS-MLLM 想象成一个超级智能的“机器健康诊断团队”，它由三位性格迥异但互补的专家组成：

1. 三位专家（三大核心模块）

这个团队不再只盯着一种数据看，而是同时处理三种信息：

• 专家 A：时间序列观察员（负责“看趋势”）

  • 传统做法：以前的模型像是一个只盯着秒表的人，每秒看一眼数据，容易忽略长期的变化规律。
  • TS-MLLM 的做法：这位专家把时间数据切成了一个个“小片段”（Patch），就像把一段长电影剪成几个精彩的镜头组。他不仅看当下的状态，还能通过 Transformer 技术（一种强大的注意力机制）看清整个“剧情”的走向，捕捉机器从健康到生病的长期演变过程。
  • 比喻：就像看一个人的跑步视频，他不仅看这一秒跑得快不快，还能看出过去半小时的体力消耗趋势。

• 专家 B：频谱与知识顾问（负责“看纹理”和“懂理论”）

  • 传统做法：只看数字，很难发现机器内部细微的震动异常。
  • TS-MLLM 的做法：
    1. 视觉化：他把机器发出的声音和震动（时间信号）变成了频谱图（看起来像彩色的热力图或纹理）。这就好比把一段录音变成了“声纹图”，让机器能像识别猫狗叫声一样，识别出机器故障特有的“花纹”。
    2. 知识注入：他还会阅读专家手册和维修记录（文本知识）。比如，他知道“在 3000 转时，如果温度升高 5 度通常意味着轴承磨损”。
  • 比喻：这就像一位老中医，不仅看你的脸色（频谱图），还问你平时的生活习惯（文本知识），结合两者来判断病情。

• 专家 C：融合指挥官（负责“做决策”）

  • 传统做法：以前是把专家 A 和 B 的意见简单加起来，或者只信其中一个。
  • TS-MLLM 的做法：这位指挥官非常聪明。他以时间数据为主角（Query），主动去问另外两位专家：“在这个特定的时间点，频谱图里有没有异常？专家手册里有没有相关的警告？”
  • 比喻：就像侦探破案，他拿着时间线上的线索，主动去档案室（文本）和监控室（频谱图）调取最相关的证据，而不是把一堆无关的资料堆在面前。

2. 这个系统厉害在哪里？

• 不仅看得准，还特别“抗造”（鲁棒性强）：
  以前的模型如果只见过一种天气下的机器，换个环境就懵了。TS-MLLM 因为融合了“视觉纹理”和“专家知识”，就像一个人既看过各种天气的驾驶视频，又背熟了驾驶手册，所以即使是在数据很少（少样本）或者环境很复杂的情况下，它也能猜得很准。
• 不仅会算数，还会“推理”：
  它利用了大语言模型（LLM）的推理能力。它不是死板地计算数字，而是能理解“如果震动图出现这种花纹，且手册提到过这种情况，那么机器可能快坏了”这种逻辑。

3. 实验结果：真的好用吗？

作者在 NASA 的飞机引擎数据集（C-MAPSS）上做了测试，就像让这位“诊断团队”去预测 100 架引擎的寿命。

• 结果：它的预测误差比目前市面上最先进的其他方法都要低。
• 少样本能力：即使只给它看 5% 或 10% 的数据（就像只给医生看几个病人的病历），它也能迅速学会并做出准确判断，而其他方法这时候往往还在“懵圈”。

总结

TS-MLLM 就像是给工业机器请了一位全能的 AI 医生。

• 它不再只盯着枯燥的数字表格；
• 它学会了看图（把震动变成频谱图）；
• 它学会了读书（理解维修手册和专家经验）；
• 它最擅长的是把这三者结合起来，像人类专家一样进行综合判断。

这使得工厂能更早、更准地发现机器故障，避免意外停机，大大节省了成本并提高了安全性。

技术摘要

TS-MLLM 技术总结：基于多模态大语言模型的工业时间序列大数据分析框架

1. 研究背景与问题 (Problem)

工业时间序列大数据是设备预测与健康管理（PHM）的基石。然而，现有的深度学习方法（如 RNN、CNN、Transformer）在处理工业数据时存在以下局限性：

• 单模态局限：现有方法通常仅关注单一模态（如仅处理原始时序信号），未能充分利用时序信号、频域视觉表征（如频谱图）和文本领域知识之间的互补性。
• 泛化能力不足：传统模型在少样本（Few-shot）和零样本场景下表现不佳，难以适应复杂的工况变化和不同的设备类型。
• 表征错位：连续的时间信号与离散的文本/视觉 Token 之间存在表征不对齐的问题，导致难以融合高层语义与底层物理特征。
• 信息缺失：纯时序模型容易丢失全局形态模式，而纯视觉模型可能丢失时间分辨率，且往往缺乏专家知识的引导。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 TS-MLLM，一个统一的多模态大语言模型框架。该框架通过三个核心组件协同工作，实现了对时序、频域图像和文本知识的联合建模：

2.1 工业时间序列 Patch 建模分支 (Industrial Time-series Patch Modeling)

• 目的：捕捉长程时间动态和局部上下文。
• 机制：
  • 摒弃传统的逐点（Pointwise）处理，采用Patch（分块）策略将连续时间序列分割为有意义的子序列单元。
  • 利用 Patch Embedding 和 Transformer 编码器（Multi-head Attention）处理这些块，有效捕捉非线性依赖和长程演化。
  • 该分支独立优化，提取纯粹的时序退化动力学特征，作为后续多模态融合的时间查询基础。

2.2 频谱感知视觉 - 语言模型适配 (SVLMA, Spectrum-aware Vision-Language Model Adaptation)

• 目的：将频域视觉模式与专家文本知识对齐，构建统一语义流形。
• 核心组件：
  1. 多视图时频变换 (Multi-view TFT)：将 1D 信号转换为 3 通道图像，包含：
     • 递归图 (Recurrence Plots, RP)：编码非线性系统动力学。
     • 短时傅里叶变换 (STFT)：提取平稳频谱特征。
     • 连续小波变换 (CWT)：捕捉瞬态冲击和时频局部化特征。
  2. 领域知识嵌入 (DKE)：将专家知识（如工况、设备规格）转化为结构化文本提示（Prompt），并进行 Tokenization 和嵌入。
  3. 视觉 - 语言适配 (VLMA)：
     • 使用预训练的 Masked Autoencoder (MAE) 作为视觉骨干提取频谱特征。
     • 通过可学习的跨模态投影器（Projector）将视觉特征映射到 LLM 的语义空间。
     • 将视觉 Token 作为前缀与文本 Token 拼接，输入预训练的大语言模型（如 Qwen），生成包含全局健康上下文和语义推理能力的引导表示 ($F_{LLM}$)。

2.3 以时序为中心的多模态注意力融合 (TMAF, Temporal-centric Multi-modal Attention Fusion)

• 目的：实现时序特征与多模态语义特征的深度对齐与融合。
• 机制：
  • 非对称注意力机制：以时序分支输出的特征 ($F_{TS}$) 作为 Query (Q)，以 SVLMA 生成的全局语义表示 ($F_{LLM}$) 作为 Key (K) 和 Value (V)。
  • 主动检索：模型利用时序特征主动从多模态上下文中检索最相关的视觉和文本线索（例如，当 LLM 识别出特定频谱特征时，机制会增强对应时间步的异常波动）。
  • 残差融合：将检索到的上下文向量与原始时序特征拼接，并通过线性投影生成最终融合特征，用于预测（如剩余使用寿命 RUL）。

3. 主要贡献 (Key Contributions)

1. 统一框架：提出了 TS-MLLM，首次在工业时间序列领域实现了时序信号、频域图像和文本知识的联合建模，有效利用了跨模态互补性。
2. 频谱感知适配：设计了 SVLMA 模块，通过双分支学习（视觉 + 文本）将频域动力学内化到大语言模型中，增强了多模态推理能力。
3. 时序中心融合机制：开发了 TMAF 机制，利用时序特征作为 Query 主动检索多模态线索，解决了传统融合方法中时序分辨率丢失的问题，实现了自适应的跨模态对齐。
4. 卓越的性能：在多个工业基准数据集上验证了该方法，特别是在少样本和复杂工况下，显著优于现有的 SOTA 方法。

4. 实验结果 (Results)

• 数据集：在 NASA 发布的 C-MAPSS 涡轮风扇发动机退化数据集（FD001-FD004）上进行评估。
• 主要指标：
  • RMSE (均方根误差)：TS-MLLM 在所有四个子集上均取得了最低的 RMSE。例如，在 FD002 上比最强基线降低了 3.4%，平均降低约 2.3%。
  • Score (不对称评分)：在 FD001 和 FD002 上取得了最佳 Score（分别提升 10.0% 和 14.3%），表明其在风险敏感预测（避免过晚预测）方面表现优异。
• 少样本学习：在仅使用 5%-20% 训练数据的情况下，TS-MLLM 仍能保持接近全量数据训练的性能，证明了其强大的数据效率和泛化能力。
• 可视化分析：
  • UMAP 可视化显示，时序嵌入与 MLLM 特征嵌入在特征空间中清晰分离，证明了多模态分支提取了非冗余信息。
  • 融合权重的分布表明，模型能根据输入实例自适应地调整对时序和语义特征的依赖程度。

5. 意义与价值 (Significance)

• 理论创新：突破了传统单模态时间序列分析的局限，探索了大语言模型在工业物理信号处理中的新范式，证明了“时序 + 视觉 + 文本”融合在提升模型鲁棒性和泛化性方面的巨大潜力。
• 实际应用：为工业设备的预测性维护提供了更可靠、更通用的解决方案，特别是在数据稀缺（少样本）或工况复杂多变的环境中，能够显著降低设备故障风险，优化维护策略。
• 未来方向：该工作为构建工业多模态基础模型奠定了基础，未来可进一步结合物理先验知识（Physics-informed），推动工业人工智能向更深层次的认知智能发展。