🤖 AI

FISHER: A Foundation Model for Multi-Modal Industrial Signal Comprehensive Representation

本文介绍了 FISHER，一种用于多模态工业信号表示的基础模型，该模型通过创新的子带建模和教师-学生自蒸馏技术解决了数据异构性问题，在 19 个数据集上实现了卓越的诊断准确性和通用性，并显著优于规模更大的现有最先进模型。

原作者： Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Pingyi Fan, Anbai Jiang, Shuwei Zhang, Xinhu Zheng, Zhiqiang Lv, Bing Han, Wenrui Liang, Junjie Li, Wei-Qiang Zhang, Yanmin Qian, Xie Chen, Jia Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，工厂车间就像一个巨大的、嘈杂的管弦乐团。每一台机器——泵、齿轮、电机、变压器——都在演奏属于自己的乐器。有时，它们配合得天衣无缝（正常运行）；而有时，小提琴弦断了，或者鼓棒折断了（故障）。

多年来，试图通过倾听这个管弦乐团来寻找那件损坏乐器的过程，一直是工程师们的噩梦。以下是原因：

“M5”问题： 论文将这种混乱的数据称为“M5问题”。这意味着数据以M种形式（声音、振动、电流）传来，以M种不同的速度（采样率）、M种不同的尺度、M种不同的任务进行，并且通常在关于“损坏”机器到底是什么声音方面存在M种缺失信息。
旧方法： 以前，工程师必须为每一台机器构建一个微小的、专门的“倾听者”。如果你想检查一台泵，你需要一个模型；如果你要检查一个齿轮，则需要另一个模型。如果泵改变了转速，模型就会失效。这就像是为书中的每一个单词都聘请了一位不同的翻译官。

FISHER：通用翻译官

作者创建了 FISHER，一个“基础模型”。请不要把它看作是一个专门的修理工，而是一个超级聪明的、通用的翻译官，它可以理解任何机器的“语言”，无论它是何种类型，或转速有多快。

以下是 FISHER 的工作原理，使用了一些简单的类比：

1. “乐高积木”策略（解决速度问题）
想象你正在看一张日落的照片。

旧模型试图强行让每张照片的大小都一致。如果照片是高分辨率的（高采样率），它们会将照片压缩到一个小的框架内，从而丢失云朵的所有微小细节。
FISHER 则不同。它意识到高分辨率照片只是低分辨率照片加上一些额外的“乐高积木”。
它没有压缩图像，而是将声波分解成“子带”（就像乐高条一样）。它首先分析低频条，然后在其上方添加高频条。这样一来，即使机器的记录速度极快，它也永远不会丢失精细的细节。它能自然地适应速度，而不需要对数据进行重采样。

2. “音乐学校”训练（意外的转折）
你可能会认为，一个旨在修理工厂机器的模型需要用工厂机器来进行训练。

论文的观点： 出人意料的是，作者发现使用工业数据进行训练的效果，实际上比使用音乐和通用音频进行训练的效果更差。
类比： 想象你想教一名学生识别坏掉的汽车引擎。
- 选项 A： 给他们看 10 小时的汽车引擎声音（这些声音大多是静止不变的）。他们会感到厌倦，学到的东西也非常少。
- 选项 B： 给他们看 10,000 小时的爵士乐、摇滚乐和古典乐。音乐有剧烈的节奏、律动和音高的变化。
- 结果： 接受过音乐训练的学生学会了如何去捕捉“模式”和“变化”。当他们最终听到汽车引擎时，由于他们非常擅长聆听复杂的音频，因此能瞬间发现那个“走调”的音符。论文发现，音乐和音频数据提供了完美的“时间变异性”，以此来教会模型如何倾听，而模型随后将这种能力应用到了工厂车间。

3. “无需训练”的超能力
通常情况下，AI 模型需要针对每一项新工作进行“微调”（重新训练）。

FISHER 的窍门： 作者在涵盖声音、振动、电压和电流的 19 个不同数据集上测试了 FISHER。他们使用了一种“K-最近邻”方法，这就像是在说：“这个新声音看起来像我之前见过的哪些声音？”
结果： FISHER 完全不需要重新训练。它只需观察新数据并说：“我知道这是什么。”它的表现击败了 24 个顶尖模型，而且通常使用的计算能力仅为它们的几分之一（甚至小至 16 倍），却实现了更高的准确度。

“RMIS”基准测试

为了证明这并非偶然，作者构建了一个新的测试场，称为 RMIS（M5 工业信号表示）。这就像是工业 AI 的标准化“驾驶执照考试”。

它包含 19 个不同的数据集。
它测试两项主要技能：异常检测（这个声音奇怪吗？）和故障诊断（究竟是什么坏了？）。
得分： FISHER 获得了最高分（62.23%），以明显的优势超越了排名第二的模型。

核心结论

论文声称，通过将高速数据视为“信息的额外层”而非需要解决的问题，并通过多样化的音乐/音频而非枯燥的工厂数据进行训练，我们可以构建一个单一、小型且高效的模型，该模型能够理解任何工业机器的“语言”。它是一个开箱即用的通用倾听者，让工程师们免于为工厂里的每一台机器都去构建一个新模型的苦恼。

技术摘要：FISHER —— 用于多模态工业信号全面表示的基础模型

1. 问题定义：M5 挑战

本文指出，工业信号分析目前受到严重的数据异构性的阻碍，这种现象被定义为 M5 问题。现有的解决方案依赖于在小规模数据集上训练的专用模型，这些模型在不同机器、模态和任务之间的鲁棒性和可扩展性不足。M5 问题由五个特定的挑战组成：

多模态 (Multi-modal)： 信号在声音、振动、电压和电流之间变化。
多采样率 (Multi-sampling-rate)： 传感器采样率差异巨大（从 3 kHz 到 100 kHz），以平衡成本和奈奎斯特要求。
多尺度 (Multi-scale)： 信号特征根据运行机制（滑动、旋转、静态）和工况的不同而不同。
多任务 (Multi-task)： 下游任务包括异常检测、故障诊断和剩余使用寿命 (RBF) 估计。
极少故障 (Minim fault)： 故障数据稀缺，且类别分布通常是不平衡的。

作者认为，主要的瓶颈不在于数据量，而在于数据质量。工业信号通常是平稳的，并在数据空间中形成不相交的簇，这使得它们仅靠大规模预训练就难以训练出通用的基础模型。

2. 方法论：FISHER 架构

为了解决 M5 问题，作者提出了 FISHER（用于多模态工业信号全面表示的基础模型）。该方法论建立在专注于三个支柱的优先路线图之上：针对采样率的特殊模型设计、基于高质量数据的大规模预训练，以及用于故障检测的高质量表示。

A. 子带建模（解决多采样率问题）

FISHER 的核心创新是一种新颖的子带建模方法，它将采样率增量视为拼接的子带信息，从而消除了重采样（resampling）的需求。

STFT 转换： 信号被转换为短时傅里叶变换 (STFT) 谱图，具有固定的时频分辨率 ( $\Delta f = 1/t_{win}$ )，确保无论输入采样率如何，频率分辨率都保持恒定。
频带划分： 谱图被划分为具有固定带宽 ( $w$ ) 的若干子带。这些子带被视为独立的构建模块。
拼接： 模型使用 Vision Transformer (ViT) 编码器分别处理每个子带。最终的信号表示通过拼接所有子带的 [CLS] 嵌入来形成。
优势： 这使得模型能够利用完整的信号带宽。较高的采样率仅仅是增加了更多具有信息量的超高频子带，而不是通过重采样来扭曲信号。

B. SSL 预训练策略

FISHER 采用了教师-学生自蒸馏框架：

架构： 一个学生编码器 ( $E_{stu}$ ) 和一个教师编码器 ( $E_{tea}$ )，其中教师是学生的指数移动平均 (EMA)。两者均采用 ViT 结构。
掩码方案： 学生处理被遮蔽的子带（使用逆向块掩码和掩码克隆生成多个视图），而教师处理完整的子带。
损失函数： 学生被训练在两个层面上与其教师的表示进行对齐：
1. 子带层面： 对齐 [CLS] token。
2. Patch 层面： 通过学生解码器 ( $D_{stu}$ ) 对齐 patch 嵌入。
数据来源： 与需要领域特定数据的直觉相反，FISHER 在音频和音乐数据（包括 Audioset, Freesound, MTG-Jamendo, Music4all，总计 1.7 万小时）上进行预训练。作者认为，这些数据集提供了更大的时间变异性和相似的归纳偏置，这比平稳的工业信号更有利于预训练。

3. RMIS 基准测试

为了全面评估基础模型，作者引入了 RMIS（M5 工业信号表示）基准测试。

构成： 它包含涵盖四种模态（声音、振动、电压、电流）的 19 个子数据集。
任务： 它涵盖了异常检测（6 个数据集，如 DCASE 挑战赛）和故障诊断（13 个数据集，如轴承、齿轮和电机故障）。
评估协议： 所有模型都使用 k-最近邻 (KNN) 推理进行评估，且无需微调，以测试零样本泛化能力。对于没有官方划分的数据集，使用“密封式”训练-测试划分，以防止来自高度平稳信号段的信息泄漏。

4. 实验结果

FISHER 与 24 个最先进的 (SOTA) 编码器进行了对比评估，包括语音、音频、音乐、大型音频语言模型 (LALM) 和时间序列编码器。

性能： FISHER 取得了 62.23% 的整体 RMIS 得分，超过了表现最好的基线模型 (ECHO) 至少 1.56%，并以显著优势超越了所有其他基线。
效率： FISHER 在实现这些结果的同时，模型尺寸显著更小（比常见的 90M 参数编码器小多达 16 倍）。其“小型”变体（22M 参数）的表现优于参数量高达 2B 的模型。
通用性： 该模型在异常检测和故障诊断任务中均表现出强大的性能，特别是在高采样率故障诊断场景下表现卓越，而在这些场景中，基线模型通常会在重采样过程中丢失信息。
扩展性： 实验表明，性能增益会随着模型规模和所使用的子带数量而增加。

5. 关键发现与意义

基于实验，论文得出了两个关键结论：

无缝适应采样率： 原生处理可变采样率的能力（通过子带建模）是实现泛化能力的驱动力，且无需重采样。高频成分对于工业信号分析至关重要，而重采样往往会稀释这些信息。
预训练的数据策展： 与平稳的工业信号相比，音频和音乐数据为预训练基础模型提供了更优越的时间变异性。工业信号基础模型并不一定需要使用工业信号进行训练才能达到 SOTA 性能；事实上，将工业信号加入到音频/音乐数据的预训练混合中，有时反而会因为数据质量问题导致性能下降。

意义：
作者声称，FISHER 代表了工业信号分析领域的突破，因为它证明了一个基础模型可以在无需微调的情况下，实现跨模态、跨机器和跨任务的泛化。通过解决多采样率问题并利用高质量的外部数据进行预训练，FISHER 提供了一种可扩展、高效且通用的解决方案，降低了为每个独特的工业场景训练专用模型的开发负担。该工作已开源以造福社区。