技術要約：FISHER – マルチモーダル産業信号の包括的表現のための基盤モデル

1. 問題定義：M5の課題

本論文は、産業信号の解析が、M5問題として定義される深刻なデータの異質性によって阻害されていることを指摘している。既存のソリューションは、小規模なデータセットで訓練された特化型のモデルに依存しており、異なる機械、モダリティ、タスクに対する堅牢性とスケーラビリティに欠けている。M5問題は、以下の5つの具体的な課題によって定義される：

1. マルチモーダル (Multi-modal): 信号は音、振動、電圧、電流にわたって多様である。
2. マルチサンプリングレート (Multi-sampling-rate): センサーのサンプリングレートは、コストとナイキスト条件のバランスをとるために、3 kHzから100 kHzまで幅広く存在する。
3. マルチスケール (Multi-scale): 信号の特性は、動作メカニズム（スライディング、回転、静止）や動作条件に基づいて異なる。
4. マルチタスク (Multi-task): ダウンストリームのタスクには、異常検知、故障診断、および残寿命（RUL）推定が含まれる。
5. 最小限の故障 (Minim fault): 故障データは乏しく、クラス分布はしばしば不均衡である。

著者らは、主要なボトルネックはデータの量ではなく、データの質であると主張している。産業信号はしばしば定常的であり、データ空間内で離散的なクラスターを形成するため、大規模な事前学習のみを通じて汎用的な基盤モデルを訓練するには不十分である。

2. 手法：FISHER アーキテクチャ

M5問題に対処するため、著者らはFISHER（Foundation model for multi-modal Industrial Signal compreHEnsive Representation）を提案する。その手法は、サンプリングレートのための特殊なモデル設計、高品質なデータを用いた大規模な事前学習、および故障検知のための高品質な表現という3つの柱に焦点を当てた優先ロードマップに基づいている。

A. サブバンド・モデリング（マルチサンプリングレートへの対処）

FISHERの核心的な革新は、サンプリングレートの増分を連結されたサブバンド情報として扱う新しいサブバンド・モデリング手法であり、これによりリサンプリングの必要性を排除している。

• STFT変換: 信号は、入力サンプリングレートに関わらず一定の周波数分解能（$\Delta f = 1/t_{win}$）を保証するように、短時間フーリエ変換（STFT）スペクトログラムに変換される。
• バンド分割: スペクトログラムは、固定された帯域幅（$w$）を持つサブバンドに分割される。これらのサブバンドは、独立した構成要素として扱われる。
• 連結: モデルは、Vision Transformer (ViT) エンコーダを使用して各サブバンドを個別に処理する。最終的な信号表現は、すべてのサブバンドの [CLS] 埋め込みを連結することによって形成される。
• 利点: これにより、モデルは信号の全帯域幅を活用できる。高いサンプリングレートは、信号をリサンプリングによって歪ませることなく、単に情報量の多い高周波サブバンドを追加するだけとなる。

B. 自己教師あり学習（SSL）事前学習戦略

FISHERは、**教師・生徒自己蒸留（teacher-student self-distillation）**フレームワークを採用している：

• アーキテクチャ: 生徒エンコーダ（$E_{stu}$）と教師エンコーダ（$E_{tea}$）からなる。教師は生徒の指数移動平均（EMA）であり、両者はViT構造を利用する。
• マスキング・スキーム: 生徒は、複数のビューを生成するために逆ブロック・マスキング（inverse block masking）とマスク・クローニングを使用し、マスクされたサブバンドを処理する。一方、教師は完全なサブバンドを処理する。
• 損失関数: 生徒は、以下の2つのレベルで教師の表現と整合するように訓練される：
  1. サブバンド・レベル: [CLS] トークンの整合。
  2. パッチ・レベル: 生徒デコーダ（$D_{stu}$）を介したパッチ埋め込みの整合。
• データソース: ドメイン固有のデータが必要であるという直感に反して、FISHERはオーディオおよび音楽データ（Audioset、Freesound、MTG-Jamendo、Music4all、計17,000時間）で事前学習されている。著者らは、これらのデータセットが産業信号よりも優れた時間的変動性と類似の帰納バイアスを提供し、事前学習においてより有益であると主張している。

3. RMIS ベンチマーク

基盤モデルを包括的に評価するために、著者らはRMIS（Representation of M5 Industrial Signals）ベンチマークを導入した。

• 構成: 4つのモダリティ（音、振動、電圧、電流）にわたる19のサブデータセットで構成される。
• タスク: 異常検知（DCASEチャレンジなどの6つのデータセット）と故障診断（ベアリング、ギア、モーターの故障を含む13のデータセット）をカバーしている。
• 評価プロトコル: すべてのモデルは、ゼロショット汎化能力をテストするために、ファインチューニングなしの**k-最近傍法（KNN）**推論を用いて評価される。公式の分割がないデータセットについては、高度に定常的な信号セグメントからの情報漏洩を防ぐために、「封印された（sealed）」訓練・テスト分割が使用される。

4. 実験結果

FISHERは、音声、オーディオ、音楽、大規模オーディオ言語モデル（LALM）、および時系列エンコーダを含む24の最先端（SOTA）エンコーダと比較して評価された。

• 性能: FISHERは**62.23%**の総合RMISスコアを達成し、最良のベースラインであるECHOを少なくとも1.56%上回り、他のすべてのベースラインを大幅に上回った。
• 効率性: FISHERは、これら（高い性能）を大幅に小さなモデルサイズで達成している（一般的な90Mパラメータのエンコーダよりも最大16倍小さい）。「スモール」バリアント（22Mパラメータ）は、最大2Bパラメータを持つモデルを凌駕している。
• 汎用性: モデルは、異常検知と故障診断の両方のタスクにおいて強力な性能を示し、特にベースラインがリサンプリング中に情報を失いやすい高サンプリングレートの故障診断シナリオにおいて優れた性能を発揮した。
• スケーリング: 性能の向上は、モデルのサイズおよび利用されるサブバンドの数とともにスケールすることが示されている。

5. 主な知見と意義

実験に基づき、本論文は2つの重要な結論を導き出している：

1. サンプリングレートへのシームレスな適応: リサンプリングを行わずに（サブバンド・モデリングを介して）可変サンプリングレートをネイティブに処理できる能力が、汎化の鍵となる要因である。高周波成分は産業信号の解析において極めて重要であり、リサンプリングはしばしばこの情報を希釈してしまう。
2. 事前学習のためのデータキュレーション: オーディオおよび音楽データは、産業信号と比較して、基盤モデルの事前学習のための優れた時間的変動性を提供する。産業信号の基盤モデルを構築するために、必ずしも産業信号で訓練する必要はない。実際、オーディオ/音楽データの事前学習ミックスに産業信号を加えると、データの質の懸念から性能が低下する場合がある。

意義:
著者らは、FISHERが、ファインチューニングなしでモダリティ、機械、タスクを横断して汎化できる基盤モデルを示すことで、産業信号解析における画期的な進歩を遂げたと主張している。サンプリングレートの問題を解決し、高品質な外部データを事前学習に活用することで、FISHERは、あらゆる独自の産業シナリオに対して専用モデルを訓練する開発負担を軽減する、スケーラブルで効率的かつ多用途なソリューションを提供する。本研究はコミュニティの利益のためにオープンソース化されている。