기술 요약: FISHER – 다중 모달 산업 신호의 포괄적 표현을 위한 파운데이션 모델

1. 문제 정의: M5 챌린지

본 논문은 산업 신호 분석이 현재 심각한 데이터 이질성, 즉 M5 문제로 인해 어려움을 겪고 있다고 지적한다. 기존의 솔루션들은 소규모 데이터셋에 특화된 모델에 의존하고 있으며, 이는 서로 다른 기계, 모달리티, 태스크 전반에 걸친 강건성과 확장성이 부족하다. M5 문제는 다음과 같은 다섯 가지 구체적인 과제로 정의된다:

1. Multi-modal (다중 모달): 신호는 소리, 진동, 전압, 전류 등 다양하게 나타난다.
2. Multi-sampling-rate (다중 샘플링 레이트): 비용과 나이퀴스트(Nyquist) 요구 사항의 균형을 맞추기 위해 센서 샘플링 레이트가 3 kHz에서 100 kHz까지 매우 다양하다.
3. Multi-scale (다중 스케일): 신호의 특성은 작동 메커니즘(슬라이딩, 회전, 정적 상태) 및 작업 조건에 따라 달라진다.
4. Multi-task (다중 태스크): 다운스트림 태스크에는 이상 탐지(Anomaly Detection), 결함 진단(Fault Diagnosis), 잔여 유효 수명(RUL) 추정이 포함된다.
5. Minim fault (최소 결함): 결함 데이터는 희소하며, 클래스 분포가 불균형한 경우가 많다.

저자들은 주요 병목 현상이 데이터의 양이 아니라 데이터의 품질이라고 주장한다. 산업 신호는 종종 정체되어 있으며 데이터 공간 내에서 서로 분리된 클러스터를 형성하므로, 대규모 사전 학습만으로는 범용 파운데이션 모델을 훈련하기에 불충분하다.

2. 방법론: FISHER 아키텍처

M5 문제를 해결하기 위해 저자들은 FISHER(Foundation model for multi-modal Industrial Signal compreHEnsive Representation)를 제안한다. 이 방법론은 샘플링 레이트를 위한 특수 모델 설계, 고품질 데이터를 활용한 대규모 사전 학습, 결함 탐지를 위한 고품질 표현력이라는 세 가지 기둥에 초점을 맞춘 우선순위 로드맵을 기반으로 구축되었다.

A. 서브밴드 모델링 (다중 샘플링 레이트 대응)

FISHER의 핵심 혁신은 샘플링 레이트 증분을 리샘플링 없이 연결된 서브밴드 정보로 취급하는 새로운 서브밴드 모델링 방식이다.

• STFT 변환: 신호는 고정된 시간-주파수 해상도($\Delta f = 1/t_{win}$)를 갖는 단시간 푸리에 변환(STFT) 스펙트로그램으로 변환되어, 입력 샘플링 레이트와 관계없이 일정한 주파수 해상도를 보장한다.
• 밴드 분할: 스펙트로그램은 고정된 대역폭($w$)을 가진 서브밴드로 분할된다. 이 서브밴드들은 독립적인 구성 요소로 취급된다.
• 연결(Concatenation): 모델은 비전 트랜스포머(ViT) 인코더를 사용하여 각 서브밴드를 개별적으로 처리한다. 최종 신호 표현은 모든 서브밴드의 [CLS] 임베딩을 연결하여 형성된다.
• 이점: 이를 통해 모델은 전체 신호 대역폭을 활용할 수 있다. 높은 샘플링 레이트는 신호를 왜곡하는 리샘플링 대신, 더 많은 정보를 담은 고주파 서브밴드를 추가할 뿐이다.

B. SSL 사전 학습 전략

FISHER는 교사-학생 자기 증류(Teacher-Student Self-distillation) 프레임워크를 채택한다.

• 아키텍처: 학생 인코더($E_{stu}$)와 교사 인코더($E_{tea}$)로 구성되며, 여기서 교사는 학생의 지수 이동 평균(EMA)이다. 두 모델 모두 ViT 구조를 사용한다.
• 마스킹 기법: 학생은 마스킹된 서브밴드(여러 뷰를 생성하기 위해 역 블록 마스킹 및 마스크 클로닝 사용)를 처리하는 반면, 교사는 완전한 서브밴드를 처리한다.
• 손실 함수: 학생은 두 단계에서 교사와 표현을 정렬하도록 훈련된다:
  1. 서브밴드 레벨: [CLS] 토큰 정렬.
  2. 패치 레벨: 학생 디코더($D_{stu}$)를 통한 패치 임베딩 정렬.
• 데이터 소스: 도메인 특화 데이터가 필요하다는 직관과는 반대로, FISHER는 오디오 및 음악 데이터(Audioset, Freesound, MTG-Jamendo, Music4all, 총 17,000시간)로 사전 학습된다. 저자들은 이러한 데이터셋이 산업 신호보다 더 큰 시간적 가변성과 유사한 귀납적 편향(Inductive Bias)을 제공하여 사전 학습에 더 유익하다고 주장한다.

3. RMIS 벤치마크

파운데이션 모델을 종합적으로 평가하기 위해 저자들은 RMIS(Representation of M5 Industrial Signals) 벤치마크를 도입한다.

• 구성: 4가지 모달리티(소리, 진동, 전압, 전류)에 걸친 19개의 하위 데이터셋으로 구성된다.
• 태스크: 이상 탐지(DCASE 챌린지 등 6개 데이터셋)와 결함 진단(베어링, 기어, 모터 결함 등 13개 데이터셋)을 모두 포함한다.
• 평가 프로토콜: 모든 모델은 제로샷 일반화 능력을 테스트하기 위해 미세 조정(Fine-tuning) 없이 k-최근접 이웃(k-NN) 추론을 사용하여 평가된다. 공식적인 분할이 없는 데이터셋의 경우, 매우 정적인 신호 세그먼트로부터 정보 누출을 방지하기 위해 "봉인된(Sealed)" 훈련-테스트 분할을 사용한다.

4. 실험 결과

FISHER는 음성, 오디오, 음악, 대규모 오디오 언어 모델(LALM) 및 시계열 인코더를 포함한 24개의 최첨단(SOTA) 인코더와 비교 평가되었다.

• 성능: FISHER는 **62.23%**의 전체 RMIS 점수를 기록하며, 가장 우수한 베이스라인인 ECHO를 최소 1.56% 차이로 앞질렀으며, 다른 모든 베이스라인을 상당한 격차로 압도했다.
• 효율성: FISHER는 이러한 결과를 훨씬 작은 모델 크기로 달성한다(일반적인 90M 파라미터 인코더보다 최대 16배 작음). "Small" 변형(22M 파라미터)은 최대 2B 파라미터를 가진 모델보다 뛰어난 성능을 보인다.
• 다재다능함: 모델은 이상 탐지와 결함 진단 태스크 모두에서 강력한 성능을 입증했으며, 특히 베이스라인 모델들이 리샘플링 과정에서 정보를 손실하기 쉬운 고샘플링 레이트 결함 진단 시나리오에서 탁월한 성능을 보였다.
• 확장성: 성능 향상은 모델 크기와 활용된 서브밴드 수에 따라 확장됨이 확인되었다.

5. 주요 발견 및 의의

실험을 통해 저자들은 두 가지 중요한 결론을 도출했다:

1. 샘플링 레이트에 대한 원활한 적응: 리샘플링 없이 (서브밴드 모델링을 통해) 가변적인 샘플링 레이트를 네이티브하게 처리하는 능력이 일반화의 핵심 동력이다. 고주파 성분은 산업 신호 분석에 매우 중요하며, 리샘플링은 종종 이 정보를 희석시킨다.
2. 사전 학습을 위한 데이터 큐레이션: 오디오 및 음악 데이터는 정적인 산업 신호에 비해 파운데이션 모델 사전 학습을 위한 더 우수한 시간적 가변성을 제공한다. 산업 신호 파운데이션 모델을 구축하기 위해 반드시 산업 신호로 훈련할 필요는 없으며, 실제로 오디오/음악 데이터의 사전 학습 믹스에 산업 신호를 추가하면 데이터 품질 문제로 인해 성능이 저하될 수도 있다.

의의:
저자들은 FISHER가 미세 조정 없이도 모달리티, 기계, 태스크를 가로질러 일반화될 수 있는 파운데이션 모델을 보여줌으로써 산업 신호 분석의 돌파구를 마련했다고 주장한다. 다중 샘플링 레이트 문제를 해결하고 고품질 외부 데이터를 사전 학습에 활용함으로써, FISHER는 모든 고유한 산업 시나리오마다 특화된 모델을 개발해야 하는 부담을 줄여주는 확장 가능하고 효율적이며 다재다능한 솔루션을 제공한다. 본 연구는 커뮤니티의 혜택을 위해 오픈 소스로 공개되었다.