💻 computer science

Hybrid Multi-Scale Convolutional Spectrogram Transformer for Industrial Anomalous Sound Detection

본 논문은 병렬 다중 스케일 합성곱, 교차 스케일 융합, 그리고 트랜스포머 기반의 전역 모델링을 통합하여 다양한 운전 조건에서 견고한 산업 이상 음향 탐지를 달로 달성하는 하이브리드 다중 스케일 컨볼루션 스펙트로그램 트랜스포머(HMCST)를 제안하며, MIMII DUE 및 ToyADMOS2 데이터셋에서 평균 정확도 90.10%와 AUC 95.25%를 기록하며 우수한 성능을 입증하였다.

원저자: Kui Wang, Yongqi Liu, Junjun Wu, Qingyou Dai, Qinghua Lu

게시일 2026-09-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Kui Wang, Yongqi Liu, Junjun Wu, Qingyou Dai, Qinghua Lu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

기계들이 끊임없이 복잡한 교향곡을 연주하며 웅웅거리고, 휘돌고, 갈리는 소리가 들려오는 공장 바닥을 상상해 보십시오. 인간 작업자에게 이 소음을 듣는 것은 종종 불가능에 가깝습니다. 소리의 양과 종류가 너무 방대하여 단 하나의 기계가 고장 나기 시작하는 것을 포착하기 어렵기 때문입니다. 하지만 바로 그 소리 안에 기계의 건강 상태를 알 수 있는 비밀이 담겨 있습니다. 의사가 심장 박동을 들어 부정맥을 감지하듯, 엔지니어들은 산업 장비의 소리를 들어 문제의 초기 징후를 찾아냅니다. 이상 소음 탐지(anomalous sound detection)라고 알려진 이 분야는 컴퓨터에게 정상적으로 작동하는 기계와 고장이 나기 직전의 기계 사이의 차이를 구분하는 법을 가르치는 것을 목표로 합니다. 문제는 기계가 항상 같은 소리를 내지 않는다는 점입니다. 기계는 속도, 가해지는 부하, 주변의 배경 소음에 따라 음조와 리듬이 변합니다. 결함을 잡아내기 위해 컴퓨터는 이러한 정상적인 변화는 무시하면서도, 문제를 알리는 미세하고 이상한 소리에는 극도로 민감하게 반응하는 법을 배워야 합니다.

연구진은 이 듣기 퍼즐을 해결하기 위해 새로운 방법을 개발하였으며, 아주 작은 찰나의 세부 사항과 광범위한 장기적 패턴 모두에 집중할 수 있는 고도로 훈련된 귀 역할을 하는 시스템을 만들어냈습니다. 그들은 이 창조물을 '하이브리드 다중 스케일 컨볼루션 스펙트로그램 트랜스포머(Hybrid Multi-Scale Convolutional Spectrogram Transformer)'라고 부릅니다. 이 시스템이 어떻게 작동하는지 이해하려면 먼저 컴퓨터가 어떻게 "듣는지"를 이해해야 합니다. 이 시스템은 가공되지 않은 원시 음파를 직접 듣는 것이 아닙니다. 대신, 오디오를 스펙트로그램이라는 시각적 지도로 변로 변환하는데, 이는 시간에 따라 소리의 음조와 음량이 어떻게 변하는지를 보여줍니다. 이 지도를 가로축은 시간, 세로축은 음조를 나타내는 하나의 풍경이라고 생각하십시오. 건강한 기계는 이 지도 위에 일관되고 예측 가능한 패턴을 만들어내는 반면, 결함이 있는 기계는 들쭉날쭉하고 불규칙한 모양을 만들어냅니다.

연구진은 두 가지 서로 다른 방식으로 이 풍경을 조사하도록 시스템을 구축했습니다. 첫째, 그들은 다양한 "렌즈"를 통해 지도를 살펴보는 특수 필터 세트를 사용했습니다. 어떤 렌즈는 매우 작아서 시스템이 1초 미만의 아주 짧은 순간 동안 지속될 수 있는 미세하고 날카로운 튀는 소리를 포착할 수 있게 해줍니다. 다른 렌즈는 더 커서 시스템이 시간을 가로질러 길게 이어지는 더 넓고 휩쓰는 듯한 패턴을 볼 수 있도록 도와줍니다. 이러한 다양한 시야를 결합함으로써, 시스템은 소리의 완전한 그림을 포착하여 느슨해진 부품의 빠르고 날카로운 클릭 소리와 정렬이 어긋난 기어의 느리고 깊은 웅웅거림을 모두 알아차립니다. 이것이 그들의 설계에 담긴 다중 스케일(multi-scale) 부분입니다.

시스템이 이러한 상세한 시야를 확보하고 나면, 이제 그것들이 무엇을 의미하는지 결정해야 합니다. 여기서 시스템의 두 번째 부분이 등장합니다. 이 부분은 맥락을 이해하는 데 탁월한 '트랜스포머(Transformer)'라는 강력한 유형의 인공지능을 사용합니다. 인간 청취자가 갑작스러운 침묵이 직전의 상황 때문에 의미가 있다고 이해하는 것처럼, 이 시스템은 전체 소리 지도를 살펴보고 서로 다른 소음의 구성 요소들이 서로 어떻게 연관되어 있는지 이해합니다. 이는 작은 렌즈가 찾아낸 미세한 세부 사항을 큰 렌즈가 찾아낸 거대한 패턴과 연결하여, 기계의 음향적 특징에 대한 깊은 이해를 만들어냅니다.

이 접근 방식이 실제로 효과가 있는지 테스트하기 위해, 연구진은 팬, 펌프, 기어, 그리고 연구용으로 사용되는 장난감 자동차와 기차를 포함한 7가지 서로 다른 유형의 기계로부터 녹음된 데이터를 사용하여 시스템을 훈련시켰습니다. 그들은 시스템에 정상 작동과 다양한 유형의 결함을 구분하는 법을 가르쳤습니다. 결정적으로, 연구진은 매우 엄격한 테스트를 설계했습니다. 시스템은 한 세트의 녹음 데이터로 훈련되었고, 그 후 이전에 본 적이 없는 완전히 별개의 녹음 데이터 세트로 테스트되었습니다. 이는 시스템이 단순히 특정 소리를 암기하는 것이 아니라, 진정으로 결함을 인식하는 법을 배우고 있음을 보장하기 위함이었습니다.

결과는 이 새로운 시스템이 매우 효과적임을 보여주었습니다. 보지 못한 녹음 데이터를 대상으로 테스트했을 때, 시스템은 기계가 정상인지 결함이 있는지를 약 90%의 정확도로 식면했습니다. 더 중요한 점은, 이 시스템이 오보를 피하는 데 매우 뛰어났다는 것입니다. 산업 현장에서 너무 자주 경보를 울리는 시스템은 작업자들이 신뢰를 거두게 되므로 무용지물입니다. 이 새로운 방법은 실제 문제를 대부분 잡아내면서도 가짜 알람을 매우 낮게 유지했습니다. 시스템은 결함 소리가 뚜렷한 기어박스나 장난감 기차에서 가장 좋은 성능을 보였지만, 결함 소리가 일반적인 배경 소음과 매우 유사한 팬이나 펌프에서는 약간 어려움을 겪었습니다. 이는 이 시스템이 큰 진전이지만, 가장 미세하고 소음 같은 성격의 결함은 여전히 탐지하기 어렵다는 것을 시사합니다.

연구진은 또한 자신들의 새로운 시스템을 더 단순한 컴퓨터 모델이나 다른 유형의 인공지능에 의존하는 기존 방식들과 비교했습니다. 이 새로운 하이브리드 접근 방식은 기존 기술들을 크게 능가했으며, 미세한 세부 사항을 보는 능력과 전체적인 큰 그림을 이해하는 능력을 결합하는 것이 성공의 열쇠임을 입증했습니다. 최종 결정을 내리는 방식을 세심하게 조정함으로써, 연구진은 결함을 잡아내는 것과 모든 것이 정상일 때 조용히 있는 것 사이의 적절한 균형을 맞출 수 있었습니다. 이 연구는 컴퓨터에게 돋보기와 광각 렌즈를 모두 사용하여 듣는 법을 가르침으로써, 우리가 산업 장비를 더 안전하고 효율적으로 운영할 수 있는 훨씬 더 신뢰할 수 있는 도구를 만들 수 있음을 보여줍니다.

기술 요약: 산업용 이상 음향 탐지를 위한 하이브리드 다중 스케일 컨볼루션 스펙트로그램 트랜스포머

문제 정의
산업용 장비에 대한 신뢰할 수 있는 이상 음향 탐지(Anomalous Sound Detection, ASD)는 변화하는 운전 조건, 배경 소음, 이질적인 이상 징후로 인해 여전히 어려운 과제로 남아 있다. 기존 방법들은 시각적 패러다임에서 유래하여 적응된 스펙트로그램 기반 아키텍처들이 시간 및 주파수 축의 구별되는 물리적 역할을 명시적으로 고려하지 못해 복잡한 시공간적 구조를 특징짓는 데 한계가 있다는 두 가지 주요 문제에 직면해 있다. 또한, 산업 환경은 도메인 변화(예: 회전 속도, 부하, 센서 위치의 변화)를 유발하여 모델의 강건성을 저하시킨다. 최근의 트랜스포머 기반 접근 방식들은 전역적 문맥 모델링을 제공하지만, 산업용 음향 신호에 필요한 미세한 국소적 시공간 특징 추출 능력은 부족한 경우가 많다.

방법론: HMCST 프레임워크
저자들은 국소적 다중 스케일 패턴과 전역적 의존성을 공동으로 모델링하도록 설계된 **하이브리드 다중 스케일 컨볼루션 스펙트로그램 트랜스포머(HMCST)**를 제안한다. 이 아키텍처는 네 가지 주요 단계로 구성된다:

입력 표현 (Input Representation): 오디오 파형을 16kHz로 리샘플링하고 정적 로그-멜 스펙트로그램(log-Mel spectrogram)으로 변환한다. 단기적인 시간적 변화를 포착하기 위해 1차 시간 차분(first-order temporal difference)을 계산한다. 이 두 성분을 쌓고 평균을 내어 단일 채널의 유효 입력( $X_{eff}$ )을 형성한다.
다중 스케일 컨볼루션 프런트엔드 (Multi-Scale Convolutional Front-End): 입력은 $1\times1$ , $3\times3$ , $5\times5$ , $7\times7$ 커널 크기를 가진 네 개의 병렬 컨볼루션 브랜치에 의해 처리된다. 이 설계는 상보적인 시공간 응답을 추출한다: 작은 커널은 국소적 과도 현상(transients)과 미세한 질감을 포착하며, 큰 커널은 더 넓은 배음 구조와 시간적 문맥을 포착한다.
비선형 2단계 교차 스케일 융합 (Nonlinear Two-Stage Cross-Scale Fusion):
- 1단계 (게이팅): 스케일별 학습 가능한 시그모이드 게이트(sigmoid gates)가 크로스 스케일 소프트맥스(Softmax) 정규화를 강요하지 않고 각 브랜치의 특징 차원을 독립적으로 재보정한다. 이를 통해 각 스케일은 정보가 있는 차원을 자율적으로 보존하거나 억제할 수 있다.
- 2단계 (정교화): 게이팅된 표현들은 합산된 후 배치 정규화(batch normalization) 및 ReLU 활성화 함수를 포함한 $3\times3$ 컨볼루션을 통과한다. 이는 재가중된 다중 스케일 응답 간의 비선도적 국소 상호작용을 촉진한다.
트랜스포머 인코딩 (Transformer Encoding): 융합된 특징 맵은 $16\times16$ 그리드로 풀링된 후 768차원 임베딩 공간으로 투영된다. 이 토큰들은 사전 학습된 CLS 토큰 및 보간된 위치 임베딩과 결합되어 8개의 사전 정규화된 트랜스포머 인코더 블록에 의해 처리된다. 모든 인코딩된 토큰에 대해 전역 평균 풀링을 수행하여 공유된 음향 표현을 얻는다.
이상 판별 및 보정 (Anomaly Discrimination & Calibration): 모델은 경량 이진 이상 탐지 헤드를 사용한다. 결정적인 점은 결정 임계값이 고정되지 않고, F1-스코어를 극대화하기 위해 소스-개발 세트의 OOF(Out-of-Fold) 예측을 사용하여 보정된다는 것이다. 이는 표현 학습과 최종 판별 작업을 분리한다.

주요 기여
본 논문은 네 가지 구체적인 기여를 설명한다:

하이브리드 모델링 프레임워크: 미세한 국소 패턴과 장거리 의존성을 모두 포착하기 위해 병렬 다중 스케일 컨볼루션 특징 추출과 트랜스포머 기반 문맥 모델링을 통합하였다.
비선형 2단계 융합 전략: 소프트맥스 기반의 경쟁적 어텐션 제약을 피하기 위해 스케일별 학습 가능한 시그모이드 게이트와 $3\times3$ 컨볼루션 정교화 기법을 사용하는 새로운 접근 방식을 사용하였다.
태스크 지향적 판별 메커니즘: 음향 표현을 정상/이상 결정으로 직접 매핑하기 위해 경량 이진 헤드와 OOF로 보정된 전역 임계값을 결합하여 사용하였다.
4.계통적 평가: MIMII DUE 및 ToyADMOS2 데이터셋의 7가지 기계 유형에 대해 5-폴드 교차 검증 및 5개의 독립적인 랜덤 시드를 사용하여 엄격하고 누출 없는 지도 학습 프로토콜을 통해 평가하였다.

실험 결과
실험은 29,701개의 녹음 데이터(25,410개 소스-개발, 4,291개 홀드아웃 타겟-테스트)로 구성된 데이터셋에서 수행되었다. 연구 특정 지도 학습 프로토콜 하에서 HMCST는 5개의 랜덤 시드에 대해 다음과 같은 평균 성능 지표를 달성했다:

정확도 (Accuracy): 90.10%
F1-Score: 89.43%
AUC: 95.25%
표준화된 pAUC (FPR $\le$ 0.10): 90.20%

기계별 분석:

높은 성능: ToyTrain과 Gearbox가 가장 높은 F1-스코어(각각 94.03%와 91.62%)를 기록하였으며, 이는 해당 장비들의 이상 패턴을 효과적으로 구분하고 있음을 나타낸다.
도전적인 사례: Fan과 Pump는 낮은 재현율(각각 66.83%와 69.67%)을 보였으며, 이는 이들의 이상 징후가 정상 배경 소음과 더 유사함을 시사한다.
임계값 전략: OOF로 보정된 전역 임계값은 전체 정확도와 F1-스코어 측면에서 고정된 0.5 임계값 또는 기계별 임계값 전략보다 우수한 성능을 보였으며, 성능과 배포 단순성 사이의 더 나은 균형을 제공했다.

비교 성능:

대표적 방법들과의 비교: HMCST는 14개 클래스의 보조 기계 상태 분류 작업에서 CST-former, BEATs-KNN, MVST를 능가하여, MVST의 89.37% 대비 93.61%의 정확도를 달성했다.
CNN 베이스라인들과의 비교: 동일한 이진 이상 탐지 프로토콜 하에서 ImageNet으로 사전 학습된 GoogLeNet 및 ResNet-50과 비교했을 때, HMCST는 (90.10% 정확도 대 약 50.35% 대비) 이를 크게 앞질렀다. CNN 베이스라인들은 거의 모든 녹음을 이상으로 분류하는 경향(높은 재현율, 거의 제로에 가까운 정밀도)을 보인 반면, HMCST는 균형 잡힌 판별 능력을 유지했다.

의의 및 한계점
본 논문은 HMCST가 국소적 다중 스케일 시공간 패턴, 전역적 의존성, 그리고 보정된 이상 판별을 공동으로 모델링함으로써 산업용 ASD에 효과적인 접근 방식을 제공한다고 주장한다. 높은 정밀도와 강력한 pAUC 값은 모델이 낮은 오탐률 제약 조건 하에서도 유용한 순위 정보를 유지하고 있음을 나타낸다.

그러나 저자들은 몇 가지 한계점을 명시적으로 언급하였다:

본 연구는 전통적인 비지도 학습 방식인 DSE Task 2 설정이 아닌, 정상/이상 라벨을 학습 중에 사용하는 지도 학습(supervised) ASD 프로토콜을 활용한다.
평가는 특정 데이터셋(MIMII DUE 및 ToyADMOS2)을 기반으로 하며, 프로토콜이 데이터셋 간의 일반화 성능을 독립적으로 입증하지는 않는다.
시각화 결과(t-SNE)는 특징 분리성에 대한 질적 증거를 제공하지만, 표현 품질에 대한 독립적인 정량적 척치는 결여되어 있다.

향후 연구 과제로는 자기 지도 학습 또는 약지도 학습 적응, 교차 데이터셋 검증, 그리고 낮은 오경보율을 갖는 강건한 이상 순위 지정 등이 식별되었다.

유사한 논문