Grouped cross-validation and inter-sensor agreement analysis of expert labels in an open milling anomaly dataset

기술 요약: 오픈 밀링 이상 데이터셋에서의 그룹화된 교차 검증 및 센서 간 일치성 분석

문제 정의
본 논문은 오픈 데이터셋을 사용하여 밀링 공정의 이상 탐지 검출기를 평가할 때 발생하는 과제를 다룹 다. 핵심적인 문제로 식별된 것은, 관측치가 그룹화되어 있는 경우(예: 특정 가공 런 내의 절삭 경로) 표준 무작위 교차 검증이 예측 오차를 과소평가한다는 점이다. 이러한 그룹화는 훈련 세트와 테스트 세트 사이의 데이터 누수(data leakage)를 유발하여, 지나치게 낙관적인 결론을 도출하게 만든다. 또한, 검출기는 특정 벤치마크에서는 잘 작동하지만 다른 조건(예: 보지 못한 공구 제품군 또는 재료) 하에서는 실패하는 '지름길(shortcuts)'—즉, 특정 결정 규칙—을 학습할 수 있다. 저자들은 새로운 공구 제품군에 대해 평가할 때 검출기 성능이 얼마나 저하되는지를 엄격하게 측정하고, MSM 밀링 데이터셋에서 제공된 전문가 라벨의 물리적 의미를 분석하고자 한다.

방법론
본 연구는 MSM 데이터셋 내의 imi vm20i 실험실 기계에 초점을 맞추며, 34개의 런(run)에서 추출된 1,498개의 라벨링된 절삭 경로(비정상 325개, 정상 1,173개)를 활용한다. 분석에는 예측, 결정 규칙 및 강건성 변형(robustness variants)을 통계치를 계산하기 전에 동결하는 엄격한 사전 지정 프로토콜을 적용한다.

• 평가 체계: 저자들은 두 가지 주요 평가 전략을 비교한다:
  1. 런 홀드아웃(Run-held-out): 폴드(fold)에 전체 런을 무작위로 할당함.
  2. 공구 제품군 홀드아웃(Tool-family-held-out): 결함이 있는 쌍둥이 공구를 포함한 전체 공구 제품군을 폴드에 할당함. 이는 공구의 기하학적 구조나 특정 음향 신호가 훈련 과정에서 학습되어 테스트 세트에 편향을 주는 '누수'를 방지한다.
• 모델 및 특징량(Features): 로지스틱 회귀 모델이 다음 두 가지 특징 세트를 기반으로 훈련되었다:
  1. 고주파수 세트(High-rate set): 가속도계(스핀들 및 베이스 컬럼)와 사운드 채널의 RMS 진폭의 로그값.
  2. MTConnect 세트: 컨트롤러로부터 스트리밍된 스핀들 모터 진동 및 전력 특징량.
• 사전 지정된 예측(가설):
  • H1 & H2: 고주파수 세트와 MTConnect 세트 모두에서 run-held-out에서 family-held-out 평가로 넘어갈 때 AUC(Area Under the Receiver Operating Characteristic Curve)가 최소 0.05만큼 하락할 것이라고 예측했다.
  • H3: 스핀들 가속도계와 베이스 컬럼의 청진기 센서가 비정상 경로에서 스핀들 고조파 이외의 지배적인 스펙트럼 선을 탐지하는 데 있어 상당한 일치성(Cohen's kappa)을 보일 것이며, 이는 스핀들 속도 클래스 내의 독립성 하에서 기대되는 임계값을 초과할 것이라고 예측했다.
• 강건성 검사: 변형 모델로는 결함 공구 쌍 제거, 조기 종료된 런 제외, 랜덤 포레스트 사용, 그리고 스펙트럼 분석 파라미터(콤 너비, 주파수 대역) 변경 등이 포함되었다.

주요 결과

• 성능 저하 (H1 & H2): 성능이 크게 떨어질 것이라는 두 가설 모두 그 규모 면에서 실패했다.
  • 고주파수 세트: 보지 못한 공구 제품군으로 이동했을 때 AUC는 0.002(95% 구간: -0.001 ~ 0.007)만 감소하였으며, 이는 0.05 임계값보다 훨씬 낮았다.
  • MTConnect 세트: AUC는 0.033 감소하였다(95% 구간: 0.015 ~ 0.060). 이는 0을 초과했으나, 0.05 임계값에는 미치지 못했다. 그러나 재적합(refitted) 모델에 대한 사후 자크나이프(jackknife) 분석 결과 불확실성이 더 높은 것으로 나타나, 하락의 규모가 임계값 대비 해결되지 않은 상태로 남았다.
• 센서 일치성 (H3): 이 가설은 확인되었으며 강건했다. 스핀들 가속도계와 베이스 컬럼 청진기는 지배적인 오프-하모닉(off-harmonic) 스펙트럼 선을 가진 비정상 경로를 식별하는 데 있어 0.71의 코헨 카파(Cohen's kappa) 값을 보였다(95% 구간: 0.59 ~ 0.81). 이 일치성은 스핀들 속도 클래스 내의 독립성에 대한 귀무 가설(kappa 0.004)을 크게 상회했으며, 강건성 변형 전반에 걸쳐 일관되게 유지되었다.
• 마이크로폰 클리핑(Microphone Clipping) (탐색적/사전 지정된 사항): 모든 비정상 경로(라벨 1)와 정상 경로의 38%에서 내부 마이크(Sound0)의 샘플이 풀 스케일(full scale)에 도달하여 클리핑이 발생했다는 중요한 사실이 발견되었다. 마이크로폰 포화도(saturation)만을 사용하는 모델은 보지 못한 런에 대해 0.985의 AUC를 달이트며, 이는 전체 고주파수 센서 세트의 성능과 거의 일치했다.

의의 및 주장
본 논문은 밀링 이상 탐지에 대한 엄격하고 사전 지정된 벤치마크를 제공함으로써, 표준 평가 방법의 한계와 데이터셋 라벨의 구체적인 성격을 밝혀낸다고 주장한다.

1. 평가 모범 사례: 저자들은 이 데이터셋에 대한 검출기 비교는 반드시 런(run) 단위로 분할해야 하며, **클리핑 베이스라인(clipping baseline)**을 보고해야 한다고 주장한다. 저자들은 무작위 경로 단위 폴드가 누수를 유발하며, 마이크로폰 포화에 기반한 베이스라인을 능가하지 못하는 검출기는 해당 아티팩트 이상의 탐지 능력을 입증하지 못한 것이라고 단언한다.
2. 라벨 해석: 결과는 이 데이터셋의 "비정상" 라벨이 마이크로폰 클리핑과 강하게 상관되어 있음을 시사한다. 이 라벨로 훈련된 검출기는 일반적인 물리적 불안정성(채터 등)을 학습하기보다는, 단순히 소리가 커져서 클리핑된 마이크를 인식하는 법을 배우고 있을 가능성이 크다.
3. 물리적 현상: 오프-하모닉 스펙트럼 선에 대한 가속도계와 청진기의 확인된 일치성은 비정상 경로에서 기계 구조의 물리적 진동(잠재적으로 채터 또는 구조적 모드)이 존재함을 시사한다. 그러나 데이터셋에 힘(force)이나 변위(displacement) 데이터가 부족하여 채터와 다른 구조적 흥분(structural excitation)을 확정적으로 구분하기는 어렵다.
4. 베이스라인 요구 사항: 저자들은 새로운 검출기가 단순히 이러한 아티팩트를 복제하는 것이 아님을 보장하기 위해, 향후 연구에서는 "클리핑 베이스라인"(마이크로폰 포화도만을 기반으로 한 검출기 성능)을 보고할 것을 권장한다.

결론
본 연구는 특정 데이터셋에 대한 진폭 기반 검출기들이 보지 못한 공구 제품군에 대해서도 잘 일반화된다는 점을 결론짓는다(초기 가설인 큰 성능 저하와는 반대되는 결과임). 그러나 라벨이 마이크로폰 클리핑에 의해 심하게 혼동(confounded)되어 있다. 스펙트럼 선에 대한 상호 센서 간의 일치성이 확인된 것은 실제 물리적 현상이 존재함을 가리키지만, 현재 데이터셋의 상태는 검출기 효능에 대한 오해를 피하기 위해 신중한 평가 분할 및 베이스라인 비교가 필요함을 보여준다.