A Leakage-Safe, Interpretable Machine Learning Baseline for CNC Tool Wear Classification: Reproducibility Lessons from the UC Berkeley Milling Dataset

제조업의 세계에서 기계는 단순히 금속을 깎는 것에 그치지 않고, 마모되기도 합니다. 컴퓨터 제어 밀링 머신의 절삭 공구가 무뎌지면 결함이 있는 부품이 생산되고, 값비싼 재료가 낭비되며, 수리를 위해 공장이 예기치 않게 가동을 중단해야 하는 상황이 발생합니다. 수십 년 동안 엔지니어들은 기계의 소리에 귀를 기울임으로써 이 문제를 해결하려고 노력해 왔습니다. 그들은 진동, 전류, 음파를 측정하기 위해 센서를 부착하여, 도구가 곧 고장 날 것임을 알리는 패턴을 찾고자 했습니다. '공구 상태 모니터링(tool condition monitoring)'이라 불리는 이 분야는 인공지능의 등장과 함께 폭발적으로 성장했습니다. 이제 연구자들은 방대한 양의 센서 데이터를 딥러닝 모델이라고 불리는 복잡한 컴퓨터 프로그램에 입력하며, 이 모델들은 인간이 볼 수 없는 미세한 패턴을 포착하도록 설계되었습니다. 이러한 프로그램들은 종종 거의 완벽한 정확도로 공구의 고장을 예측할 수 있다고 주장하며, 때로는 95% 이상의 성공률을 보고하기도 합니다. 그러나 높은 점수를 쫓는 과정에서 하나의 조용한 문제가 지속되어 왔습니다. 바로 많은 연구가 자신들의 테스트 방법이 공정한지 확인하지 않는다는 점입니다. 만약 컴퓨터 프로그램이 이미 본 적 있는 데이터를 변장시킨 채로 테스트받는다면, 겉보기에는 훌륭해 보일지 몰라도 실제 현장에서는 실패하게 될 것입니다.

연구팀은 유명한 절삭 실험 데이터 모음인 UC 버클리 밀링 데이터셋(UC Berkeley Milling Dataset)의 이 격차를 메우기 위해 연구를 시작했습니다. 그들은 가능한 한 높은 정확도 수치를 쫓는 대신, 유효하지 않은 데이터를 사용할 수 없는 시스템을 구축하는 데 집중했습니다. 그들은 데이터를 무작위적인 행들의 더미로 취급하는 대신, 각 실험이 시간이 지남에 따라 단일 도구가 마모되는 과정을 포함하는 일련의 개별 실험으로 취급했습니다. 그들의 목표는 컴퓨터 모델을 테스트할 때, 모델이 이미 학습한 도구의 데이터를 다시 보여주지 않도록 보장하는 것이었습니다. 그들이 '누수 안전 평가(leakage-safe evaluation)'라고 부르는 이 접근 방식은 엄격한 심판 역할을 하여, 모델이 규칙을 배우는 대신 정답을 암기하는 것을 방지합니다. 이 엄격한 방법을 사용함으로써, 그들은 놀라운 사실을 발견했습니다. 단순하고 직관적인 수학적 모델이 새로운 도구에 대해 테스트했을 때, 훨씬 더 복잡하고 대중적인 인공지능 시스템보다 더 나은 성능을 보였다는 것입니다.

연구진은 먼저 16개의 서로 다른 절삭 실험과 167개의 개별 절삭 기록이 포함된 데이터를 정제하는 작업부터 시작했습니다. 이 과정에서 그들은 데이터 내의 이상한 오류를 발견했습니다. 특정 절삭 작업 하나가 물리적인 기계에서는 결코 발생할 수 없는 천문학적으로 높은 센서 수치를 나타내고 있었던 것입니다. 이는 도구가 파손된 신호가 아니라 손상된 디지털 파일 때문이었습니다. 그들은 결과가 왜곡되지 않도록 이 단 하나의 잘못된 기록을 제거했습니다. 그런 다음 남은 데이터를 정리하여 동일한 도구에서 나온 모든 절삭 기록이 함께 유지되도록 했습니다. 그들은 '그룹 분할(grouped split)'이라는 방법을 사용하여, 일부 도구로는 모델을 학습시키고, 모델이 한 번도 접해보지 못한 완전히 다른 도구들로 모델을 테스트했습니다. 이는 모델이 단순히 보고 있는 특정 도구를 인식하는 것을 방지하고, 실제 마모의 징후를 학습하도록 강제했습니다.

그들은 세 가지 다른 접근 방식을 테스트했습니다. 첫 번째는 매번 가장 흔한 결과를 단순히 추측하는 기초적인 베이스라인(baseline)으로, 이를 통해 측정 기준점을 마련했습니다. 두 번째는 데이터를 통해 결정을 내리기 위해 직선을 긋는 알고리즘의 일종인 선형 모델(linear model)이었습니다. 세 번째는 복잡한 시스템으로, 수백 개의 결정 트리를 구축하여 패턴을 찾아내는 랜덤 포레스트(Random Forest)였으며, 이는 고급 머신러닝 연구에서 자주 선호되는 방식입니다. 테스트를 실행했을 때, 단순한 선형 모델은 보지 못한 도구들에 대해 약 90%의 정확도를 달축성했습니다. 반면, 복잡한 랜덤 포레스트 모델은 약 84%의 정확도에 그쳤습니다. 이는 더 정교한 시스템이 보통 승리할 것이라는 예상과는 상반되는 결과였습니다. 연구진은 데이터의 양이 적을 때, 복잡한 모델이 '과적합(overfitting)', 즉 일반적인 규칙을 배우기보다는 학습 과정에서 본 특정 도구들의 특이한 점들을 암기했을 가능성이 높다고 설명했습니다.

모델이 왜 그러한 결정을 내리는지 이해하기 위해, 연구팀은 예측을 분석하여 어떤 센서 수치가 가장 중요했는지 보여주는 SHAP 기술을 사용했습니다. 그들은 모델이 스핀들의 진동과 모터에 흐르는 전류에 크게 의존하고 있음을 발견했습니다. 이는 무뎌진 도구가 더 많은 진동을 일으키고 절삭에 더 많은 전력을 필요로 한다는 점에서 물리적으로 매우 타당한 결과였습니다. 컴퓨터 프로그램이 이러한 구체적이고 실제적인 지표를 자연스럽게 식별해 냈다는 사실은, 모델이 데이터 오류를 이용해 스스로를 속이는 것이 아니라 실제 물리 법칙을 학습하고 있다는 확신을 연구진에게 주었습니다. 또한 그들은 초기 설정에서의 미묘한 결함도 발견했습니다. 처음에 그들은 센서 값이 아닌 특정 열들을 무시하도록 컴퓨터에 명령했는데, 이 방식이 실수로 어떤 도구인지 알려주는 비밀 코드 역할을 하는 숨겨 된 타임스탬프를 컴퓨터가 볼 수 있게 허용했다는 것을 알게 되었습니다. 이를 센서 데이터만을 명시적으로 나열하는 방식으로 수정하자 결과가 안정되었으며, 이는 데이터 처리에서의 작은 실수가 얼마나 오해의 소지가 있는 높은 점수로 이어질 수 있는지를 증명했습니다.

본 연구는 딥러닝이 크고 다양한 데이터셋에서 매우 높은 정확도를 달성할 수 있지만, 데이터가 부족하고 근본적인 메커니즘을 이해하는 것이 목표일 때는 더 단순한 모델이 더 신뢰할 수 있다는 결론을 내립니다. 연구진은 기존의 모든 방식을 속도나 정밀도 면에서 압도하는 새로운 예측 방법을 발명했다고 주장하지 않았습니다. 대신, 그들은 이러한 시스템을 정직하게 테스트하는 방법에 대한 청사진을 제시했습니다. 그들은 엄격한 테스트 규칙이 적용될 때, 단순하고 투명한 모델이 복잡한 모델보다 더 뛰어난 성능을 낼 수 있음을 보여주었습니다. 이 연구는 현재 한 향신료 가공 공장의 실제 시스템을 위한 토대로 사용되고 있으며, 이곳에서는 100대 이상의 기계에 부착된 센서가 실시간으로 마모를 모니터링합니다. 데이터 누수로부터 안전하고 해석하기 쉬운 방법을 우선시함으로써, 연구진은 인공지능이 산업 안전 분야에서 신뢰를 쌓고, 기계가 도구가 마모되었다고 말할 때 그것이 진실임을 보장하기를 기대하고 있습니다.