Application of Machine Learning in Optimizing Industrial Assembly Lines: A Chronologically Validated Study of Predictive Quality Control

현대적인 공장은 더 이상 단순히 기계와 노동자들이 늘어선 줄이 아닙니다. 그곳은 거대하고 웅웅거리는 센서들의 네트워크입니다. 제품이 조립 라인을 따라 이동할 때마다, 수백 개의 이러한 디지털 눈들이 제품의 온도, 압력, 속도, 그리고 전기 신호를 기록합니다. 수십 년 동안 엔지니어들은 이 데이터의 홍수를 활용하여 제품이 최종 검사 단계에 도달하기도 전에 결함을 예측하기를 희망해 왔습니다. 그 약속은 간단합니다. 만약 기계가 미래의 고장을 암시하는 미세한 징후를 포착하는 법을 배울 수 있다면, 인간이 확인해야 할 위험한 품목만을 골라내어 시간과 비용을 절약할 수 있다는 것입니다. 예측 품질 제어(predictive quality control)라고 알려진 이 분야는 컴퓨터가 생산 과정의 소음 속에서 패턴을 찾아내도록 가르치는 것에 의존합니다. 그러나 한 가지 중요한 질문이 배경에 계속 머물러 있었습니다. 과연 이 컴퓨터 모델들이 공장 현장이 변할 때 실제로 작동할 수 있을 것인가, 아니면 단지 과거를 잘 추측하는 것에 불과한 것일까 하는 점입니다.

로마 토르 베가타 대학교(University of Rome Tor Vergata)의 연구진은 반도체 공장에서 나온 실제 데이터를 사용하여 다섯 가지 유형의 머신러닝 모델을 테스트함으로써 이 질문에 답하고자 했습니다. 그들은 2008년 3개월 동안 생산된 1,567개 유닛의 기록이 담긴 공개 데이터셋을 사용했습니다. 각 유닛에는 590개의 서로 다른 센서 판독값이 연결되어 있었지만, 실제로 결함이 있는 유닛은 약 6.6퍼센트에 불과했습니다. 연구진은 결함이 있는 제품은 잡아내되, 정상 제품을 너무 많이 오탐하지 않는 시스템을 구축할 수 있는지 확인하고 싶었습니다. 이를 위해 그들은 먼저 대부분의 과학자들이 이 분야에서 사용하는 표준 방식인, 데이터를 무작위로 섞어서(shuffling) 모델을 테스트하는 방법을 시도했습니다. 이 방법 아래에서 가장 우수한 모델은 매우 성공적인 것처럼 보였으며, 높은 정확도로 데이터의 패턴을 식별해 냈습니다. 마치 결함 예측의 문제가 거의 해결된 것처럼 보였습니다.

하지만 연구진은 공장이 뒤섞인 세상에서 작동하지 않는다는 사실을 알고 있었습니다. 실제로 기계는 항상 어제의 데이터로 학습하고 오늘의 데이터를 예측합니다. 공장 현장의 조건은 결코 정적인 상태로 머물지 않습니다. 도구는 마모되고, 새로운 원자재 배치가 도착하며, 유지보수 이벤트는 라인의 동작을 변화시킵니다. '컨셉 드리프트(concept drift)'라고 알려진 이러한 변화는 지난주에 학습된 패턴이 이번 주에는 존재하지 않을 수 있음을 의미합니다. 이러한 현실 세계의 조건 하에서 모델을 테스트하기 위해, 연구팀은 두 번째의 더 엄격한 실험을 수행했습니다. 데이터를 무작위로 섞는 대신, 컴퓨터가 생산 시작 시점부터 학습하여 시간 순서대로 블록 단위로 미래를 예측하도록 강제했습니다.

두 번째 테스트의 결과는 놀라웠습니다. 모델이 오직 미래만을 바라보도록 강제되었을 때, 그 성능은 무너졌습니다. 무작위 섞기 방식에서 그토록 유망해 보였던 점수들은 겨우 추측하는 수준보다 조금 나은 정도로 떨어졌습니다. 연구진은 초기 성공이 테스트 방법 자체가 만들어낸 환상이었다는 것을 발견했습니다. 데이터를 섞음으로써, 표준 테스트 방식은 컴퓨터가 거의 동시에 동일한 조건에서 생산된 유닛들로부터 학습하여 미래를 엿볼 수 있게 만들었습니다. 이는 잘못된 보안 의식을 심어주었습니다. 실제 테스트를 통해 센서 판독값과 결함 사이의 관계가 단순한 방식으로 학습될 만큼 안정적이지 않다는 것이 드러났습니다. 공장 라인은 단 하나의 규칙 세트를 붙잡고 있기에는 너무 많이 변하고 있었습니다.

순수한 예측 능력의 붕괴에도 불구하고, 이야기는 실패로 끝나지 않았습니다. 연구진은 예측력이 약한 모델이라 할지라도 완벽한 판사보다는 스크리닝 도구로서 사용된다면 여전히 유용할 수 있다는 점을 깨달았습니다. 그들은 시스템을 매우 민감하게 조정하여, 비록 많은 정상 제품을 추가 검사를 위해 분류하게 되더라도 모든 결함을 잡아내는 것을 최우선 목표로 삼았습니다. 그들은 마지막 30퍼센트의 데이터에 특정 임계값을 설정했는데, 이것이 진정한 미래 테스트 역할을 했습니다. 이 새로운 전략 하에서, 가장 우수한 모델은 미래에 나타난 26개의 결함 중 23개를 잡아냈습니다. 비록 검사를 위해 많은 정상 제품을 분류하긴 했지만, 전체 생산량의 약 31퍼센트는 검사 없이 그대로 통과시켰습니다. 이는 공장이 모든 것을 검사하거나 혹은 아무것도 검사하지 않는 극단적인 선택 대신, 가장 위험한 4분의 1의 생산물에 인간 검사원을 집중할 수 있음을 의미했습니다.

모델이 왜 그러한 결정을 내리는지 이해하기 위해, 연구진은 컴퓨터의 논리를 분해하여 어떤 센서가 가장 중요한지 확인하는 기술을 사용했습니다. 그들은 전체 의사 결정 과정이 단 하나의 센서 판독값에 의해 지배되고 있다는 것을 발견했습니다. 특정 신호 하나가 나머지 589개의 센서를 모두 합친 것보다 훨씬 더 중요했습니다. 센서의 이름은 데이터 속에 숨겨져 있었지만, 이 발견은 공장 관리자들에게 명확한 방향을 제시했습니다. 만약 모델이 저하되거나 실패한다면, 가장 먼저 살펴봐야 할 곳은 바로 그 지배적인 센서 뒤에 있는 물리적 공정이라는 점을 시사했습니다. 그 특정 라인의 부분을 교정하고 안정적으로 유지하는 것이 품질을 유지하는 가장 효과적인 방법이 될 것입니다.

본 연구는 이러한 컴퓨터 시스템을 테스트하는 방식이 시스템 자체만큼이나 중요하다는 결론을 내립니다. 머신러닝 모델을 테스트하기 위해 데이터를 섞는 일반적인 관행은, 그것들이 실제 변화하는 공장에서 제대로 작동하지 않을 수 있다는 사실을 은폐할 수 있습니다. 연구진은 산업 최적화에 관한 모든 보고서는 생산의 타임라인을 존중하여 과거에서 미래로 진행되는 테스트를 포함해야만 정직하다고 간주될 수 있다고 주장합니다. 모델이 완벽한 예측기가 되지는 못했을지라도, 까다롭고 변화하는 조건 속에서도 정교하게 조정된 시스템이 실질적인 이점을 제공할 수 있음을 입증했습니다. 모델은 필터 역할을 하여 대다수의 결함을 잡아낼 수 있으며, 엔지니어가 도구의 한계를 이해하고 결과의 핵심 동력을 파악한다면 공장을 더욱 효율적으로 운영할 수 있게 해줍니다.