Co-identification of Vibration, Structural Looseness, and Surface Damage in Industrial Equipment Operation Videos

당신이 거대하고 소란스러운 공장 내부에서 미스터리를 풀려는 탐정이라고 상상해 보십시오. 보통 기계가 고장 날 때는 단순히 반으로 뚝 끊어지는 것이 아니라, 서서히 병들어 갑니다. 먼저, 아주 미세하게 떨리기 시작할 수 있습니다. 그다음에는 나사가 약간 헐거워질 수 있습니다. 마지막으로는 금속 표면에 금이 나타날 수 있습니다. 까다로운 점은 이러한 증상들이 종종 동시에 발생하며, 단 하나의 스냅샷(정지 화면)만 봐서는 알아차리기가 매우 어렵다는 것입니다. 이는 마치 자동차 엔진의 후드를 사진 한 장으로만 보고 엔진이 제대로 작동하는지 판단하려는 것과 같습니다. 엔진이 격렬하게 흔들리고 있거나 볼트가 서서히 풀리고 있다는 사실을 놓칠 수 있기 때문입니다. 이것이 바로 컴퓨터 비전이 필요한 지점입니다. 컴퓨터 비전은 컴퓨터에게 카메라를 통해 세상을 "보고" 이해하는 법을 가르치는 분야입니다. 하지만 대부분의 컴퓨터는 정적인 것(벽의 금 등)이나 움직이는 것(지나가는 자동차 등)을 포착하는 데는 뛰어나지만, 기계가 진동하면서 동시에 손상까지 입고 있는 상황처럼 두 가지를 동시에 수행하는 작업에는 어려움을 겪습니다.

이것이 바로 연구진이 해결하고자 했던 퍼즐입니다. 그들은 펌프 파이프, 밸브, 금속 외피와 같은 산업용 장비의 영상을 관찰하여 세 가지 일이 동시에 일어나는 것을 포착할 수 있는 초지능형 시스템을 구축하고자 했습니다: 이상 진동, 부품 헐거워짐, 그리고 균열이나 부식 같은 표면 손상입니다. 단순히 사진 한 장을 찍고 추측하는 대신, 이 시스템은 영화 전체를 관찰하는 탐정처럼 작동하며 기계가 어떻게 움직이고, 얼마나 흔들리며, 표면 상태가 어떤지를 한꺼번에 살핍니다.

탐정의 새로운 도구 상자

연구진은 산업용 검사 영상을 단절된 사진들의 연속이 아닌, 하나의 복잡한 이야기로 다루는 시스템을 만들었습니다. 그들은 만약 단 하나의 프레임만 본다면 미세한 단서들을 놓칠 수 있다는 점을 깨달았습니다. 예를 들어, 파이프는 사진 한 장에서는 멀쩡해 보일 수 있지만, 32프레임 클립(초당 25프레임 기준 약 1초가 조금 넘는 영상)을 관찰하면 파이프가 미세하게 떨리거나 브래킷이 제자리에서 서서히 벗어나는 것을 볼 수 있습니다.

이러한 단서들을 포착하기 위해 연구진은 컴퓨터를 위한 "세 개의 머리"를 가진 뇌를 구축했습니다:

1. 리듬 감시자 (Video Swin Transformer): 복잡한 안무를 배우려는 무용수를 상상해 보십시오. 이 부분은 영상 프레임 전체를 관찰하여 기계의 '리듬'을 이해합니다. 기계가 움직이는 패턴을 관찰하여, 진동이 일정한 웅웅거림인지, 주기적인 흔들림인지, 아니면 불규칙한 요동인지 찾아냅니다. 이는 가수의 얼굴 사진 한 장을 보는 것이 아니라, 노래를 듣고 가수가 음정이 맞는지 판단하는 것과 같습니다.
2. 흔들림 측정기 (RAFT Optical Flow): 이것은 인간의 눈이 놓칠 수 있는 미세한 움직임을 측정하는 시스템의 방식입니다. 이 모듈은 매 프레임마다 모든 픽셀이 어떻게 이동하는지 추적합니다. 만약 볼트가 고정되어 있어야 하는데 0.5mm 정도 이동하고 있다면, 이 모듈이 이를 잡아냅니다. 카메라 자체가 흔들리는 것이 아님을 확실히 하기 위해, 시스템은 배경(벽이나 바닥 등)을 무시하고 오직 기계 부품에만 집중합니다. 이는 도로가 울퉁불퉁하다는 사실을 무시하고 자동차의 미세한 진동만을 느끼려고 노력하는 것과 같습니다.
3. 손상 탐지기 (Defect Localization): 이 부분은 기계의 "흉터", 즉 균열, 녹, 부식을 찾습니다. 이 모듈은 손톱보다 작은 크기(20픽셀 미만)의 미세한 결함이라도 찾아내도록 훈련되었습니다.

종합하기: "공동 식별(Co-Identification)"의 마법

진정한 마법은 이 세 개의 머리가 서로 대화할 때 일어납니다. 과거에는 엔지니어들이 진동을 체크하기 위해 하나의 도구를 사용하고, 균열을 체크하기 위해 다른 도구를 사용했을 것입니다. 하지만 연구진은 이러한 방식이 종-종 실수를 유발한다는 것을 발견했습니다. 만약 기계에 미세한 균열과 약간의 진동이 동시에 있다면, 단일 작업 시스템은 "아, 진동은 그냥 일반적인 소음이구나"라고 생각하여 균열을 놓칠 수 있습니다. 또는 균열은 발견했지만 "기계가 흔들리지 않으니 괜찮다"라고 판단하여, 그 균열 때문에 구조물이 헐거워지고 있다는 사실을 놓칠 수도 있습니다.

새로운 시스템은 이 모든 것을 결합합니다. 시스템은 "기계가 진동하고 있는가? 헐거워졌는가? 균열이 있는가?"라고 질문한 뒤, 이들 사이의 연결 고리를 찾습니다. 연구진은 기계에 미세한 진동과 초기 균열이 동시에 있을 때, 단 하나의 증상만 있을 때보다 파손 위험이 훨씬 높다는 것을 발견했습니다.

연구 결과

연구진은 실제 펌프 스테이션과 공장에서 촬영된 약 36시간 분량의 방대한 영상 라이브러리(약 72,000개의 훈련 이미지와 11,000개의 테스트 이미지로 변환됨)를 사용하여 시스템을 테스트했습니다. 그들은 정상 작동, 미세 진동, 주기적 공진, 비정상적 흔들림, 안정적 구조, 헐거워짐 의심, 균열, 부식 등으로 모든 항목을 라벨링했습니다.

결과는 인상적이었습니다. 시스템은 진동 상태를 92.1%의 정확도로 맞혔습니다. 균열과 부식을 찾는 데 있어서는 88.9%의 정확도(mAP@0.5라는 표준 점수로 측정)를 기록했습니다. 가장 중요한 점은, 이 "올인원(all-in-one)" 시스템을 기존의 "단일 작업(single-task)" 시스템과 비교했을 때, 새로운 시스템이 위험한 상황을 약 16% 더 적게 놓쳤다는 것입니다.

예를 들어, 파이프에 미세한 균열이 있고 약간 흔들리고 있다면, 기존 시스템은 진동이 경보를 울릴 만큼 "크지" 않고 균열도 너무 작아 보여서 이를 놓치는 경우가 많았습니다. 그러나 새로운 시스템은 점들을 연결합니다: "잠깐, 이 미세한 진동과 이 미세한 균열이 결합된 것을 보니, 이 부품이 헐거워지고 있구나!"라고 판단하는 것입니다.

또한 연구진은 부품이 분해될 가능성을 예측하는 "헐거움 점수(looseness score)"를 만들었습니다. 이 점수는 전문가의 검토 결과와 79%의 일치율(상관관계 0.79)을 보였습니다. 그들은 헐거워짐의 가장 중요한 단서가 단순히 균열 그 자체가 아니라, 지지 영역의 피크(peak) 움직임과 국부적인 부품들이 서로 멀어지는 정도라는 것을 발견했습니다.

이것이 중요한 이유

이 연구는 우리가 기계를 개별적인 조각으로 보아서는 안 되며, 하나의 역동적인 전체 시스템으로서 관찰해야 한다는 점을 시사합니다. 움직임의 리듬, 부품의 미세한 이동, 그리고 시각적인 손상의 흉터를 결합함으로써, 우리는 문제를 훨씬 더 조기에 포착할 수 있습니다. 비록 이 시스템이 완벽하지는 않지만(매우 어두운 조명, 심한 반사, 혹은 다른 물체에 의해 부품이 가려진 경우 여전히 어려움을 겪음), 이는 중요한 진전입니다. 기계의 운영을 단순한 스냅샷이 아닌 하나의 "이야기"로 보도록 컴퓨터를 가르침으로써, 산업 장비를 더 안전하게 유지하고 작은 문제가 큰 재앙으로 번지는 것을 방지할 수 있음을 보여줍니다.