General Value Functions for Remaining Useful Life and Failure-Mode Prediction

당신은 몇 시간 동안 경주용 자동차를 몰고 있는 레이스 카 드라이버를 지켜보고 있다고 상상해 보십시오. 엔진 온도가 상승하고, 오일 압력이 떨어지며, 타이어가 마모되는 것을 볼 수 있습니다. 당신은 두 가지를 알고 싶습니다. 자동차가 고장 나기 전까지 얼마나 더 계속 달릴 수 있는지, 그리고 정확히 어떻게 고장 날 것인지—엔진이 멈출 것인지, 타이어가 터질 것인지, 아니면 브레이크가 파손될 것인지 말입니다. 이것이 바로 진동, 열, 압력과 같은 데이터 스트림을 사용하여 기계의 미래를 엿보려는 엔지니어들의 분야인 '예측 정비(predictive maintenance)'의 핵심입니다.

이를 위해 과학자들은 종종 기계의 수명을 일련의 스냅샷(snapshot)으로 취급합니다. 그들은 지난 10분간의 센서 데이터와 같은 시간 창(window)을 보고, 컴퓨터에게 남은 수명을 추측하도록 요청합니다. 하지만 이 접근 방식에는 사각지대가 있습니다. 모든 스냅샷을 별개의, 고립된 퍼즐 조각으로 취급한다는 점입니다. 이는 10분의 상태가 9분과 연결되어 있고, 그것이 다시 8분과 연결되어 있다는 사실을 잊어버립니다. 이는 마치 영화의 흐름을 이해하지 못한 채, 서로 연결되지 않은 개별 프레임만을 보고 영화를 이해하려는 것과 같습니다. 당신이 읽게 될 이 논문은 '일반 가치 함수(General Value Function)'라는 수학적 아이디어를 사용하여 현재의 순간과 피할 수 없는 결말 사이의 점들을 연결함으로써, 컴퓨터가 시간의 '흐로(flow)'를 볼 수 있도록 가르치는 방식으로 이 문제를 해결합니다.

---

시간 여행하는 수정구슬 이야기

기계의 세계에서 모든 것은 결국 마모됩니다. 제트 엔진이든, 풍력 터빈이든, 로봇 팔이든, 이들은 모두 '고장(failure)'이라는 벽에 부딪힐 때까지 '열화(degradation)'의 경로를 따릅니다. 엔지니어들의 큰 질문은 이것입니다: 남은 수명이 얼마나 되는가? (이를 잔여 유효 수명, 즉 RUL이라고 합니다) 그리고 어떻게 죽을 것인가? (이것이 고장 모드입니다).

보통 컴퓨터에게 이 질문에 답하는 법을 가르칠 때, 우리는 기계가 완전히 고장 날 때까지 작동한 수천 가지의 사례를 보여줍니다. 우리는 이렇게 말합니다. "충돌하기 10분 전의 이 데이터를 봐; 정답은 10분이야." 이것은 학생에게 수학 시험지를 다 풀린 상태로 보여주며 정답을 외우라고 하는 것과 같습니다. 완성된 시험지가 아주 많다면 이 방법은 매우 효과적입니다. 하지만 만약 당신에게 완성된 시험지는 몇 개뿐이고, 미완성된 시험지는 산더미처럼 쌓여 있다면 어떨까요? 혹은 정체가 무엇인지도 모르는 익명의 기계들로부터 얻은 센서 데이터 더미만 있다면 어떨까요? 전통적인 방식들은 이런 '불완전한' 이야기를 이해하지 못하기 때문에 여기서 어려움을 겪습니다.

이 논문은 비디오 게임 AI에서 빌려온 개념인 **일반 가치 함수(GVF)**를 사용하여 더 똑똑한 학습 방법을 소개합니다. GVF를 미래를 한꺼번에 예측하는 수정구슬이 아니라, 도미노 체인이라고 생각해 보십시오.

기존의 방식(소위 "몬테카를로(Monte Carlo)" 학습)에서는 컴퓨터가 게임이 끝날 때까지 기다려 누가 이겼는지 확인한 다음, 중간에 무슨 일이 있었는지 거꾸로 추측하려고 시도합니다. 이것은 축구 경기의 중간 점수를 맞히기 위해 경기 종료 후 최종 스코어를 기다리는 것과 같습니다. 최종 스코어가 있다면 정확하겠지만, 경기가 진행 중이거나 경기 전반전 클립만 가지고 있다면 무용지물입니다.

이 논문의 새로운 방법은 **시간 차 학습(Temporal-Difference, TD learning)**을 사용합니다. 마지막까지 기다리는 대신, 컴퓨터는 미래에 대한 추측을 하고, 그 추측을 데이터의 다음 단계와 대조하여 확인합니다. 이것은 마치 앞길을 살피는 등산객과 같습니다. 만약 등산객이 "정상까지 2시간 걸리겠다"라고 추측했는데, 한 걸음 내디딘 후 길이 예상보다 가파르다는 것을 알게 된다면, 그는 즉시 자신의 추측을 "아마 2.5시간 걸리겠구나"로 업데이트합니다. 그는 정상에 도착할 때까지 기다렸다가 자신이 틀렸음을 깨닫는 것이 아니라, 매 단계마다 예측을 조정합니다. 이를 통해 컴퓨터는 부분적인 여정으로부터도 학습할 수 있습니다. 설령 기계가 아직 고장 나지 않았거나, 기계의 정체를 알 수 없더라도, 컴퓨터는 '지금'을 '다음'과 연결함으로써 도로의 규칙을 배울 수 있습니다.

대규모 실험: 시뮬레이션과 실제 엔진

저자들은 이 아이디어를 매우 다른 두 세계에서 테스트했습니다.

1. 비디오 게임 시뮬레이션
먼저, 그들은 모든 것을 제어할 수 있는 가상 세계를 구축했습니다. 그들은 시간이 지남에 따라 열화되는 600개의 디지털 기계를 만들었으며, 이를 두 가지 유형의 고장 모드(예: "엔진 화재" 대 "기어 미끄러짐")로 나누었습니다.

• 전체 이야기: 컴퓨터에게 시작부터 끝까지 모든 기계의 완전한 이력을 주었을 때, 새로운 "도미노" 방식(TD)은 기존의 "끝까지 기다리는" 방식(MC)만큼이나 잘 수행되었습니다.
• 사라진 페이지들: 그다음, 그들은 문제를 더 어렵게 만들었습니다. 많은 이야기의 결말을 제거했습니다. 컴퓨터에게 아직 고장 나지 않은 기계들의 익명화된 짧은 클립만을 제공했습니다. 여기서 기존 방식은 무너졌습니다. 최종적인 "게임 오버" 라벨이 없으면 학습할 수 있는 것이 아무것도 없었기 때문입니다. 그러나 새로운 TD 방식은 학습을 계속했습니다. 그것은 '다음 단계'를 사용하여 자신의 추측을 업데이트함으로써, 마치 이야기의 빈 페이지를 채워 넣듯 학습했습니다. 이러한 "라벨 부족(label-scarce)" 상황에서 새로운 방식은 남은 수명을 예측하는 데 훨씬 뛰어난 성능을 보였습니다. 하지만 기계가 어떻게 고장 날 것인지를 예측하는 데 있어서는, 데이터가 극도로 부족할 때(라벨이 10~50%만 존재할 때) 컴퓨터의 고장 모드 예측 능력은 기존 방식과 마찬가지로 거의 무작위 확률 수준에 머물렀습니다. 실질적인 돌파구는 특정 조건 하에서의 고장 유형 예측이 아니라, 시간 예측에 있었습니다.

2. 실제 세계 테스트: NASA의 제트 엔진
다음으로, 그들은 터보팬 제트 엔진의 기록이 담긴 NASA의 C-MAPSS 데이터셋을 사용하여 실제 데이터를 테스트했습니다. 이 엔진들은 복잡하며, 다양한 조건에서 작동하고 다양한 방식으로 고장 납니다.

• 도전 과제: 실제 데이터는 지저분합니다. 때때로 엔진이 고장 나기 전에 데이터가 끊기기도 하며(중단된 데이터), 원래 데이터에는 "고장 모드"가 명확하게 라벨링되어 있지 않습니다.
• 결과: 새로운 방식은 다시 한번 그 강점을 보여주었습니다. 가장 어려운 데이터셋(엔진이 여러 방식으로 고장 나고 다양한 조건에서 작동하는 경우)에서, TD 방식은 전통적인 방식보다 남은 수명을 더 정확하게 예측했습니다. 특히 데이터가 파편화되고 익명화된 "스티치(stitch)" 설정에서도 뛰어난 성능을 보였습니다. 일반적인 라벨링 데이터의 10%에서 50%만 있는 상황에서도, TD 방식은 높은 정확도로 남은 수명을 예측해 냈습니다. 고장 모드를 예측하는 데 있어서는 기존 방식보다 약간의 개선을 보였지만, 이러한 파편화된 환경에서 가장 주된 승리는 특정 고장 유형을 완벽히 식별하는 것보다는 남은 시간을 정확하게 예측하는 데 있었습니다.

이것이 미래에 의미하는 바

이 논문은 기계 고장의 미스터리를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 우리가 컴퓨터에게 학습을 요구하는 방식을 바꿈으로써—즉, "최종 정답을 암기하라"에서 "매 단계마다 추측을 업데이트하라"로 전환함으로써—예측 정비를 훨씬 더 효율적으로 만들 수 있다고 제안합니다.

핵심적인 교훈은 파편화된 데이터가 쓸모없는 데이터는 아니라는 것입니다. 과거에는 기계의 기록이 불완전하거나 정체를 알 수 없는 경우, 엔지니어들은 종종 그 데이터를 버렸습니다. 이 논문은 우리가 컴퓨터에게 '한 순간'과 '다음 순간' 사이의 점을 연결하도록 허용한다면, 그 부서지고 익명화된 조각들을 통해서도 기계의 열화 규칙을 가르칠 수 있음을 보여줍니다.

기계의 삶을 단절된 스냅샷의 쌓임이 아닌 연속적인 이야기로 다룸으로써, 우리는 더 똑똑하고, 완벽한 데이터를 덜 요구하며, 이야기가 끝나지 않았을 때도 우리에게 경고를 줄 수 있는 시스템을 구축할 수 있습니다. 이것은 관점의 작은 변화이지만, 우리 세상을 움직이는 기계들에게는 예정된 수리가 될 것인지, 아니면 갑작스럽고 막대한 비용이 드는 고장이 될 것인지를 결정짓는 차이가 될 수 있습니다.