Benchmarking Unsupervised Segmentations of Multivariate Time Series From Embedded Systems With a Novel Homogeneity Metric

우리가 운전하는 자동차부터 우리가 들고 다니는 기기들에 이르기까지, 현대 기계 장치의 숨겨진 세계에서 데이터는 마치 강물처럼 끊임없이 흐릅니다. 시계열(time series)이라고 알려진 이 데이터는 엔진의 온도나 회로의 전압과 같이 다양한 신호가 시간에 따라 어떻게 변하는지를 기록합니다. 한 기계가 동시에 기록하는 다양한 센서가 많아지면, 데이터는 복잡하게 얽힌 이야기들이 동시에 일어나는 다변량(multivariate) 데이터가 됩니다. 엔지니어와 과학자들의 과제는 단순히 이 데이터를 수집하는 것이 아니라, 그 의미를 파악하는 것입니다. 그들은 기계의 행동이 공회전에서 가속으로 전환되는 자동차처럼, 하나의 상태에서 다른 상태로 변화하는 순간을 찾아내야 합니다. 이를 위해 그들은 길고 연속적인 데이터의 흐름을, 내부의 행동이 일관되고 예측 가능한 별개의 '장(chapter)' 또는 '세그먼트(segment)'로 나누어야 합니다. 이 과정을 세그먼테이션(segmentation, 분할)이라고 부릅니다. 하지만 데이터가 지저도하고 여러 소스에서 동시에 들어올 때, 어디에서 절단(cut)을 해야 할지 결정하는 것은 매우 어렵습니다. 명확한 판단 기준이 없다면, 연구자들은 자신들이 진정한 근본 패턴을 찾은 것인지 아니면 그저 무작위적인 노이즈를 만들어낸 것인지 추측할 수밖에 없습니다.

이것이 바로 클라우스탈 공과대학교(Clausthal University of Technology)와 텐서 임베디드(tensor embedded GmbH)의 연구팀이 해결하고자 했던 문제입니다. 그들은 자동차의 운영 상태를 모니터링하는 복잡한 컴퓨터 네트워크인 자동차 임베디드 시스템에서 발생하는 데이터에 집중했습니다. 연구팀은 특정한 난관에 봉착했습니다. 데이터를 자를 수 있는 강력한 도구는 가지고 있었지만, 그 조각들의 품질을 측정할 신뢰할 수 있는 '자(ruler)'가 부족했던 것입니다. 그들은 데이터의 한 세그먼트가 진정으로 '동질적(homogeneous)'인지, 즉 데이터 포인트들이 서로 일관되게 행동하는지, 아니면 서로 다른 행동들이 뒤섞인 혼란스러운 상태인지를 판별할 방법이 필요했습니다. 이를 해결하기 위해 연구진은 이러한 내부 일관성을 측정하는 새로운 방법을 개발했습니다. 그들은 단순히 이론을 제안한 것이 아니라, 데이터를 자르는 모든 방식에 점수를 부여하는 구체적인 계산법인 '메트릭(metric, 척도)'을 구축했습니다. 낮은 점수는 더 깨끗하고 일관된 세그먼트를 나타내며, 높은 점수는 해당 세그먼트가 무질서하며 다르게 나누어져야 함을 시사합니다. 이 메트릭은 벤치마크 역할을 하여, 연구자들이 다양한 알고리즘을 테스트하고 어떤 알고리즘이 데이터의 가장 논리적인 분할을 만들어내는지 확인할 수 있게 해줍니다.

이 새로운 메트릭이 작동함을 증명하기 위해, 연구팀은 먼저 실제 신호의 동작을 모방한 합성(synthetic), 즉 가상의 시계열 데이터를 생성했습니다. 그들은 이 테스트 신호가 명확하고 알려진 행동 변화를 갖도록 설계하여, 데이터를 자르는 '완벽한' 방법이 이미 알려져 있는 시나리오를 만들었습니다. 그런 다음 그들은 이 테스트 신호를 자르는 가능한 모든 방식에 새로운 메트릭을 적용했습니다. 결과는 완벽한 일치였습니다. 메트릭은 연구자들이 직관적으로 설계했던 최선의 솔션과 정확히 일치하는 절단 지점을 찾아냈습니다. 이 검증은 그들의 수학적 도구가 훌륭한 세그멘테이션을 정확하게 인식할 수 있음을 보여주었기에 매우 중요했습니다. 이어 연구팀은 동일한 합성 신호에 대해 네 가지 특정 내부 클러스터 지수(internal cluster indices)와 이 새로운 메트릭을 비교했습니다. 기존의 방법들 또한 올바른 세그멘테이션을 최선의 옵션으로 식별했지만, 새로운 메트릭은 정의된 사례 내에서 내부 일관성을 측정하는 데 적합하도록 특별히 설계되고 검증되었으며, 기존 방식들과 함께 그 신뢰성을 확인했습니다.

측정 도구의 검증을 마친 연구진은 파트너사인 아우디(Audi AG)로부터 제공받은 실제 데이터로 눈을 돌렸습니다. 이 데이터셋은 방대했으며, 시간에 따라 기록된 거의 천 개에 달하는 서로 다른 신호들을 포함하고 있었습니다. 가공되지 않은 원시 데이터는 너무 노이즈가 심하고 복잡하여 한꺼번에 분석하기 어려웠으므로, 연구팀은 먼저 데이터를 필터링했습니다. 너무 평탄하거나 변화가 없는 신호들은 제거하고, 가장 역동적인 변화를 보이는 23개의 핵심 프로세스만을 남겼습니다. 이를 통해 시스템의 필수적인 역학 관계를 포착하면서도 다룰 수 있는 수준의 데이터 세트를 확보했습니다. 그 후 연구팀은 이 필터링된 데이터에 두 가지 서로 다른 세그멘테이션 알고리즘을 적용했습니다. 첫 번째 알고리즘은 데이터 포인트가 다양한 확신도를 가지고 여러 그룹에 속할 수 있도록 허용하는 퍼지 클러스터링(fuzzy clustering) 기술을 기반으로 했고, 두 번째는 데이터가 숨겨진 상태들 사이를 전환한다고 가정하는 은닉 마르코프 모델(Hidden Markov Model)이라는 통계 모델을 사용했습니다.

연구진은 데이터를 4개에서 14개 사이의 세그먼트로 나누는 실험을 통해 이 알고리즘들을 테스트했습니다. 각 시도마다 그들은 새로운 동질성 메트릭을 사용하여 결과에 점수를 매겼습니다. 결과는 고무적이었습니다. 두 알고리즘 모두 일관된 내부 행동을 보이는 세그먼트를 찾아낼 수 있었지만, 세그먼트의 개수에 따라 세그멘테이션의 품질은 달라졌습니다. 메트릭은 어떤 특정 숫자의 세그먼트가 가장 응집력 있는 결과를 만들어내는지 성공적으로 밝혀냈습니다. 합성 테스트 신호의 경우, 한 알고리즘이 완벽한 세그멘테이션을 정확히 재현하여 메트릭에서 가장 낮은 점수를 기록했습니다. 실제 자동차 데이터의 경우, 메트릭은 서로 다른 결과들을 비교할 수 있는 명확한 방법을 제공했으며, 알고-리즘들이 복잡한 신호의 흐름으로부터 의미 있는 상태들을 실제로 추출해낼 수 있음을 보여주었습니다. 이 연구는 어떤 시계열을 자르는 절대적인 완벽한 방법을 찾는 것이 여전히 어려운 과제로 남아있지만, 새로운 메트릭이 이 작업을 위한 도구들을 평가하고 개선하는 신뢰할 수 있는 방법을 제공한다고 결론짓습니다. 이는 내부 일관성에 대한 이러한 척도를 사용함으로써 연구자들이 복잡한 시스템의 숨겨진 상태를 더 잘 이해할 수 있고, 결과적으로 현대 세계를 움직이는 데이터를 더욱 정확하게 분석할 수 있는 길을 열어준다는 것을 시사합니다.