Routing by Hurst: Matching Decomposed Modes to Inductive Biases for Time-Series Learning

혼란스러운 도시의 거리를 이해하려고 노력하고 있다고 상상해 보십시오. 그곳은 모든 것이 뒤섞여 있습니다: 지하에서 들려오는 느리고 꾸준한 지하철의 웅성거림, 행진의 리드미달한 발걸음, 버스가 급정거할 때 나는 갑작스러운 끼익 소리, 그리고 수천 명의 대화가 만들어내는 무작위적인 수다 소리 말입니다. 만약 당신이 단 하나의 볼륨에 맞춰진 한 쌍의 귀로 이 전체적인 난장판을 들으려 한다면, 당신은 미세한 차이를 놓치게 될 것입니다. 행진은 들을 수 있어도 버스는 놓칠 수 있고, 혹은 수다 소리에 압도되어 지하철 소리를 놓칠 수도 있습니다. 이것이 과학자들이 시계열 데이터(time-series data)—주가, 날씨 패턴, 또는 심박수와 같이 시간에 따라 기록된 숫자의 흐름—를 다룰 때 직면하는 과제입니다. 이러한 신호들은 결코 단순하지 않습니다. 이들은 느리고 오래 지속되는 추세와 빠르고 찰나적인 스파이크(spike)의 중첩으로 이루어져 있습니다.

이를 이해하기 위해 연구자들은 종-종 **분해(decomposition)**라는 도구를 사용하는데, 이는 마치 지저한 신호를 개별적인 층, 즉 '모드(mode)'로 분리해내는 마법의 체와 같습니다. 일단 분리되면, 그들은 각 층을 분석해야 합니다. 하지만 여기서 까다로운 점은, 서로 다른 층들은 서로 다르게 행동한다는 것입니다. 어떤 층은 고집스럽고 지속적입니다(계속 이어지는 추세처럼). 반면 어떤 층은 부산스럽고 수명이 짧습니다. 수십 년 동안 대부분의 컴퓨터 모델은 이 모든 층을 동일한 하나의 '두뇌'로 분석하려 했으며, 느린 추세와 빠른 스파이크가 똑같은 규칙을 따르도록 강요했습니다. 이 논문은 다음과 같은 단순하면서도 명석한 질문을 던집니다. 만약 우리가 느린 부분에 빠른 부분과는 다른 두뇌를 부여한다면 어떻게 될까?

이 논문의 저자인 시이웨이(Yiwei Shi)와 동료들은 HRMN(Hurst-Routed Mode Network)이라 불리는 새로운 시스템을 제안합니다. 이것은 데이터의 매우 효율적인 교통 통제 센터와 같습니다. HRMN은 모든 차량(데이터 포인트)을 동일한 고속도로로 몰아넣는 대신, 먼저 교통량을 분류합니다. 이 시스템은 **허스트 지수(Hurst exponent)**라는 특별한 수학적 자를 사용하여 데이터 조각이 얼마나 '고집스러운지' 또는 '지속적인지'를 측정합니다. 만약 데이터 조각이 느리고 지속적이라면(장기적인 추세처럼), 그것은 트랜스포머(Transformer) 분기로 전달됩니다. 트랜스포머는 장기적인 연결성과 맥락을 이해하는 데 탁월한 것으로 유명한 일종의 AI 두뇌입니다. 만약 데이터 조각이 빠르고 일시적이라면(갑작스러운 소음 스파이크처럼), 그것은 TCN 분기로 전달됩니다. TCN은 빠르고 국소적인 패턴을 포착하는 데 최적화된 또 다른 AI 두뇌입니다.

이러한 영감은 인간의 뇌 자체에서 왔습니다. 우리의 눈이 빛의 빠른 번쩍임과 높은 뇌 중추가 처리하는 느리게 변하는 맥락을 서로 다르게 처리하는 것처럼, HRMN은 이러한 '이중 경로' 조직을 모방합니다. 연구진은 심부정맥 감지부터 교통량 예측, 서버 장애 탐지에 이르기까지 12가지의 다양한 실제 데이터셋을 통해 이 아이디어를 테스트했습니다. 그 결과, 적절한 '두뇌'를 적절한 유형의 데이터에 매칭함으로써, 그들의 시스템이 기존의 최첨단 모델들을 일관되게 능가한다는 것을 발견했습니다.

구체적으로, 논문은 HRMN이 활동 분류 작업에서 더 정확하고, 회귀 작업에서 미래 값을 예측하는 데 더 뛰어나며, 이상 징내를 포착하는 데 더 날카롭다고 제안합니다. 예를 들어, 분류 작업에서 정확도를 2.55.6 퍼센트 포인트 향상시켰고, 회귀 작업에서는 오류를 8.0%10.2% 줄였습니다. 결정적으로, 저자는 이러한 이득이 단순히 모델이 더 크거나 복잡하기 때문이 아님을 보여줍니다. 사실, 그들의 모델은 자신이 이긴 거대 모델들(200만 개 이상의 파라미터를 사용하는 모델들)보다 더 적은 파라미터(95만 개)를 사용합니다.

또한, 이 논문은 단순히 데이터를 나누는 것만으로는 충분하지 않다는 점을 신중하게 입증했습니다. 그들은 데이터를 나누되 모든 데이터를 동일한 두뇌로 보내거나, 데이터를 무작위로 경로를 지정했을 때 어떤 일이 발생하는지 테스트했습니다. 두 경우 모두 성능이 크게 떨어졌습니다. 이는 마법이 단순히 신호를 분리하는 데 있는 것이 아니라, 지속적인 부분을 장기 기억 두뇌로, 일시적인 부분을 단기 기억 두뇌로 보내는 특정한 '라우팅(routing)' 행위에 있다는 것을 시사합니다. 비록 저자가 이 방법이 특정 임계값(0.6)에 의존하며 명확한 다중 척도 구조를 가진 신호에서 가장 잘 작동한다고 언급하긴 했지만, 결과는 '원 사이즈 피츠 올(one-size-fits-all, 일률적인 방식)' 접근법이 많은 성능을 낭비하고 있을 수 있음을 강력하게 시사합니다. 데이터의 서로 다른 '목소리'를 적절한 귀로 들음으로써, HRMN은 그 이야기를 훨씬 더 명확하게 듣습니다.