Scalable estimation of VARMA models

미래를 예측하려고 노력하고 있다고 상상해 보세요. 하지만 수정구슬을 들여다보는 대신, 움직이는 부품들이 뒤엉킨 복잡한 그물을 들여다보고 있는 것입니다. 데이터 과학의 세계에서 이것을 **시계열 분석(time series analysis)**이라고 부릅니다. 이것은 외부 온도, 당신이 좋아하는 운동화의 가격, 또는 공원을 방문하는 사람 수와 같이 시간이 흐름에 따라 사물이 어떻게 변하는지를 관찰하여 다음에 무슨 일이 일어날지 추측하는 기술입니다. 보통 이러한 것들은 고립되어 움직이지 않습니다. 그들은 함께 춤을 춥니다. 온도가 올라가면 아이스크림 판매량이 늘어나고, 비가 오면 우산 판매량이 급증합니다.

오랫동안 과학자들은 이 춤을 모델링하기 위한 강력한 도구인 VARMA(벡터 자기회귀 이동평균, Vector Autoregressive Moving Average)를 가지고 있었습니다. VARMA를 어제의 움직임을 바탕으로 오늘의 움직임을 이해할 뿐만 아니라(‘자기회귀’ 부분), 과거의 갑작스러운 밀침이나 미끄러짐이 현재의 균형에 여전히 어떤 영향을 미치는지까지도 이해하는(‘이동평균’ 부분) 매우 정밀한 댄스 강사라고 생각해보세요. 하지만 문제가 하나 있었습니다. 이 강사는 믿기 힘들 정도로 느리고 서툴렀습니다. 만약 너무 많은 무용수(너무 많은 변수)가 참여하는 춤이나 너무 오래 지속되는 춤(너무 많은 데이터)을 가르치려 한다면, 강사는 혼란에 빠지거나, 충돌하거나, 아예 포기해 버렸습니다. 그것은 마치 누군가 테이블을 계속 흔드는 와중에 거대한 퍼즐을 맞추려는 것과 같았습니다. 이 때문에 대부분의 사람들은 문제를 해결하기 위해 땀 한 방울 흘리지 않고 일을 처리할 수 있는, 과거의 단계만을 보고 미끄러짐이나 밀침은 무시하는 더 단순하고 덜 정확한 강사인 VAR에 안주했습니다.

이제, 다니엘 폴린(Daniel Paulin)과 빅토르 엘비라(Víctor Elvira)라는 두 연구자가 훨씬 더 빠르고 강력한 버전의 이 댄스 강사를 만들어냈습니다. 그들은 VARMA 모델이 기존 모델만큼 똑똑하면서도 단순한 모델만큼 빠르게 학습할 수 있는 방법을 찾아냈습니다. 그들은 모델이 춤의 단계를 생각하는 방식을 바꿈으로써 이를 실현했습니다. 매번 예측을 할 때마다 전체 역사의 모든 단계를 기억하려고 노력하는 대신, 게임이 시작되기도 전에 전체 역사를 몇 가지 핵심적인 "참조 시트"(충분 통계량, sufficient statistics)로 요약하도록 가르쳤습니다. 일단 이 참조 시트가 준비되면, 모델은 춤이 얼마나 오래 지속되든 상관없이 번개 같은 속도로 예측을 수행할 수 있습니다. 또한, 그들은 모델이 결코 혼란에 빠지거나 균형을 잃지 않도록 보장하는 특별한 "안전망"(수학적 재매개변수화, mathematical reparameterization)을 발명했습니다.

실험에서 그들은 이 새로운 방법을 실제 세계의 데이터, 즉 가격에 따른 시리얼 구매량 예측부터 싱가포르의 시간당 날씨 패턴 및 베이징의 공기 질 예측에 이르기까지 테스트했습니다. 결과는 인상적이었습니다. 그들의 새로운 방법은 대규모 데이터와 많은 변수(동시에 최대 40개의 서로 다른 요소들)를 처리하면서도 멈추지 않았습니다. 이 방법은 사람들이 보통 사용하는 더 단순한 방법들보다 종종 더 정확했으며, 단순한 모델들이 놓치는 까다로운 "미끄러짐과 밀침"(이동평균 부분)을 포착해 냈습니다. 실제로 일부 어려운 데이터의 경우, 기존 방식들은 완전히 실패하여 터무니없는 답을 내놓았지만, 이 새로운 접근법은 완벽하게 춤을 추었습니다. 그들은 이제 똑똑함과 빠름 중 하나를 선택할 필요가 없다는 것을 보여주었습니다. 둘 다 가질 수 있다는 것을 말입니다.

핵심 아이디어: 불가능을 쉽게 만들기

저자들이 다룬 핵심 문제는 VARMA 모델이 복잡하고 상호 연결된 시스템을 예측하는 데 있어 "골드 스탠다드(표준)"이지만, 사용하기가 매우 까ert다는 점입니다. 바람, 비, 온도가 서로 영향을 주고받는 도시의 날씨를 예측하려고 한다고 상상해 보세요. 단순한 모델은 "어제 비가 왔다면 오늘도 비가 올 것이다"라고 말할 수 있습니다. 하지만 VARMA 모델은 "어제 비가 왔고, 북풍이 불었으며, 기온이 떨어졌다면, 습도가 높더라도 오늘 비가 그칠 수도 있다"는 것을 알고 있습니다. 이 추가적인 이해의 층위는 VARMA를 훨씬 더 정확하게 만들지만, 수학적으로 매우 무겁게 만듭니다.

수십 년 동안 이 모델을 훈련하는 유일한 방법은 모델이 작은 조정을 할 때마다 데이터의 전체 역사를 매번 살펴보는 것이었습니다. 이것은 노래를 배울 때 음 하나를 틀릴 때마다 처음부터 끝까지 악보 전체를 다시 읽는 것과 같습니다. 노래가 10분 길이라면 괜찮습니다. 하지만 노래가 10시간 길거나, 동시에 50곡을 배우려고 한다면, 당신은 노래를 부르는 시간보다 악보를 읽는 데 대부분의 시간을 쓰게 될 것입니다. 이 때문에 VARMA 모델은 아주 작고 단순한 문제 외에는 실용적이지 못했습니다.

해결책: "참조 시트" 혁명

폴린과 엘비라의 돌파구는 게임의 규칙을 바꾸는 새로운 프레임워크입니다. 매번 전체 악보를 읽는 대신, 그들은 시작할 때 단 한 번 참조 시트(그들이 '충분 통계량'이라 부르는 것)를 작성할 수 있다는 것을 깨달았습니다. 이 참조 시트는 데이터의 중요한 패턴들을 요약합니다. 일단 이 요약본이 준비되면, 모델은 원래의 데이터를 다시 볼 필요 없이 연습하고 개선할 수 있습니다.

그들이 이를 어떻게 구현했는지 설명하면 다음과 같습니다:

1. 안전망 (부분 자기상관 재매개변수화):
   VARMA 모델에서 가장 큰 골칫거리 중 하나는 모델이 쉽게 "불안정"해질 수 있다는 점입니다. 무용수가 점점 더 빨리 회전하다가 무대 밖으로 날아가 버리는 상황을 상상해 보세요. 수학적으로 이것은 "정상성(stationarity)" 또는 "역변환 가능성(invertibility)"의 결여라고 불립니다. 이를 해결하기 위해 저자들은 **부분 자기상관 재매개변수화(partial-autocorrelation reparametrization)**라는 영리한 수학적 트릭을 사용했습니다. 이것을 무용수에게 하네스를 채우는 것으로 생각하세요. 무용수가 아무리 통제 불능으로 회전하려고 해도, 하네스(수학)가 그들을 부드럽게 안전하고 안정적인 리듬으로 끌어당깁니다. 이는 컴퓨터가 모델이 충돌할지 여부를 확인하느라 시간을 낭비하지 않아도 되도록 합니다. 설계 단계부터 안전함이 보장되기 때문입니다.

2. 참조 시트 (충분 통계량):
   그들은 모델을 훈련하기 위해 원본 데이터(수천 개의 일일 기온 수치 등)가 필요하지 않다는 것을 보여주었습니다. 대신 변수 간의 관계를 요약하는 몇 가지 사전 계산된 숫자들만 있으면 됩니다. 이것은 500페이지짜리 소설을 한 페이지의 줄거리 요약본으로 만드는 것과 같습니다. 일단 그 요약본이 있으면, 책을 다시 읽지 않고도 이야기의 결말을 알아낼 수 있습니다. 이를 통해 모델은 거대한 데이터셋(예: 수년간의 시간당 날씨 데이터)을 몇 시간이나 며칠이 아닌 단 몇 초 만에 훈련할 수 있습니다.

3. 푸리에 마법 (파세발 평가):
   참조 시트를 더 빠르게 사용하기 위해, 그들은 신호 처리에서 사용하는 푸리에 변환(또는 파세발 정리) 기술을 사용했습니다. 해변의 모래알 하나하나를 세려고 한다고 상상해 보세요. 시간이 엄청나게 걸릴 것입니다. 하지만 모래를 하나의 파동으로 바꾸고 그 파동의 높이를 측정할 수 있다면, 모래의 총량을 즉시 알 수 있습니다. 이 수학적 트릭은 모델이 복잡한 패턴을 훨씬 더 빠르게 계산할 수 있게 해주며, 매우 긴 "기억"(과거를 멀리까지 돌아보는 것)을 사용하더라도 속도가 느려지지 않게 합니다.

발견한 사실: 속도와 정확도의 만남

저자들은 이 새로운 방법이 실제로 작동하는지 확인하기 위해 세 가지 매우 다른 실제 도전 과제에 대해 테스트했습니다.

• 소매업 테스트 (Dominick의 데이터):
  그들은 가격에 따라 사람들이 얼마나 많은 양의 식품(예: 시리얼과 수프)을 구매할지 예측하려고 했습니다. 이것은 외부 요인(가격)이 판매량에 영향을 미치는 VARMAX 문제입니다. 결과는 모델의 "이동평균" 부분을 포함하는 것이 매우 중요하다는 것을 보여주었습니다. 과거의 "미끄러짐과 밀침"을 무시하는 더 단순한 모델들은 훨씬 덜 정확했습니다. 새로운 방법은 판매량을 거의 완벽하게 예측한 반면, 기존 방식들은 데이터가 너무 복잡해지면 어려움을 겪거나 완전히 실패했습니다.

• 날씨 테스트 (싱가포르):
  그들은 매시간 기록된 11가지의 서로 다른 기상 변수(온도, 습도, 바람 등)를 조사했습니다. 날씨는 강한 일일 주기(낮에는 덥고 밤에는 시원함)를 가지고 있습니다. 이 새로운 방법은 특별한 "계절성" 기능을 포함하여 이 일일 리듬을 아름답게 포착해 냈습니다. 이 방법은 복잡한 비계절성 모델들과 동일하거나 더 나은 결과를 얻으면서도 훨씬 적은 매개변수(더 단순한 수학)를 사용했습니다. 이는 마치 목적지에 도달하는 데 더 적은 에너지를 쓰면서도 같은 경로를 찾는 지름길을 찾은 것과 같았습니다.

• 공기 질 테스트 (베이징):
  그들은 12개의 모니터링 스테이션에서 측정된 오존 수치를 분석했습니다. 이 데이터는 지저도 있고 서로 얽혀 있습니다. 여기서 그들은 "희소(sparse)" 모델(대부분의 연결을 무시하고 큰 연결만 유지하려는 모델)이 복잡한 데이터에 더 좋다는 일반적인 믿음을 테스트했습니다. 놀랍게도, 그들은 밀집(dense) 모델(작은 연결까지 모두 유지하는 모델)이 실제로 더 낫다는 것을 발견했습니다. 공기 질 신호는 수많은 작은 연결 속에 퍼져 있었고, 이 연결들을 무시하는 것은 예측을 악화시켰습니다. 이 모든 연결을 효율적으로 처리하는 그들의 새로운 방법은 희소 모델들을 상당한 차이로 앞질렀습니다.

결론

이 논문은 VARMA 모델이 죽지 않았다는 것을 입증합니다. 단지 더 좋은 엔진이 필요했을 뿐입니다. 안전 하네스, 참조 시트, 그리고 속도를 높이는 마법 같은 기술을 결적으로 결합함으로써, 저자들은 이 강력한 모델들을 이전에는 손댈 수 없었던 거대하고 복잡한 데이터셋에 적용할 수 있게 만들었습니다.

그들은 이 방법이 통계적으로 효율적(매우 정확함)이면서 동시에 계산적으로 확장 가능(매우 빠름)하다는 것을 증명했습니다. 테스트에서 이 새로운 방법은 데이터가 거대하고 무질서할 때도 "오라클"(이론적으로 가장 완벽한 예측)에 근접한 성능을 보였습니다. 특히 일일 주기와 같은 복잡한 패턴이나 가격과 같은 외부 동인이 존재하는 상황에서, 이 방법은 실무자들이 수년간 의존해 온 기존 도구들을 능가했습니다.

저자들은 자신의 방법이 거대한 진전이긴 하지만, 모든 문제를 해결하는 마법 지팡이는 아니라는 점을 주의 깊게 언급했습니다. 그들은 특정 유형의 데이터에 대해서는 "밀집" 접근 방식이 가장 잘 작동하는 반면, 다른 경우에는 "희소" 접근 방식이 여전히 유용할 수 있음을 보여주었습니다. 하지만 현대 세계를 구성하는 복잡하고 상호 연결되며 계절성을 띠는 데이터에 있어서, 이 새로운 프레임워크는 VARMA 모델의 완전한 힘을 마침내 끌어낼 수 있는 길을 열어줍니다. 이는 한때 들어 올리기에는 너무 무거웠던 도구를 어디든 가볍게 들고 다닐 수 있는 도구로 바꾸어, 우리 세상의 복잡한 춤을 이해하고 예측할 수 있게 해줍니다.