Nonparametric method of structural break detection in stochastic time series regression model

당신이 길고 복잡한 노래를 듣고 있다고 상상해 보세요. 때로는 음악이 매끄럽게 흐르지만, 때로는 장르가 갑자기 바뀌기도 합니다. 베이스가 떨어지거나, 템포가 빨라지거나, 가수의 목소리가 완전히 바뀌는 식이죠. 데이터 과학의 세계에서 이러한 갑작스러운 변화를 "구조적 변화(structural breaks)"라고 부릅니다. 이는 주식 시장 가격부터 날씨 패턴, 심지어 사람들이 무언가를 검색하는 방식에 이르기까지 모든 곳에서 발생합니다. 이러한 변화를 감지하는 것은 노래의 장르가 바뀌는 정확한 순간을 찾아내는 것과 같습니다. 이는 게임의 규칙이 바뀌었는지 이해하는 데 도움을 줍니다. 전통적으로 과학자들은 이 변화를 찾기 위해 음악이 특정한 예측 가능한 악보(수학적 공식)를 따른다고 가정했습니다. 하지만 현실은 무질서하며, 데이터는 종종 이러한 깔끔한 규칙을 따르기를 거부합니다. 만약 데이터가 "헤비 테일(heavy-tailed)" 형태, 즉 표준 모델에 맞지 않는 예측 불가능하고 거친 스파이크를 가지고 있다면, 기존의 방법들은 혼란에 빠져 이러한 변화를 완전히 놓칠 수 있습니다.

이 논문은 데이터를 딱딱한 틀에 억지로 끼워 맞추지 않고도 이러한 변화를 포착할 수 있는 유연한 새로운 방법을 소개합니다. 저자인 아치 로이(Archi Roy), 무만티 포더(Moumanti Podder), 수딥 데브(Soudeep Deb)는 "비모수적(nonparametric)" 방법을 제안합니다. 이것을 범인의 키, 몸무게, 좋아하는 색깔을 알 필요 없이 그저 범인의 행동이 갑자기 변하는 순간을 보고 정체를 파악하는 탐정이라고 생각해 보세요. 그들의 방법은 두 가지 요소 사이의 관계(예를 들어, '비트코인' 검색량과 비트코인 가격 사이의 관계)가 시간이 지나도 그대로 유지되는지, 아니면 갑자기 새로운 것으로 변하는지를 확인합니다. 그들은 이 탐정 업무를 헤비 테일 데이터를 포함한 온갖 까다로운 데이터에 테스트했으며, 그들의 새로운 도구가 기존의 경직된 방법들보다 이러한 변화를 더 잘 잡아낸다는 것을 발견했습니다.

탐정의 새로운 도구 상자

저자들의 주요 목표는 시계열의 "규칙"이 언제 변하는지 감지할 수 있는 테스트를 구축하는 것이었습니다. 그들의 모델에서, 그들은 하나의 변수(예를 들어 구글 검색량 같은 "예측 변수")가 다른 변수(주가 같은 "반응 변수")에 영향을 미치는 관계를 살펴봅니다. 보통 이 관계는 "평균(mean, 평균적인 효과)"과 "분산(variance, 효과가 얼마나 요동치는지)"을 가집니다. 저자들은 알고 싶었습니다. 평균적인 효과가 변했는가? 요동치는 정도가 변했는가? 아니면 둘 다 변했는가?

그들의 큰 발견은 데이터의 형태를 미리 알 필요 없이 이러한 변화를 포착할 수 있는 수학적 "그물"을 만들었다는 점입니다. 그들은 이를 **비모수적 테스트(nonparametric test)**라고 부릅니다. 벽의 균열을 찾는 상황을 상상해 보세요. 기존의 방법들은 적절한 도구를 고르기 위해 벽이 무엇으로 만들어졌는지(벽돌, 석고보드, 나무 등)를 정확히 알아야 했습니다. 만약 추측이 틀렸다면, 균열을 놓칠 수도 있었습니다. 저자들의 새로운 방법은 벽이 무엇으로 만들어졌는지와 상관없이 그저 균열 자체를 찾아내는 범용 스캐너와 같습니다.

이론을 어떻게 테스트했는가

이 스캐너가 작동한다는 것을 증명하기 위해, 저자들은 단 한 종류의 데이터만 본 것이 아니라 모든 것을 던져 넣었습니다. 그들은 1,000개의 서로 다른 시나리오를 생성하여 광범한 컴퓨터 시뮬레이션을 실행했습니다. 그들은 다음과 같은 데이터로 그들의 방법을 테스트했습니다:

• 정규(Normal): 매끄럽고 예측 가능한 데이터.
• 중간 정도의 헤비 테일(Moderately heavy-tailed): 가끔 놀라운 일이 발생하는, 약간 거친 데이터.
• 헤비 테일(Heavy-tailed): 거대한 규모의 드문 스파이크가 발생하는 극도로 혼란스러운 데이터(실제 금융 위기와 같은 상황).

또한 그들은 단순한 백색 잡음(white noise), 복잡한 금융 모델(ARMA-GARCH), 그리고 값이 양수인지 음수인지에 따라 규칙이 변하는 임계값 모델(TAR)을 포함한 다양한 유형의 "음악(데이터 구조)"에 대해서도 테스트했습니다.

결과는 유망했습니다. 시뮬레이션에서 새로운 방법은 "크기(size, 변화가 없는데도 변화가 있다고 잘못 알리는 확률)"를 매우 낮게 유지하여, 보통 0%나 1% 근처에 머물렀으며, 이는 정확히 우리가 원하는 바입니다. "검출력(power, 변화가 존재할 때 실제로 찾아내는 능력)" 측면에서, 이 방법은 더 많은 데이터를 제공할수록 더 좋아졌습니다. 500개의 데이터 포인트가 있을 때, 복잡성에 따라 변화를 21%에서 67%까지 찾아냈습니다. 하지만 2,000개의 데이터 포인트가 있을 때는 평균 변화의 경우 최대 67%, 분산 변화의 경우 훨씬 더 높은 최대 97%까지 찾아냈습니다. 결정적으로, 이 방법은 데이터에 "헤비 테일(거친 스파이크)"이 있는 상황에서도 견고함을 유지했으며, 이는 다른 많은 방법들이 어려움을 겪는 시나리오입니다.

비트코인 사례 연구: 실전 튜닝

이것이 단순히 컴퓨터 게임이 아님을 보여주기 위해, 저자들은 실제 데이터를 적용했습니다: 비트코인 가격과 구글 검색 트렌드(구체적으로 "구글 뉴스 관심도 점수" 또는 GNIS)입니다. 그들은 2020년 1월 1일부터 2024년 9월 4일까지의 데이터를 살펴보았습니다.

그들의 스캐너는 검색 관심도가 비트코인 가격에 미치는 영향에서 두 가지 주요 구조적 변화를 찾아냈습니다:

1. 2021년 3월 7일: 이는 기관 투자자(테슬라의 투자 등)의 관심과 광범위한 미디어 주목에 힘입어 비트코인 가격이 사상 최고치로 급등했던 시점과 일치합니다. 검색량과 가격 사이의 관계가 여기서 변화했습니다.
2. 2023년 7월 8일: 이는 변동성과 부정적인 뉴스가 지속된 기간 이후의 변화를 나타냅니다. 7월이 되면서 채택과 안정성에 대한 긍정적인 이야기로 분위기가 바뀌었고, 검색 관심도와 가격 사이의 관계가 다시 한번 변했습니다.

흥미롭게도, 평균적인 가격 관계는 변했지만, 변동성(가격이 얼마나 요동치는지)은 구조적 변화를 보이지 않았습니다. 저자들은 이것이 시장의 "노이즈"나 예측 불가능성은 일정하게 유지되었음에도 불구하고, 근본적인 추세는 변했다는 것을 의미한다고 제안합니다.

이것이 의미하는 것 (그리고 의미하지 않는 것)

저자들은 자신들의 방법이 테스트이자 **국지화 알고리즘(localization algorithm)**임을 명시하고 있습니다. 그것은 변화가 발생했는지와 그 변화가 어디에서 일어났는지를 알려줍니다. 그들은 데이터를 더 많이 확보할수록 변화 지점에 대한 추정치가 실제 변화 지점에 점점 더 가까워진다는 것을 수학적으로 증명했습니다.

하지만 그들은 한계점도 언급했습니다. 그들의 주요 이론은 한 번에 최대 하나의 변화가 있다고 가정합니다(단, 실제로는 여러 변화를 찾기 위해 단계별 "이진 분할(binary segmentation)" 방식을 사용합니다). 또한 그들은 데이터의 처음 두 가지 "모멘트", 즉 평균(mean)과 분산(variance)에 초점을 맞췄습니다. 그들은 자신들의 아이디어가 왜도(skewness)나 첨도(kurtosis)와 같은 고차 모멘트를 살펴보는 방향으로 확장될 수 있다고 제안했지만, 이번 논문에서 이를 수행하지는 않았습니다.

요약하자면, 이 논문은 노래의 장르가 바뀌는 순간을 듣기 위한 더 유연하고 견고한 방법을 제공합니다. 이는 미리 악보를 알 필요를 요구하지 않으며, 음악이 크고 혼란스러워지더라도 작동합니다. 금융, 기후, 또는 소셜 미디어 분야에서 데이터의 관계가 시간에 따라 어떻게 변하는지 이해하려는 모든 이들에게, 이 새로운 도구는 전환점을 포착하는 더 명확하고 신뢰할 수 있는 방법을 제시합니다.