Decomposition-Based Preprocessing Versus Architectural Complexity in Neural Forecasting of Economic and Financial Time Series: A Comparative Empirical Study

돈과 시장의 미래를 예측하는 것은 과학 분야에서 가장 어려운 도전 과제 중 하나입니다. 경제학자들과 금융 분석가들은 단일 주식, 원유 한 배럴, 또는 천연가스 한 단위에 이르기까지 다음 가격이 어디로 향할지 추측하기 위해 오랫동안 통계적 도구에 의존해 왔습니다. 이러한 도구들은 과거가 직선적이고 예측 가능한 형태로 움직일 때는 잘 작동하지만, 현실 세계는 결코 그렇게 단순하지 않습니다. 금융 시장은 무질서하고, 변화무쌍하며, 명확한 패턴을 따르지 않는 갑작스러운 급등락으로 가득 차 있습니다. 이러한 무질서를 다루기 위해 연구자들은 인공지능, 구체적으로는 신경망이라 불리는 일종의 컴퓨터 프로그램에 주목했습니다. 이 프로그램들은 데이터를 통해 학습하도록 설계되었으며, 인간의 눈이 놓칠 수 있는 숨겨된 패턴을 찾아냅니다. 하지만 여기에는 함정이 있습니다. 이러한 프로그램들이 혼란스러운 시장을 이해할 만큼 똑똑하게 만들려면, 과학자들은 종종 수천 개의 내부 부품이 함께 작동하는 매우 복잡한 구조로 만들어야 한다는 점입니다. 이러한 복잡성은 프로그램을 느리고, 실행 비용이 많이 들며, 관리하기 어렵게 만듭니다. 연구자들의 핵심적인 질문은 더 나은 예측을 얻기 위한 유일한 방법이 더 크고 복잡한 기계를 만드는 것인지, 아니면 데이터를 입력하기 전에 더 영리하게 준비하는 방법이 있는지였습니다.

한 연구팀은 바로 이 상충 관계를 테스트하기 위해 연구를 시작했습니다. 그들은 컴퓨터 프로그램에 데이터를 주기 전에 데이터를 정제하는 것이 프로그램 자체를 더 강력하게 만드는 것과 같은 효과를 낼 수 있는지 확인하고자 했습니다. 이를 위해 그들은 세 가지 매우 다른 유형의 금융 데이터를 수집했습니다: 애플 주식의 일일 가격, 브렌트 원유 가격, 그리고 천연가스 가격입니다. 이들이 선택된 이유는 각각 독특한 방식으로 움직이기 때문입니다. 애플 주식은 수십 년 동안 꾸준히 성장해 왔고, 유가는 글로벌 사건들에 따라 격렬하게 요동치며, 천연가스 가격은 극심한 변동성과 함께 오르내립니다. 연구진은 이 가공되지 않은 숫자들을 가져와 세 가지 서로 다른 유형의 신경망을 사용하여 다음 날의 가격을 예측하려고 시도했습니다. 첫 번째는 기본적이고 단순한 모델이었습니다. 두 번째는 과거의 사건들을 더 잘 기억하는 더 발전된 모델이었습니다. 세 번째는 더 깊은 연결 고리를 찾기 위해 과거와 미래 양쪽의 데이터를 모두 살펴볼 수 있는 가장 복잡한 모델이었습니다.

연구진은 단순히 가공되지 않은 숫자를 이 모델들에 입력하는 대신, 다른 접근 방식도 시도했습니다. 컴퓨터가 데이터를 보기 전에, 수학적 기법을 사용하여 무질서한 가격 이력을 더 작고 단순한 조각들로 분해했습니다. 마치 너무 많은 음이 동시에 흘러나와 부르기 힘든 복잡한 노래를 상상해 보십시오. 만약 멜로디를 배경 리듬이나 베이스 라인으로부터 분리할 수 있다면, 각 부분은 그 자체로 훨씬 부르기 쉬워질 것입니다. 연구진은 금융 데이터에 대해서도 이와 유사한 작업을 수행했습니다. 그들은 다섯 가지 서로 다른 방법을 사용하여 가격 이력을 장기적 추세, 단기적 꿈틀거림, 그리고 무작위 소음과 같은 별개의 구성 요소로 나누었습니다. 그런 다음 컴퓨터가 이 각각의 단순한 조각들을 따로 예측하도록 학습시킨 뒤, 그 결과들을 다시 합쳐서 최종 예측치를 얻어냈습니다.

실험 결과는 놀라웠습니다. 연구진은 데이터를 단순한 조각들로 분해하는 것이 컴퓨터 모델 자체를 작고 단순하게 유지하더라도 모델의 성능을 훨씬 더 향상시킨다는 것을 발견했습니다. 실제로 데이터를 정제하는 데 가장 효과적이었던 방법은 변분 모드 분해(variational mode decomposition)라는 기술이었습니다. 이 방법을 사용했을 때, 모델들은 가공되지 않은 데이터를 입력받았을 때보다 현저히 더 정확한 예측을 수행했습니다. 더욱 중요한 점은, 이러한 결과를 달enc하기 위해 모델이 반드시 복잡할 필요는 없었다는 것입니다. 보통 가공되지 않은 데이터에 대해 잘 작동하기 위해 수백 개의 내부 부품을 필요로 하는 가장 발전된 형태의 컴퓨터 모델들의 경우, 연구진은 데이터를 전처리했을 때 부품의 수를 10분의 1 이상 줄일 수 있다는 것을 발견했습니다. 예를 들어, 유가를 정확하게 예측하기 위해 100개의 내부 부품이 필요했던 모델이, 데이터를 먼저 정제한다면 단 5개의 부품만으로도 동일하거나 더 나은 결과를 달성할 수 있었습니다.

이 발견은 금융 시장의 단기 예측을 위해 성공의 열쇠는 거대하고 복잡한 기계를 만드는 데 있다기보다, 데이터를 올바르게 준비하는 데 있다는 것을 시사합니다. 이 연구는 깨끗한 데이터를 가진 단순한 모델이 지저분한 데이터를 가진 복잡한 모델보다 종종 더 뛰어난 성과를 낸다는 것을 보여주었습니다. 이는 트레이더부터 정책 입안자에 이르기까지 이러한 예측에 의존하는 모든 이들에게 중요한 발견입니다. 즉, 예측 시스템을 정확도를 희생하지 않으면서도 더 빠르고, 저렴하며, 효율적으로 만들 수 있다는 의미입니다. 더 큰 신경망을 구축하는 데 자원을 쏟는 대신, 데이터 자체를 이해하고 정리하는 데 집중할 수 있습니다. 연구진은 경제 시계열의 혼란스럽고 변화무쌍한 특성을 고려할 때, 잘 준비된 신호가 깊고 복잡한 구조보다 더 강력하다는 결론을 내렸습니다. 이 접근 방식은 정확할 뿐만 아니라 실제 빠르고 역동적인 환경에서도 충분히 효율적으로 사용할 수 있는 예측 도구를 만들기 위한 실질적인 경로를 제시합니다.