Ensemble learning for time series forecasting using metaheuristic optimisation

미래를 예측하는 것은 인간의 본능이지만, 숫자의 미래를 예측하는 것은 매우 어려운 과학입니다. 금융의 세계에서 시계열 예측은 어제, 지난주, 그리고 작년의 데이터를 바탕으로 내일의 주가가 얼마가 될지 추측하려는 시도입니다. 데이터는 결코 직선이 아닙니다. 그것은 폭풍 속에서 날씨를 예측하려는 것과 마찬가지로, 들쭉날쭉하고 노이즈가 많으며 끊임없이 변화합니다. 시장은 매우 변동성이 크고 예측 불가능하기 때문에, 단 하나의 방법만을 믿고 예측을 수행하는 것은 마치 단 하나의 나침반에만 의존하여 항해하는 배와 같습니다. 만약 그 나침반이 조금이라도 어긋나 있다면, 여정 전체가 위태로워질 수 있습니다. 이것이 바로 연구자들이 여러 가지 서로 다른 예측 모델을 구축한 뒤 이를 결합하는 전략인 '앙상블 학습(ensemble learning)'에 주목한 이유입니다. 하나의 전문가를 신뢰하는 대신, 시스템이 여러 전문가의 패널을 경청하게 함으로써, 그들의 결합된 지혜가 개별적인 실수를 상쇄하고 더 명확한 길을 보여주기를 기대하는 것입니다.

하지만 문제는 이 전문가들을 어떻게 결합하느냐에 있습니다. 단순히 모든 모델에게 예측을 요청한 뒤 그 평균을 낸다면, 어떤 모델은 현재 눈부신 성과를 내고 있는 반면 다른 모델은 고전하고 있다는 사실을 놓칠 수 있습니다. 진짜 기술은 특정 순간에 어떤 모델에 더 많은 신뢰를 부여하고 어떤 모델의 목소리를 줄여야 하는지를 파악하는 것입니다. 이것이 바로 인도 출신의 연구팀이 예측 모델 그룹을 관리하는 새로운 방법을 개발하며 다룬 구체적인 문제입니다. 그들은 새 떼의 움직임에서 영감을 얻은 방식과 불확실성을 처리하는 수학적 접근법을 기반으로 한 두 가지 별개의 시스템을 만들어, 각 모델의 예측에 얼마만큼의 가중치를 부여할지를 동적으로 결정하도록 했습니다. 그들의 목표는 시장 상황이 변함에 따라 가장 신뢰할 수 있는 예측 모델로 초점을 이동할 수 있는, 실시간으로 적응 가능한 시스템을 구축하는 것이었습니다.

아이디어를 테스트하기 위해 연구진은 지난 15년 동안 주요 경제 개혁과 글로벌 팬데믹을 포함하여 극적인 변화를 겪은 거대하고 복잡한 금융 생태계인 인도 주식 시장을 대상으로 삼았습니다. 그들은 7개의 서로 다른 엔티티(entity)에 대한 역사적 데이터를 수집했습니다. 여기에는 경제 전반의 건전성을 추적하는 두 개의 주요 시장 지수와 거래소에 상장된 가장 큰 기업 5곳이 포함되었습니다. 그들은 단 한 종류의 예측 엔진에만 의依赖하지 않았습니다. 대신, 각기 다른 강점을 가진 세 가지 서로 다른 인공지능 모델로 구성된 '패널'을 구축했습니다. 한 모델은 정적 데이터에서 패턴을 찾도록 설계되었고, 다른 하나는 시간에 따른 장기적 추세를 기억하도록 구축되었으며, 세 번째는 이 기억 기반 모델을 간소화하여 속도를 높인 버전이었습니다. 이 세 모델은 다음 날의 종가를 예측하는 법을 배우기 위해 지난 15년 동안의 데이터로 학습되었습니다.

이 세 모델이 준비되자, 연구진은 이들의 예측을 결합하기 위해 두 가지 새로운 관리 시스템을 적용했습니다. 첫 번째 시스템인 'Ensemble PSO'는 입자 군집이 최적의 해를 찾아가는 과정을 시뮬레이션하여 작동합니다. 새 떼가 함께 날아가는 모습을 상상해 보십시오. 각 새는 자신만의 최적 위치와 전체 무리가 발견한 최적의 위치를 알고 있습니다. 그들은 최적의 지점을 향해 이동하기 위해 끊임없이 비행 경로를 조정합니다. 이 컴퓨터 시스템에서 '새'는 세 모델에 할당된 가중치의 다양한 조합입니다. 시스템은 수천 번의 시뮬레이션을 실행하며, 예측 가격과 실제 가격 사이의 오차를 최소화하는 완벽한 균형을 찾을 때까지 조합을 끊임없이 조정합니다. 두 번째 시스템인 'Ensemble ARO'는 다른 접근 방식을 취합니다. 이 시스템은 시장의 불확실성을 수학적으로 관리해야 할 변수로 취급하여, 시장이 예상치 못한 방향으로 움직이더라도 견고함을 유지할 수 있는 가중치 집합을 찾아냅니다. 이는 본질적으로 "우리가 예기치 못한 상황에 직면하지 않으려면 이 예측들을 결합하는 가장 안전한 방법은 무엇인가?"라고 묻는 것과 같습니다.

연구진은 이 두 가지 새로운 시스템을 개별 모델, 세 모델의 단순 평균, 그리고 과거에 사용되었던 다른 고급 예측 방법들과 비교했습니다. 7개의 서로 다른 데이터셋 전체에 대해 공정한 비교를 수행하기 위해, 그들은 결과에 점수를 매기는 새로운 방식을 개발했습니다. 단순히 예측이 평균적으로 얼마나 벗어났는지와 같은 하나의 수치만을 보는 대신, 네 가지 서로 다른 정확도 척도를 살펴보고 이를 하나의 종합적인 점수로 결합했습니다. 이를 통해 그들은 단 하나의 데이터셋이 아니라, 7개의 서로 다른 주식과 지수 전체에 걸쳐 모델의 순위를 매길 수 있었습니다.

결과는 명확하고 일관적이었습니다. 군집 기반 최적화를 사용하는 시스템인 'Ensemble PSO'는 개별 모델과 다른 앙상블 기법들을 포함한 모든 다른 방법보다 일관되게 우수한 성능을 보였습니다. 이는 테스트된 다양한 시장 조건과 기간 전반에 걸쳐 가장 신뢰할 수 있는 예측 도구임이 증명되었습니다. 두 번째로 우수한 성과를 보인 것은 견고한 최적화 접근 방식을 사용하는 'Ensemble ARO'였으며, 이 역시 표준 모델들보다 유의미하게 높은 성능을 나타냈습니다. 연구 결과, 장기 기억 네트워크와 같은 개별 모델들은 특정 과업에는 뛰어날 수 있지만, 시장이 너무 변동성이 크거나 예측 불가능해지면 어려움을 겪는 경우가 많았습니다. 동적으로 가중치를 조정함으로써, 새로운 앙상블 시스템은 특정 순간에 가장 잘 작동하는 모델에 의존할 수 있었고, 결과적으로 오차를 완화하고 더 정확한 예측을 제공할 수 있었습니다.

연구진은 자신들의 접근 방식이 금융 예측을 위한 강력한 도구를 제공한다고 결론지었습니다. 서로 다른 모델의 가중치를 관리하기 위해 메타휴리스틱 최적화를 사용함으로써, 단일 알고리즘이나 단순 평균에 의존하는 것보다 더 적응력이 뛰어나고 정확한 시스템을 구축했습니다. 이 연구 결과는 노이즈가 많고 변화하는 데이터의 세계에서 미래를 예측하는 최선의 방법은 단 하나의 완벽한 모델을 찾는 것이 아니라, 지능적인 시스템의 안내를 받아 함께 작동할 수 있는 유연한 모델 팀을 구축하는 것임을 시사합니다. 이 작업은 우리가 인공지능을 사용하여 주식 시장의 복잡성을 헤쳐 나가는 방식에 있어 구체적인 진전을 제공하며, 금융 데이터의 현실적인 예측 불가능성을 다룰 수 있을 만큼 확장 가능하고 견고한 방법을 제시합니다.