💻 computer science

A new recurrent neural network for forecasting seasonal time series

이 논문은 지수 평활법에서 영감을 받은 새로운 순환 신경망을 소개하며, 이는 기존의 심층 및 얕은 인공 신경망과 비교하여 계절성 시계열에 대해 우수한 예측 성능을 달lem하기 위해 입자 군집 최적화 기반 학습 알고리즘과 새로운 목적 함수를 활용한다.

원저자: Eren Bas, Crina Grosan, Erol Egrioglu

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eren Bas, Crina Grosan, Erol Egrioglu

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

시계열 예측은 다음에 어떤 일이 일어날지 추측하기 위해 시간에 따라 변화하는 숫자들의 시퀀스를 살펴보는 과학입니다. 내일의 기온을 예측하는 일기 예보나, 상점 매니저가 다음 달에 우산을 얼마나 비축해야 할지 추정하는 것을 생각해 보십시오. 이러한 예측은 종종 계절성으로 인해 복잡해집니다. 날씨가 여름에는 따뜻해지고 겨울에는 추워지는 것처럼, 많은 데이터 스트림은 매년, 매 분기 또는 매월 반복되는 패턴을 가집로. 수십 년 동안 통계학자들은 이러한 반복되는 주기를 처리하기 위해 특화된 수학적 도구들을 사용해 왔으며, 컴퓨터 과학자들은 데이터에서 복잡한 패턴을 찾아내기 위해 인간의 뇌가 사례로부터 학습하는 방식을 모방하도록 설계된 시스템인 인공 신경망을 구축해 왔습니다. 과제는 항상 인간이 데이터를 기초적인 형태로 먼저 분해하지 않고도 이 컴퓨터 시스템들이 계절의 리듬을 이해하도록 만드는 것이었습니다.

터키의 기레순 대학교와 영국의 킹스 칼리지 런던의 연구진은 이 문제를 해결하기 위해 특별히 설계된 새로운 유형의 컴퓨터 시스템을 개발했습니다. 그들은 새로운 순환 신경망(recurrent neural network)을 만들었는데, 이는 미래의 추측을 위해 과거의 사건을 기억할 수 있는 일종의 인공지능이지만 독특한 반전이 있습니다. 연구진은 컴퓨터가 처음부터 계절성을 학습하도록 강요하거나 인간이 먼저 데이터를 정제하도록 요구하는 대신, 계절적 반복의 개념을 기계의 구조 안에 직접 구축했습니다. 그들의 시스템은 마치 인간 기상학자가 그러하듯, 작년 이맘때에 어떤 일이 일 있었는지를 살펴보고 그 기억을 사용하여 예측을 수행하도록 설계되었습니다.

연구진은 이 새로운 시스템이 기존의 방법들을 능가할 수 있는지 확인하기 위해 여섯 가지 매우 다른 실제 데이터 세트를 대상으로 테스트했습니다. 이 데이터 세트에는 10년 동안 기록된 월별 국제 항공 승객 수, 호주의 분기별 맥주 소비량, 앙카라의 월별 대기 오염 수준, 터키의 국가 전력 사용량, 그리고 기레순 시의 국지적 기압 및 기온 수치가 포함되었습니다. 모든 경우에서, 새로운 네트워크는 롱 쇼트 터미네이팅 메모리(Long Short-Term Memory) 네트워크와 같은 복잡한 딥러learning 모델과 단순한 순환 네트워크를 포함한 기존의 인기 있는 예측 도구들보다 더 정확하다는 것을 입증했습니다. 이 새로운 시스템은 다음 단계의 데이터를 예측할 때 일관되게 가장 작은 오차를 생성했습니다.

이 새로운 네트워크를 다르게 만드는 것은 그것이 어떻게 구축되었는가 하는 점입니다. 전통적인 컴퓨터 모델은 종-종 어제의 데이터든 10년 전의 데이터든 과거의 모든 데이터를 똑같이 중요하게 취급합니다. 그러나 예측에 있어서는 최근에 일어난 일이 당장의 미래를 예측하는 데 더 중요한 경우가 많습니다. 연구진은 컴퓨터가 자신의 실수를 측정하는 새로운 방법을 제공함으로써 이 문제를 해결했습니다. 그들은 시스템이 오래된 오류보다는 최근에 저지른 오류에 훨씬 더 집중하도록 프로그래밍했습니다. '가중치 오류 측정(weighted error measurement)'이라고 부르는 이 접근 방식은 컴퓨터가 현재의 추세에 더 민가하게 반응하도록 내부 설정을 조정하도록 유도합니다. 또한, 이 시스템은 새 떼가 먹이를 찾는 방식에서 영감을 얻은 학습 방법을 사용하여, 최선의 해결책을 찾기 위해 여러 가능성을 동시에 탐색하며 지역적인 함정에 빠지지 않도록 합니다.

이 연구는 또한 컴퓨터가 과거 데이터를 과도하게 학습하는 문제, 즉 모델이 역사를 너무 잘 암기하여 미래를 예측하는 데 실패하는 문제를 방지하기 위한 특정 전략을 도입했습니다. 적절한 순간에 학습 과정을 멈추고 검색이 막혔을 때 가끔씩 재설정하는 기술을 사용함으로써, 연구진은 시스템이 유연성을 유지할 수 있도록 보장했습니다. 연구진이 결과가 단지 운이 아니라는 것을 확인하기 위해 이 새로운 네트워크를 30번 별도로 실행했을 때, 새로운 시스템은 일관되게 가장 안정적이고 정확한 예측을 전달했습니다. 성능의 차이는 매우 명확하여 통계적 검증을 통해 이 새로운 방법이 단순히 운이 좋은 것이 아니라 진정으로 우수하다는 것이 확인되었습니다.

이 작업은 기계가 계절적 데이터를 처리하는 방식에 있어 중요한 진전을 의미합니다. 신경 네트워크의 구조 안에 계절적 평활화(seasonal smoothing)의 논리를 직접 내장함으로써, 연구진은 데이터를 사전에 처리하거나 단순화할 필요가 없는 도구를 만들어냈습니다. 이 시스템은 스스로 계절의 리듬을 학습하며, 현대 인공지능의 유연성과 전통적인 예측의 입증된 논리를 결합합니다. 결과는 에너지 수요에서 기상 조건에 이르기까지 계절적 패턴을 따르는 무엇인가를 예측하려는 모든 이에게 이 새로운 접근 방식이 더 신뢰할 수 있고 정확한 미래 예측 방법을 제공한다는 것을 시사합니다.

기술 요약: 계절성 시계열 예측을 위한 새로운 순환 신경망

문제 제기
계절성 시계열 예측은 주기적 구조를 처리할 수 있는 특화된 모델을 필요로 합니다. SARIMA나 지수 평활법(ETS)과 같은 통계적 방법이 전통적인 표준이며, 인공 신경망(ANN)이 비선형 모델링 능력을 제공하긴 하지만, 기존의 ANN 접근 방식은 종종 외부 분해 기법에 의존하거나 계절성을 포착하기 위해 단순히 시차 변수(lagged variables)를 입력값으로 포함하는 데 그칩니다. 저자들은 표준 ANN이 지수 평활법의 논리, 즉 모델 예측에 대한 피드백이 성능을 향상시킬 수 있다는 개념을 본질적으로 활용하지 못한다는 점을 지적합니다. 또한, ANN의 전통적인 경사 하강법 기반 학습은 지역 최적점(local optima)에 빠지기 쉬우며, 표준 오차 지표(MSE 등)는 모든 과거 오차를 동일하게 취급하여 예측에서 최근 관측치의 결정적인 중요성을 간과할 가능성이 있습니다.

방법론
본 논문은 사전 데이터 분해 없이 계절적 역동성을 모델링하도록 특별히 설계된 새로운 순환 인공 신경망(RNN)을 제안합니다. 아키텍처와 학습 과정은 다음과 같이 정의됩니다:

네트워크 아키텍처: 제안된 네트워크는 결합 파라미터( $\beta$ )에 의해 합성된 두 가지 뚜렷한 운영 경로로 구성됩니다:
1. 합성곱 뉴런 토폴로지(Convolutional Neuron Topology): 이 구성 요소는 가중치와 편향을 사용하여 $p$ 개의 시차 관측치( $x_{t-j}$ )를 처리하며, 비선형성을 도입하기 위해 로지스틱 활성화 함수와 통합됩니다.
2. 계절적 순환 평활(Seasonal Recurrent Smoothing): 이 구성 요소는 지수 평활법의 논리를 모방합니다. 이는 현재 및 계절적 시차 입력( $x_{t-1}$ 및 $x_{t-s}$ )을 받아 과거 네트워크 출력( $\hat{x}_{t-1}$ 및 $\hat{x}_{t-s}$ )으로부터의 피드백을 통합합니다. 이 경로는 수준(level)과 계절 성분을 모델링하기 위해 평활 계수( $\alpha_1, \alpha_2$ )와 가중 인자( $\alpha_3$ )를 사용합니다.
  최종 출력은 이 두 경로의 가중 합계입니다.
학습 알고리즘 (PSO): 지역 최적점 함몰 문제를 피하기 위해, 네트워크 파라미터(가중치, 편향, 평활 계수 및 결합 인자)는 입자 군집 최적화(Particle Swarm Optimization, PSO)를 사용하여 최적화됩니다.
- 목적 함수: 새로운 목적 함수인 **가중 평균 제곱 오차(Weighted Mean Squared Error, WMSE)**가 도입되었습니다. 표준 MSE와 달리, WMSE는 최근 관측치에 지수적으로 높은 가중치를 부여하여 가장 최근의 데이터 포인트에 대한 정확도를 우선시합니다.
- 훈련 전략: 과적합을 방지하기 위해 조기 종료(early stopping) 메커니즘을 채택하고, 최적화가 정체될 경우 군집을 재초기화하여 전역 최적점 탐색을 보장하는 **동적 재시작 전략(dynamic restarting strategy)**을 사용합니다.
실험 설정: 모델은 여섯 가지 다양한 계절성 시계열 데이터셋에 대해 평가되었습니다:
1. 로그 변환된 국제 항공 여객 수 (월별, $s=12$ ).
2. 호주 맥주 소비량 (분기별, $s=4$ ).
3. 앙카라 대기 오염도 ( $SO_2$ ) (월별, $s=12$ ).
4. 터키 전력 소비량 (월별, $s=12$ ).
5. 기레순시 대기압 (월별, $s=12$ ).
6. 기레순시 기온 (월별, $s=12$ ).
모델의 성능은 LSTM, Pi-Sigma 인공 신경망(PS-ANN), 그리고 단순 순환 신경망(SRNN)과 벤치마킹되었습니다. 각 모델은 검증 세트를 통해 하이퍼파라미터 튜닝을 거쳤으며, 최종 성능은 통계적 신뢰성을 확보하기 위해 30회의 독립적인 실행에 걸쳐 테스트 세트에서 평가되었습니다.

주요 결과
여섯 가지 데이터셋 모두에서 제안된 네트워크는 벤치마크 모델들에 비해 우수한 예측 성능을 보여주었습니다:

정확도: 제안된 방법은 테스트 세트에서 일관되게 가장 낮은 평균 제곱근 오차(RMSE)를 달s달성했습니다. 예를 들어, 항공 여객 데이터셋에서 제안된 모델은 평균 RMSE 0.089를 기록하여, LSTM(0.271) 및 SRNN(0.317)보다 뛰어난 성능을 보였습니다.
안정성: 제안된 네트워크는 30회 실행에 걸쳐 오차 지표의 표준 편차가 현저히 낮았으며, 이는 SRNN 및 PS-ANN의 변동성 있는 성능과 비교했을 때 무작위 초기화에 대한 견고함이 더 높음을 나타냅니다.
통계적 유의성: 오차 분포를 비교하기 위해 비모수 검정인 윌콕슨 부호 순위 검정(Wilcoxon signed-rank test)이 수행되었습니다. 결과는 모든 비교에서 $10^{-3}$ 임계값보다 훨씬 낮은 $p$ -값을 산출하였으며, 이는 제안된 네트워크가 벤치마크보다 우수한 성능을 보이는 것이 우연이 아니라 통계적으로 유의미함을 확인해 줍니다.

의의 및 주장
저자들은 본 연구가 고전적인 지수 평활 철학과 현대 딥러닝 사이의 간극을 메운다고 주장합니다. 계절적 평활 논리와 동적 피드백 루프를 신경망 아키텍처에 직접 통합함으로써, 이 모델은 사전 분해 과정 없이도 복잡한 비선형 역동성과 계절적 의존성을 포착합니다.

본 연구의 의의는 다음과 같습니다:

아키텍처 혁신: 지수 평활법과 유사한 피드백 메커니즘을 통해 계절적 주기를 본질적으로 존중하는 순환 구조를 생성했습니다.
최적화 발전: 커스텀 WMSE 목적 함수와 재시작 전략을 갖춘 PSO의 사용은 지역 최적점 문제와 최근 데이터 추세를 우선시해야 하는 요구사항을 효과적으로 해결합니다.
실증적 검증: 경제, 환경, 유틸리티 데이터셋 전반에 걸친 일관된 우수성은 이 모델이 복잡한 계절성 예측 문제를 위한 강력하고 수학적으로 타당한 대안임을 시사합니다.

본 논문은 제안된 네트워크가 계절성 시계열에 대해 매우 안정적이고 정확한 솔루션을 제공한다고 결론지으며, 향후 연구에서는 다중 및 중첩된 계절 주기로의 확장을 탐구할 수 있음을 언급합니다.

기술 요약: 계절성 시계열 예측을 위한 새로운 순환 신경망

유사한 논문