🌀 nonlinear sciences

Temporal horizons in forecasting: a performance-learnability trade-off

이 논문은 자기회귀 예측에서 근본적인 트레이드오프를 확립하며, 장기 예측 학습이 단기 예측에 대한 우수한 일반화 성능을 가진 모델을 생성하는 동시에, 최적화를 본질적으로 더 어렵게 만드는 더 거친 손실 지형을 형성한다는 것을 증명한다.

원저자: Pau Vilimelis Aceituno, Jack William Miller, Noah Marti, Youssef Farag, Victor Boussange

게시일 2026-09-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pau Vilimelis Aceituno, Jack William Miller, Noah Marti, Youssef Farag, Victor Boussange

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

미래를 예측하는 것은 기상 예보, 질병의 확산 모델링, 혹은 장애물이 가득한 방에서 로봇을 안내하는 일에 이르기까지 인류의 가장 오래되고 지속적인 도전 과제 중 하나입니다. 현대 시대에 과학자와 엔지니어들은 이 작업을 수행하기 위해 자기회귀(autoregressive) 모델이라고 불리는 특정 유형의 컴퓨터 프로그램에 크게 의존합니다. 이 프로그램들은 단순하고 반복적인 논리에 따라 작동합니다. 즉, 시스템의 현재 상태를 살펴보고 바로 다음 순간에 대한 예측을 수행한 뒤, 그 예측값을 마치 실제 관측값인 것처럼 다시 기계에 입력하여 그다음 순간을 예측하는 방식입니다. 이 과정을 반복함으로써 모델은 며칠, 몇 주, 혹은 몇 년 뒤에 어떤 일이 일어날지에 대한 그림을 그려내고자 합니다. 그러나 이러한 시스템의 학습 과정에는 오랫동안 근본적인 질문이 남아 있었습니다. 컴퓨터가 학습하는 동안 얼마나 먼 미래를 내다보도록 요구해야 하는가 하는 점입니다. 단 1초 앞만을 예측하도록 가르쳐야 할까요, 아니면 향후 1시간을 계획하도록 강제해야 할까요? 오랫동안 이에 대한 답은 상당 부분 추측이나 전통에 의존해 왔으며, 연구자들은 해당 선택이 기계의 학습 능력에 어떤 영향을 미치는지 명확한 이해 없이 시간 범위를 선택하곤 했습니다.

스위스, 호주, 미국의 연구 기관들로 구성된 연구팀은 이제 이 질문에 대해 엄격한 해답을 제시하며, 이러한 모델이 학습하는 방식을 지배하는 놀라운 절충 관계(trade-off)를 밝혀냈습니다. 그들은 훈련 시간 지평(training time horizon)의 선택이 단순히 사소한 설정이 아니라, 컴퓨터가 학습하는 동안 탐색하는 수학적 지형의 형태를 근본적으로 변화시킨다는 사실을 발견했습니다. 모델이 오직 직후의 미래만을 예측하도록 훈련될 때, 그 수학적 지형은 비교적 매끄럽고 통과하기 쉬워 모델이 빠르게 좋은 해결책을 찾을 수 있게 합니다. 그러나 이러한 용이함에는 대가가 따릅니다. 이 매끄럽고 단기적인 지형에서 발견된 해결책들은 더 먼 미래를 내다보라고 요구받을 때 종종 실패하며, 시간이 흐름에 따라 예측이 궤도를 크게 벗어나게 됩니다. 반대로, 모델이 먼 미래를 예측하도록 훈련되면 시스템의 실제 거동에 대해 훨씬 더 정확한 이해를 학습하게 되며, 이는 단기 및 장기 예측 모두에서 잘 일반화됩니다. 문제는 이 장기 훈련 지형이 믿기 힘들 정도로 거칠고 울퉁불퉁하며, 수많은 작은 봉우리와 골짜기로 가득 차 있어 컴퓨터가 길을 잃거나 정체되지 않고 최적의 해결책을 찾는 것을 매우 어렵게 만든다는 점입니다.

이 현상을 이해하기 위해 연구진은 허리케인의 소용돌이 패턴이나 이중 진자의 흔들림과 같이 시간이 지남에 따라 사물이 어떻게 변하는지를 설명하는 동역학계(dynamical systems)의 수학을 활용했습니다. 그들은 훈련 시간 지평이 증가함에 따라, 카오스적인 시스템에서는 학습 지형의 '거칠기(roughness)'가 기하급수적으로 증가하고, 순환하는 시스템에서는 선형적으로 증가한다는 것을 수학적으로 증명했습니다. 이러한 거칠기는 경사면을 따라 낮은 지점(최적의 예측)을 찾아가는 컴퓨터의 학습 과정이 점점 더 걸려 넘어지기 쉽다는 것을 의미합니다. 시간 지평이 길어질수록 지형이 더 가파르고 복잡해지며, 이로 인해 표준적인 학습 방법이 성공하기는 더욱 어려워집니다. 그럼에도 불구하고 연구진은 이러한 어려운 장기 지평의 지형에서 발견된 소수의 해결책이 훨씬 더 우수하다는 것을 입증했습니다. 장기 훈련 세션에서 좋은 최솟값을 찾아내는 데 성공한 모델은 자연스럽게 단기 과제에서도 잘 수행하게 되지만, 단기 지평만으로 훈련된 모델은 먼 미래를 신뢰성 있게 예측할 수 없습니다.

연구팀은 대기의 대류를 모사하는 유명한 로렌츠 끌개(Lorenz attractor)부터 생태적 상호작 작용을 나타내는 복잡한 먹이 그물 모델에 이르기까지 다양한 시스템을 이용한 일련의 컴퓨터 실험을 통해 이러한 이론적 통찰을 검증했습니다. 또한 해수면 온도와 주식 시장 가격을 포함한 실제 데이터에 대해서도 테스트를 진행했습니다. 모든 경우에서 결과는 동일한 패턴을 보였습니다. 모델의 성능은 훈련 시간 지평에 따라 U자형 곡선을 형성했습니다. 매우 짧은 지평에서 훈련된 모델은 장기 과제에서 저조한 성능을 보였고, 지나치게 긴 지평에서 훈련된 모델은 지형이 너무 거칠어 학습 자체가 불가능한 경우가 많았습니다. 최적의 지점, 즉 최적의 훈련 지평은 그 중간 어디쯤에서 발견되었습니다. 결정적으로, 이 최적의 지점은 연구자들이 나중에 모델을 테스트하고자 하는 특정 시간 지평과 일치하는 경우가 거의 없었습니다. 대신, 최적의 훈련 지평은 사용자가 원하는 구체적인 예측 길이보다는, 모델링되는 시스템의 본질적인 특성, 즉 얼마나 카오스적이거나 안정적인지와 같은 특성에 따라 결정되었습니다.

이러한 발견은 예측 기계를 훈련하는 방식에 대한 새롭고 원칙적인 접근법을 제공합니다. 이 연구는 모델이 오직 다음 단계만을 예측하도록 하거나, 단순히 훈련 지평을 테스트 지평에 맞추는 일반적인 관행이 결코 가장 효과적인 전략이 아님을 시사합니다. 대신, 이상적인 접근 방식은 시스템 고유의 역학 관계와 가용한 계산 자원 사이의 균형을 맞추는 훈련 지평을 선택하는 것입니다. 장기 지평에서 훈련하는 것이 더 견고하고 우수한 모델을 만들어내지만, 이는 학습 지형의 거칠기를 극복하기 위해 훨씬 더 많은 컴퓨팅 자원과 세심한 튜닝을 필요로 합니다. 연구진은 미래의 시스템이 학습 과정 중에 이 훈련 지평을 동적으로 조정할 수 있다고 제안합니다. 즉, 처음에는 짧고 쉬운 지평으로 시작하여 모델이 안정될수록 점차 시야를 넓혀가는 방식입니다. 이 연구는 시행착오에 의존해 온 분야에 명확한 이론적 토대를 제공하며, 더 나은 예측의 핵심이 학습 과정 자체의 숨겨진 기하학적 구조를 이해하는 데 있음을 보여줍니다.

기술 요약: 예측에서의 시간적 지평: 성능-학습 가능성 간의 트레이드오프

문제 정의

자기회귀(autoregressive, AR) 모델을 동역학계(dynamical systems) 예측에 훈련시킬 때, 훈련 시 사용할 최적의 시간적 예측 지평( $T$ )을 결정하는 것은 매우 중요하지만 이론적으로는 아직 충분히 탐구되지 않은 과제이다. 실무자들은 엄밀한 근거 없이 단일 단계 예측(single-step prediction)을 사용하거나 임의로 긴 지평을 설정하곤 하지만, 이를 안내할 기존의 이론적 프레임워크는 존재하지 않는다. 이러한 공백은 데이터 기반 신경망 모델뿐만 아니라, 멀티 슈팅(multiple shooting)이나 분절 회귀(piecewise regression)와 유사한 지평 선택 전략을 사용하는 메커니즘 모델링(예: 미분 방정식) 방식에도 영향을 미친다. 본 연구가 다루는 핵심 질문은 훈련 지평이 모델의 성능과 손실 함수 지형(loss landscape)의 기하학적 구조에 어떻게 영향을 미치는가 하는 점이다.

방법론

저자들은 동역학계 이론과 머신러닝 분석을 결합하여 훈련 지평과 손실 함수 지형 사이의 연결 고리를 도출한다.

이론적 프레임워크:
- 가정: 이론은 매끄럽고(smooth), 결정론적이며(deterministic), 에르고딕(ergodic)한 동역학계를 가정하며, 상태가 완전히 관측 가능하고 정상 분포(stationary distribution)를 충분히 커버하는 데이터를 전제로 한다.
- $\epsilon$ -유계 영역( $\epsilon$ -bounded Regions): 저자들은 모델 $f(\cdot, \theta)$ 가 실제 역학 $\phi$ 를 유계된 오차 $\epsilon$ 내에서 근사하는 파라미터 공간의 영역을 정의한다. 이를 통해 모델의 자코비안(Jacobian)이 시스템의 실제 자코비안과 밀접하게 정렬될 수 있도록 한다.
- 기울기 및 헤시안 분석: 저자들은 훈련 지평 $T$ 에 따른 손실 기울기 $\nabla_\theta L$ 과 헤시안 $H$ 의 스케일링을 분석한다. 카오스 시스템의 리아푸노프 지수( $\lambda$ )와 리밋 사이클(limit cycles)의 주파수( $\omega$ )를 활용하여 시스템의 역학을 특성화한다.
- 거칠기 지표(Roughness Metric): 두 파라미터 지점 사이를 잇는 선분 상의 국소 최솟값 및 최댓값의 개수를 통해 손실 지형의 "거칠기"를 정의한다.
경험적 검증:
- 합성 시스템: 로렌츠 어트랙터(Lorenz attractor), 이중 진자(double pendulum), 단순 리밋 사이클(simple limit cycle), 그리고 카오스적 먹이 그물 모델(chaotic food web model) 등 네 가지 동역학계에 대해 실험을 수행하였다.
- 실제 데이터셋: 이론은 세 가지 실측 데이터셋인 ClimSIM 기후 시뮬레이션, NOAA 해수면 온도(SST) 데이터, 그리고 아마존(AMZN) 주가를 대상으로 테스트되었다.
- 아키텍처: 본 연구는 주로 다층 퍼셉트론(MLP)과 잔차 MLP(residual MLP)를 사용하였으나, 임베딩 논거를 통해 RNN 및 트랜스포머(Transformer)로도 이론적 함의가 확장된다.

주요 기여 및 이론적 결과

1. 기울기 및 헤시안 스케일링 (정리 4.3 & 4.4)

본 논문은 손실 기울기의 크기와 헤시안(특히 고윳값의 합)이 훈련 지평 $T$ 에 따라 어떻게 스케일링되는지 증명한다:

카오스적/불안정 시스템: 기울기와 헤시안은 리아푸노프 지수 $\lambda$ 에 따라 지수적으로, 즉 $O(e^{\lambda T})$ 로 스케일링된다.
리밋 사이클: 스케일링은 선형적이며, $O(\omega T)$ 를 따른다.
이는 지평이 길어질수록 손실 지형이 점점 더 가팔라지고 "거칠어진다"는 것을 의미한다.

2. 지평 간 일반화 (정리 4.6)

저자들은 긴 훈련 지평( $T_h$ )에서 발견된 최솟값이 짧은 지평( $T_l$ )보다 더 잘 일반화됨을 입증한다. 구체적으로, 최솟값 간의 성능 차이 비율은 카오스 시스템의 경우 $O(e^{\lambda(T_h - T_l)})$ 로 스케일링된다.

함의: 긴 지평으로 훈련된 모델은 시스템의 전역적 역학을 더 효과적으로 포착하여 단기 예측에 강건해진다. 반대로, 짧은 지평으로만 훈련된 모델은 장기 의존성을 포착하지 못해 장기 예측에서 발산할 위험이 있다.

3. 손실 지형의 거칠기 (정리 4.7)

중요한 트레이드오프가 확인되었다: 긴 지평은 더 나은 일반화를 제공하지만, 동시에 손실 지형을 탐색하기 훨씬 어렵게 만든다.

파라미터 선분 상의 국소 최솟값 및 최댓값의 개수는 카오스 시스템에서 $O(e^{\lambda T})$ 로 증가한다.
$T \to \infty$ 로 갈수록 손실 지형은 프랙탈 구조에 가까워지며, 이는 경사 하강법(gradient descent) 방법들을 무력하게 만든다.
함의: 여기에는 "학습 가능성(learnability)"의 한계가 존재한다. 즉, 지나치게 긴 지평으로 훈련하는 것은 이론적인 최솟값이 더 우수할지라도, 지형의 거칠기로 인해 계산적으로 실행 불가능해질 수 있다.

4. 메커니즘 모델

본 논문은 메커니즘 모델(예: 미지의 파라미터를 가진 ODE)로 이러한 통찰을 확장한다. 완벽한 결정론적 모델의 경우, $T$ 에 관계없이 참된 파라미터에서 손실은 0이다. 그러나 노이즈나 모델 불일치가 존재하는 경우, 신경망에서 관찰된 것과 동일한 성능-학습 가능성 트레이드오프가 적용되며, 이는 최적의 중간 지평이 존재함을 시사한다.

실험 결과

U자형 성능 곡선: 모든 합성 및 실제 데이터셋에서 평균 제곱 오차(MSE)는 훈련 지평에 대해 U자형 곡선을 나타냈다.
- $T$ 가 1단계에서 증가함에 따라 성능이 향상된다 (정리 4.6 검증).
- 특정 지점을 지나면 손실 지형이 너무 거칠어져 효과적인 최적화가 어려워지면서 성능이 저하된다 (정리 4.7 검증).
최적 훈련 지평 vs 평가 지평: 최적의 훈련 지평은 단일 단계 예측 지평과 일치하는 경우가 드물며, 반드시 원하는 평가 지평과 일치해야 하는 것도 아니다. 대신, 이는 시스템의 고유한 역학(예: 리아푸노프 지수)과 불가분하게 연결되어 있다.
노이즈 민감도: 노이즈가 있는 데이터셋(NOAA SST, AMZN 주가)의 경우, 최적의 지평은 노이즈 수준에 의해 제한된다. 높은 노이즈는 예측이 무작위가 되는 유효 지평을 제한하며, 이는 명제 A.14와 일치한다.
반복 스케줄링(Iterative Scheduling): 저자들은 $T$ 를 서서히 증가시키면서 학습률을 조정하는 반복 알고리즘을 제안하고 테스트하였다. 이 방식은 특히 리밋 사이클의 경우, 지형의 거칠기와 기울기 크기 사이의 트레이드오프를 조절함으로써 고정 지평 훈련보다 우수한 성능을 보이는 유망한 결과를 보여주었다.

의의 및 주장

본 논문은 자기회귀 예측을 위한 하이퍼파라미터 최적화의 원칙적인 토대를 제공한다고 주장한다. 주요 의의는 다음과 같다:

트레이드오프 해결: 학습 가능성(최적화의 용이성, 짧은 지평이 유리)과 일반화(장기 역학의 정확도, 긴 지평이 유리) 사이의 긴장을 공식적으로 명시한다.
실무 가이드 제공: 정당한 근거 없이 단일 단계 예측이나 임의로 긴 지평을 사용하는 일반적인 관행에 반론을 제기한다. 대신, 최적의 훈련 지평은 시스템의 역학 및 계산 자원의 함수임을 시사한다.
이론적 통합: 동역학계 이론(리아푸노프 지수, 어트랙터)과 머신러닝 최적화(손실 지형 기하학, 기울기 스케일링) 사이의 간극을 메우며, 예측 지평의 맥락에서 발생하는 기울기 소실/폭발 문제에 대한 수학적 설명을 제공한다.

저자들은 결정론적, 완전 관측 가능성 등의 가정이 이상화된 것임을 인정하며 겸허한 태도를 유지한다. 이들은 매우 확률적이거나 비정상적인(non-stationary) 실제 시나리오에서는 최적의 지평이 노이즈에 의해 더욱 제한될 수 있으며, 본 이론적 경계값들이 정확한 처방이라기보다는 근사치로서 기능함을 밝히고 있다.