기술 요약: 기대치 vs. 현실: 조건부 불확실성 하에서의 MSE 최적 예측의 비용

1. 문제 정의

다단계 시계열 예측(Multi-step time series forecasting, MSF)은 전통적으로 점 단위 오차 지표, 특히 평균 제곱 오차(Mean Squared Error, MSE)를 사용하여 평가됩니다. 이러한 평가 패러다임은 조건부 기댓값 $E[Y_h | X]$를 충분하고 바람직한 예측 목표로 암묵적으로 간주합니다. 그러나 저자들은 예측 호라이즌(horizon)이 길어짐에 따라 이 가정이 취약해진다고 주장합니다. 많은 실제 시스템에서 불확실성은 시간이 지남에 따라 누적되며, 이로 인해 미래 결과의 조건부 분포는 점점 더 분산되는 경향을 보입니다.

높은 조건부 불으로확성(conditional uncertainty) 조건 하에서, 조건부 기댓값(MSE 최적 타겟)은 실제 실현된 결과와 크게 달라질 수 있습니다. 결과적으로, 엄격하게 MSE에 최적화된 모델은 "과소 분산(under-dispersed)"된 예측치를 생성할 수 있습니다. 즉, 점 단위로는 정확할지 모르나, 실제 미래 분포의 주변 변동성(marginal variability)을 포착하는 데는 실패합니다. 본 논문은 이것이 단순히 모델 용량이나 최적화의 실패가 아니라, 조건부 불확실성이 0이 아닐 때 결정론적 예측(deterministic forecasting)과 제곱 손실(squared loss) 사이에서 발생하는 구조적 한계임을 상정합니다.

2. 방법론 및 이론적 프레임워크

2.1 이론적 정식화

저자들은 **전체 분산의 법칙(Law of Total Variance)**을 사용하여 문제를 정식화합니다:
$$\text{Var}(Y_h) = \text{Var}(E[Y_h | X]) + E[\text{Var}(Y_h | X)]$$
그들은 **조건부 불확실성 갭(Conditional Uncertainty Gap, $\text{Gap}_h$)**을 과거 데이터로부터 기인하는 불가해한 불확실성의 비율로 정의합니다:
$$\text{Gap}_h = \frac{E[\text{Var}(Y_h | X)]}{\text{Var}(E[Y_h | X]) + E[\text{Var}(Y_h | X)]}$$
$\text{Gap}_h > 0$일 때, 조건부 평균은 실현된 미래의 전체 분산을 100% 설명하지 못합니다.

2.2 정확도-현실성 트레이드오프 (정리 1)

핵-이론적 기여는 **정리 1(Theorem 1)**이며, 이는 임의의 결정론적 예측기 $f_h$에 대해 다음을 증명합니다:

1. 만약 $\text{Gap}_h > 0$라면, 어떤 예측기도 MSE를 최소화하는 동시에 실현된 미래의 주변 분포($L(Y_h)$)와 일치할 수 없습니다.
2. 유일한 MSE 최소화 함수는 조건부 기댓값 $f^*_h(X) = E[Y_h | X]$입니다.
3. $\text{Gap}_h > 0$일 때 $\text{Var}(f^*_h(X)) < \text{Var}(Y_h)$이므로, MSE 최적 예측기의 주변 분포는 실제 주변 분포와 엄격히 다릅니다.
4. 이는 점 단위 정확도(MSE)와 주변 현실성(측정 지표: Wasserstein 거리 $W_1$) 사이에 피할 수 없는 **파레토 프런티어(Pareto frontier)**를 형성합니다.

2.3 경험적 특성화

트레이드오프를 정량화하기 위해 저자들은 다음을 사용합니다:

• 제어된 합성 시스템: 노이즈 수준($\sigma_s$)과 호라이즌($h$)을 조절하여 조건부 불확실성 갭을 제어할 수 있는 확률적 Mackey–Glass 시스템.
• 실제 벤치마크: 에너지, 교통, 날씨, 대기 질, 금융을 아우르는 9개의 데이터셋 (예: METR-LA, Electricity, ExchangeRate).
• 평가된 전략:
  • 직접 방식 (MIMO): 전체 호라이즌을 한 번에 예측.
  • 재귀 방식 (REC): 한 단계씩 반복적으로 예측.
  • 추론 규칙: 확률적 모델의 경우, 평균 기반 추론(예측 평균)과 샘플 기반 추론(단일 샘플 롤아웃)을 비교.
• 지표: 정확도를 위한 MSE와 주변 현실성을 위한 $W_1$(Wasserstein-1 거리). 또한 강건성 확인을 위해 궤적 수준의 지표(DTW, Vector $W_1$ 등)를 보고합니다.

3. 주요 결과

3.1 트레이드오프의 기하학적 구조

• 낮은 불확실성 영역: 조건부 불확실성 갭이 작을 때, 파레토 프런티어는 퇴화(degenerate)됩니다. 즉, 방법론들이 MSE를 최소화하면서 동시에 높은 현실성을 갖는 단일 작동 지점에 밀집됩니다.
• 높은 불확실성 영역: 갭이 커질수록(더 긴 호라이즌 또는 더 높은 노이즈), 도달 가능한 성능 집합은 뚜렷한 파레토 프런트로 확장됩니다. 이는 MSE 최적 예측기(과소 분산됨)와 주변 변동성을 맞추기 위해 점 단위 정확도를 희생하는 방법론을 구분 짓습니다.
• 상관관계: 추정된 조건부 불확실성 갭이 증가함에 따라 파레토 프런트의 길이는 단조 증가합니다.

3.2 엄격한 MSE 선택의 비용

• 기회비용: 저자들은 "성공적인 거래(successful trade)"를 MSE의 미세한 완화가 현실성 측면에서 더 큰 상대적 이득을 가져오는 시나리오로 정의합니다.
• 경험적 발견: 다양한 합성 및 실제 벤치마크 전반에 걸쳐, MSE 제약을 단 **5%**만 완화해도 주변 현실성에서 불균형적으로 큰 이득을 얻는 경우가 빈번했습니다.
  • 중앙값 개선: 모든 데이터셋에서 주변 현실성($W_1$)이 중앙값 기준 17.3% 개선되었습니다.
  • 성공률: 전체 평균적으로 84.1%의 사례에서, 작은 MSE 완화가 순수하게 긍정적인 현실성 이득을 가져왔습니다.
  • 데이터셋별 특이사항: 일부 데이터셋(예: Weather, ExchangeRate)은 높은 성공률과 함께 22%를 초과하는 중앙값 현실성 개선을 보여주었습니다.

3.3 제어 도구로서의 전략 및 추론

본 연구는 서로 다른 예측 전략이 파레토 프런트의 서로 다른 영역을 체계적으로 점유함을 보여줍니다:

• MSE 최적 극단: 직접 방식 (MIMO) 전략과 평균 기반 추론이 지배합니다. 이들은 조건부 기댓값을 추정하는 데 부합하며, 매끄럽고 과소 분산된 예측치를 생성합니다.
• 현실성 최적 극단: 재귀 방식 (REC) 전략과 샘플 기반 추론이 지배합니다. 이들은 변동성을 시간의 흐름에 따라 전파하여, 점 단위 정확도를 희생하는 대신 실제 미래의 주변 분포를 더 잘 일치시킵니다.
• 확률적 모델: 확률적 모델조차 이 트레이드오프를 제거하는 것이 아니라, 단지 이를 탐색할 뿐입니다. 예측 평균을 선택하면 MSE 극단에 위치하게 되고, 샘플링을 수행하면 현실성 극단에 위치하게 됩니다.

4. 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 이론적 설명: 장기 예측에서의 과도한 평활화(over-smoothing)는 모델의 오설정(misspecification) 오류가 아니라, 조건부 불확실성 하에서의 결정론적 예측이 갖는 구조적 특성임을 증명합니다. 조건부 불확실성 갭이 0이 아니라면, 어떤 결정론적 예측기도 MSE를 최소화하는 동시에 주변 분포와 일치할 수 없습니다.
2. 경험적 정량화: 정확도-현실성 파레토 프런트를 특성화하여, 엄격한 MSE 기반 모델 선택이 주변 현실성에 상당하고 피할 수 없는 비용을 초래함을 보여줍니다. MSE 제약을 약간 완화하는 것만으로도 종종 큰 현실성 이득을 얻을 수 있습니다.
3. 실무적 프로토콜: 전략 선택(Direct vs. Recursive)과 추론 선택(Mean vs. Sample)을 단순한 단일 지표 최적화가 아닌, 다중 목적 공간을 탐색하는 메커즘으로 재정의합니다.

5. 의의 및 권고 사항

본 논문은 점 단위 정확도와 분포적 현실성 사이의 불합치성이 모델 클래스와 무관하게, 다단계 예측의 고유한 속성임을 주장합니다.

실무적 권고:
저자들은 모델 선택을 위한 **허용 오차 범위 선택 규칙(tolerance-band selection rule)**을 제안합니다:

1. 검증 데이터에서 MSE 최적 모델을 식별합니다.
2. MSE가 최적값의 작은, 애플리케이션 의존적 허용 오차 $\epsilon$ (예: 5%) 내에 있는 모든 후보를 유지합니다.
3. 이러한 "유사한 성능" 그룹 중에서, 주변 현실성(예: $W_1$ 지표 사용)을 최대화하는 모델을 선택하거나, 확률적 모델의 경우 교정(calibration) 및 선명도(sharpness) 진단을 사용합니다.

의의:
이 연구는 특히 장기 예측에서 MSE만으로 모델의 순위를 매기는 표준 관행에 도전합니다. 이는 단일 지표 평가가 구조적으로 오해의 소지가 있을 수 있으며, 실현된 미래를 더 잘 나타내는 예측치를 체계적으로 배제할 수 있음을 시사합니다. 장기 예측을 제약이 있는 다목적 선택 문제로 다룸으로써, 실무자들은 MSE 전용 최적화의 "비용"을 피하고 데이터 생성 과정에 내재된 불확실성을 더 잘 반영하는 모델을 선택할 수 있습니다.