Are We Winning the Wrong Game? Revisiting Evaluation Practices for Long-Term Time Series Forecasting

이 논문은 장기 시계열 예측 분야에서 MSE 나 MAE 와 같은 단일 점수 기반의 평가 관행이 실제 응용 목표와 구조적으로 불일치할 수 있음을 지적하고, 통계적 충실도, 구조적 일관성, 의사결정 관련성을 통합한 다차원 평가 프레임워크를 제안하여 벤치마크 순위 경쟁에서 의미 있는 예측 기술 발전으로의 전환을 촉구합니다.

핵심

🎮 1. 현재 상황: "점수 게임"에 미친 연구자들

지금 이 분야에서는 연구자들이 마치 게임 랭킹을 다투는 것처럼 행동합니다.

• 상황: 여러 연구팀이 같은 데이터 (예: 전력 사용량, 날씨 데이터) 를 가지고 예측 모델을 만듭니다.
• 평가 기준: 오직 "오차 점수 (MSE, MAE)" 하나만 봅니다. "예측값과 실제값의 차이가 얼마나 작은가?"를 숫자로 계산해서, 점수가 가장 낮은 (오차가 가장 작은) 팀이 승리합니다.
• 문제점: 연구자들은 진짜 예측을 잘하는 법을 배우기보다, 이 점수 게임의 규칙을 어떻게 속일지만 고민합니다. 마치 시험에서 "정답을 맞추는 것"보다 "시험지 채점 기준을 분석해서 점수만 따는 법"을 연구하는 것과 비슷합니다.

💡 비유:
imagine imagine 축구 경기를 생각해보세요.
지금 연구자들은 "골을 얼마나 많이 넣었나?" (점수) 만 보고 승자를 정합니다. 하지만 만약 한 팀이 골대 앞에 서서 공을 발로만 차서 점수만 따는 플레이를 한다면 어떨까요?
점수는 높겠지만, 실제 경기력 (팀워크, 전술, 경기 흐름) 은 엉망일 수 있습니다. 지금 연구자들은 점수만 따는 플레이에 집착하고 있습니다.

---

🌪️ 2. 왜 이것이 문제인가? "점수"가 "진짜 예측"을 가립니다

이 논문은 "점수가 낮다고 해서 무조건 좋은 예측은 아니다"라고 말합니다.

• 진짜 예측의 목적: 미래의 흐름 (트렌드), 계절성, 갑작스러운 변화를 이해하고, 이를 바탕으로 의사결정을 돕는 것입니다.
• 현재의 문제: 점수 게임에서는 "작은 오차"가 중요해서, 모델이 데이터의 **잡음 (노이즈)**까지 다 따라가려고 합니다. 하지만 실제 세상에서는 잡음까지 다 따라가는 것이 오히려 위험할 수 있습니다.

💡 비유:
날씨 예보를 생각해보세요.

• A 팀 (점수 지향): "내일 비가 1mm, 2mm, 3mm... 이렇게 미세하게 변할 거야"라고 아주 정밀하게 예측합니다. 하지만 실제 비는 5mm, 10mm 로 쏟아집니다. 점수는 낮지만, 사람들은 "내일 우산 챙겨야지"라고 생각하다가 빗속에서 헤맙니다.
• B 팀 (구조 지향): "내일은 비가 많이 오겠구나, 우산 필수야!"라고 큰 흐름을 잡습니다. 미세한 오차는 있을지라도, 사람들은 **올바른 행동 (우산 챙김)**을 할 수 있습니다.

지금 연구계는 A 팀을 "우승자"로 칭찬하고 있습니다. 하지만 실제로는 B 팀이 더 유용한 예측을 한 것입니다.

---

🧭 3. 제안하는 새로운 방향: "게임"에서 "진짜 이해"로

저자들은 이 "점수 게임"을 멈추고, 예측의 세 가지 핵심을 보라고 제안합니다.

① 통계적 정확도 (숫자만 맞추기)

• 여전히 중요하지만, 이것만으로는 부족합니다.

② 구조적 일관성 (흐름을 이해하기)

• 비유: 강물을 예측할 때, 물결 하나하나의 높이를 재는 것보다 물이 어디로 흐르는지, 폭포가 있는지, 물살이 세지는지를 파악하는 것이 더 중요합니다.
• 모델이 데이터의 **큰 흐름 (트렌드)**과 계절적 패턴을 잘 유지하는지 봐야 합니다.

③ 의사결정 관련성 (실제 쓰임새)

• 비유: 주식 투자를 할 때, "내일 주가가 1 원 오를지 2 원 오를지"를 맞추는 것보다, "주가가 오르는 추세인지, 내리막길인지"를 파악해서 매수/매도 결정을 내리는 것이 더 중요합니다.
• 예측 결과가 실제 업무 (에너지 관리, 교통 통제 등) 에서 어떤 도움을 주는지를 평가해야 합니다.

---

🏆 4. 결론: 우리는 무엇을 위해 연구하는가?

이 논문의 핵심 메시지는 다음과 같습니다.

"우리는 랭킹 1 위를 위해 점수를 조금 더 낮추는 '게임'을 하고 있는 게 아니라, 미래의 흐름을 이해하고 더 나은 결정을 내리기 위해 '지식'을 쌓아야 한다."

앞으로는 "누가 점수가 가장 낮은가?"라는 질문 대신, "어떤 상황에서 이 모델이 잘 작동하는가?", "이 예측이 실제 문제를 해결하는 데 도움이 되는가?" 라는 질문을 해야 합니다.

한 줄 요약:

점수판 (Leaderboard) 에 등극하는 것보다, 실제 세상에서 유용한 예측을 하는 것이 진짜 승리입니다.

이 논문을 통해 연구자들이 "점수 따기"에서 벗어나, 진짜 예측의 본질을 다시 생각해보기를 바라고 있습니다.

기술 요약

1. 문제 정의 (Problem)

장기 시계열 예측 (Long-term Time Series Forecasting, LTSF) 분야는 현재 **지표 중심의 '게임 (GAME)'**에 갇혀 있다고 저자들은 주장합니다.

• 현재 상황: Informer 와 같은 모델의 등장 이후, LTSF 연구는 특정 벤치마크 데이터셋 (ETT, Weather 등) 과 고정된 예측 구간 (96, 192, 336, 720 스텝) 에서 **평균 제곱 오차 (MSE)**와 **평균 절대 오차 (MAE)**와 같은 점별 (pointwise) 오차 지표를 최소화하는 방향으로 진화했습니다.
• 핵심 문제:
  • 지표의 독점 (Metric Monoculture): 연구의 성공이 단순히 표 (Leaderboard) 에서의 수치적 우위로만 정의됩니다.
  • 구조적 불일치: 실제 세계의 예측 목표 (트렌드 안정성, 계절성 일관성, 체제 전환에 대한 강건성, 의사결정 지원) 와 점별 오차 최소화 간의 불일치가 발생합니다.
  • 과적합 위험: 모델이 실제 시계열의 역동성을 이해하는 것이 아니라, 벤치마크 데이터의 통계적 특성에만 과도하게 최적화 (Specialization) 되어 있을 가능성이 큽니다.
  • 곡선 맞춤 (Curve Fitting): 예측이 실제 데이터의 노이즈까지 완벽하게 재현하는 '곡선 맞춤'으로 전락하여, 실제 의사결정에 유용한 구조적 통찰력을 제공하지 못할 수 있습니다.

2. 방법론 및 제안 (Methodology & Proposal)

저자는 기존 벤치마크 중심의 평가 방식을 대체하거나 보완하기 위해 **3 차원 다면적 평가 관점 (Multi-dimensional Evaluation Perspective)**을 제안합니다. 이는 단순히 새로운 지표를 만드는 것이 아니라, 평가의 철학과 프레임워크를 재정의하는 것입니다.

3 가지 핵심 평가 차원:

1. 통계적 충실도 (Statistical Fidelity):

   • 표준화된 조건 하에서 관측값과 예측값의 근접성을 평가합니다.
   • 단순 MSE/MAE 외에 데이터셋 간 비교를 용이하게 하는 **MASE(스케일링된 오차)**나 확률적 측정치 (CRPS) 등을 포함합니다.
   • 추론 시간 및 학습 효율성 등 실용적 배포 관련 계산 지표를 고려합니다.

2. 구조적 일관성 (Structural Coherence):

   • 예측이 시계열의 근본적인 구조 (트렌드, 계절성, 체제 전환 등) 와 얼마나 일치하는지 평가합니다.
   • 진단 도구 활용: 트렌드 강도, 계절성 강도, 분포 특성, 무작위성 테스트 등을 정량적으로 분석하여 예측이 시계열의 구조적 특성을 보존하는지 확인합니다.
   • 급격한 변화 (Regime shifts) 를 이상치로 간주하여 평활화하는 모델과 실제 변화를 따라가는 모델 간의 구조적 차이를 평가합니다.

3. 의사결정 수준의 관련성 (Decision-Level Relevance):

   • 예측 결과가 하류 (Downstream) 작업이나 실제 의사결정에 얼마나 유용한지 평가합니다.
   • 도메인 특화 목표: 분포 변화 하의 강건성, 비대칭적 오차 비용 (예: 과소 예측보다 과대 예측이 더 큰 손실을 주는 경우), 운영 계획, 리스크 관리 등을 고려합니다.
   • 이상 탐지 (Anomaly detection) 나 결측치 보간 (Imputation) 등 다른 작업에 예측값이 기여하는 정도를 평가합니다.

평가 방식의 전환:

• 리더보드 순위 (Leaderboard Ranking) → 진단 보고 (Diagnostic Reporting):
  • 단순히 "어떤 모델이 가장 낮은 오차를 가지는가?"가 아니라, "어떤 구조적 조건에서 모델이 성공하거나 실패하는가?"를 분석합니다.
  • 윈도우 레벨 분석 (Window-level Analysis): 전체 평균 오차 대신 슬라이딩 윈도우 단위로 오차 분포를 분석합니다. 특정 윈도우의 큰 오차가 모델의 실패가 아니라 데이터의 구조적 이상 (Anomaly) 때문일 수 있음을 식별합니다.
  • Q-Q 플롯 등을 활용하여 오차 분포의 이질성을 시각화합니다.

3. 주요 기여 (Key Contributions)

1. 비판적 성찰: 현재 LTSF 연구 커뮤니티가 벤치마크 최적화라는 잘못된 게임에 갇혀 있으며, 이것이 실제 예측의 본질적 목표 (시계열 역동성 이해) 와 동떨어져 있음을 지적합니다.
2. 새로운 평가 프레임워크: 통계적 충실도, 구조적 일관성, 의사결정 관련성이라는 3 가지 차원을 통합한 포괄적인 평가 체계를 제안합니다.
3. 보편적 챔피언의 부재 주장: 특정 데이터셋이나 조건에서 모든 모델이 우월하다는 가정을 반박하고, 도메인별 목적과 구조적 조건에 맞는 모델 성능을 평가해야 함을 강조합니다.
4. 연구 문화의 변화 제안: 단순한 수치적 개선이 아닌, 구조적 이해와 실용적 통찰력을 중시하는 연구 문화를 조성해야 한다고 역설합니다.

4. 결과 및 논의 (Results & Discussion)

• 현재의 한계: 기존 벤치마크 (Table 1 과 같은 형식) 는 모델이 데이터의 미세한 노이즈까지 맞추는 방향으로 유도하며, 이는 실제 응용 (에너지 계획, 교통 관리 등) 에서 필요한 '트렌드 방향성'이나 '계절성 일관성'을 놓치게 할 수 있습니다.
• 시나리오 분석:
  • 금융 시계열에서 이동 평균선 (EMA) 은 점별 오차 (MSE) 를 최소화하지는 않지만, 추세 신호를 추출하여 투자 결정에 더 유용합니다.
  • 급격한 체제 전환이 있는 데이터에서, 이상치를 평활화하는 모델은 MSE 는 높을지라도 구조적으로 더 타당한 예측을 할 수 있습니다.
• 향후 방향: TSFM-Bench, TFB 등 최근의 벤치마크 노력들이 데이터 감사와 지표 다양성을 인식하고 있으나, 여전히 '평균 순위'에 집중하는 경향이 있음을 지적하며, **조건부 성능 분석 (Conditional Performance Analysis)**으로의 전환을 요구합니다.

5. 의의 및 중요성 (Significance)

이 논문은 데이터 마이닝 및 머신러닝 분야에서 평가 (Evaluation) 가 연구의 목적 (Objective) 을 어떻게 형성하는지에 대한 근본적인 질문을 던집니다.

• 학술적 의의: 단순한 모델 아키텍처 개선이나 미세한 오차 감소가 '진보'인지에 대한 재정의가 필요합니다.
• 실무적 의의: 실제 산업 현장 (에너지, 금융, 기후 등) 에서는 완벽한 수치적 정확도보다 구조적 이해와 의사결정 지원이 더 중요할 수 있음을 강조합니다.
• 미래 비전: LTSF 분야의 성공은 더 낮은 MSE 를 기록하는 것이 아니라, 실제 세계의 시계열 역동성을 얼마나 잘 이해하고 행동에 반영하는지로 재정의되어야 합니다.

결론적으로, 이 논문은 "우리가 올바른 게임을 하고 있는가?"라는 질문을 통해, 장기 시계열 예측 연구가 벤치마크 점수 경쟁을 넘어 실제 문제 해결과 구조적 통찰을 위한 방향으로 전환되어야 함을 강력하게 호소합니다.