Do Time Series Foundation Model Benchmarks Hide Regime-Dependent Failures? Evidence from Traffic Speed Forecasting

핵심 아이디어: "평균"의 거짓말

당신이 기상 예보가라고 상상해 보세요. 만약 일 년 전체의 기온을 예측한다면, 당신의 "평균" 예측은 완벽할 수 있습니다. 하지만 갑작스럽고 격렬한 뇌우가 발생하는 순간을 예측하려고 한다면, 당신의 평균 예측은 쓸모가 없습니다. 당신은 "기온은 70°F(약 21°C)일 것입니다"라고 말하겠지만, 실제로는 90°F(약 32°C, 맑음)이거나 40°F(약 4°C, 우박)일 수 있기 때문입니다.

이 논문은 미래의 추세를 예측하도록 설계된 매우 똑똑한 AI 시스템인 **시계열 파운데이션 모델(TSFMs)**이 현재 그들의 가장 큰 약점을 숨기는 방식으로 테스트되고 있다고 주장합니다.

표준 테스트는 모든 데이터에 대한 평균 성능을 살펴봅니다. 교통 흐름은 보통 원활하고 빠르기 때문에(자유 흐름 상태), AI는 평균적으로 훌륭해 보입니다. 하지만 이 논문은 교통 상황이 갑자기 "빠름"에서 "정체"로 바뀔 때(즉, 레짐 전환/regime transition), 이러한 AI 모델들이 처참하게 실패하며 표준 테스트로는 이를 잡아낼 수 없음을 보여줍니다.

문제점: AI의 "사각지대"

교통 흐름은 단순히 서서히 느려지는 것이 아니라, 종종 자유 흐름(예: 시속 65마일)에서 정체(예: 시속 15마일)로 매우 빠르게 급변합니다.

• 현실: 이러한 전환 순간에 미래의 속도는 **양봉 분포(bimodal)**를 띱니다. 이는 자동차가 계속 빠르거나, 혹은 완전히 막히거나 둘 중 하나라는 뜻입니다. 중간 지점은 없습니다.
• AI의 실수: AI는 "빠른" 데이터와 "느린" 데이터를 보고 그 중간값을 추측합니다. 즉, 시속 40마일을 예측합니다.
• 결과: 자동차는 시속 65마일로 달리고 있거나 시속 15마일로 가고 있습니다. AI의 예측인 시속 40마일은 두 경우 모두 틀렸습니다. 이는 마치 기상 예보가가 허리케인이 불거나 아주 맑은 날씨 중 하나인 상황에서 "구름 조금"이라고 예측하는 것과 같습니다.

"빠른" 교통 상황이 대부분의 시간을 차지하기 때문에, AI의 평균 점수는 좋아 보이며, 이는 정체가 형성되는 무섭고 결정적인 순간에 AI가 완전히 길을 잃고 있다는 사실을 은폐합니다.

실험: AI의 "안전망" 확인하기

연구진은 로스앤젤레스와 샌프란시스코의 실제 교통 데이터를 사용하여 세 가지 유명한 AI 모델을 테스트했습니다. 그들은 단순히 속도 예측이 얼마나 근접했는지만 본 것이 아니라, 예측 구간(prediction intervals), 즉 AI의 "안전망"을 살펴보았습니다.

• 목표: AI는 "나는 속도가 X와 Y 사이에 있을 확률이 90%라고 확신한다"라고 말해야 합니다.
• 실패: 교통 전환기 동안 AI의 안전망은 너무 좁고 엉뚱한 곳에 위치했습니다.
  • 연구진은 90%의 안전망을 요구했습니다.
  • 하지만 실제로 전환기 동안 AI가 정확한 속도를 잡아낸 경우는 **55%**뿐이었습니다.
  • 이는 10마리의 물고기 중 9마리를 잡아야 하는 그물을 던졌는데, 겨우 5마리만 잡은 것과 같습니다.

"단순한" 베이스라인 vs "똑똑한" AI

연구진은 매우 간단한 기술인 **역사적 베이스라인(Historical Baseline)**을 테스트했습니다.
복잡한 AI를 사용하는 대신, 단순히 과거에 해당 센서에서 어떤 일이 있었는지를 살펴보는 것입니다. 만약 화요일 오후 2시였고 교통이 느려지고 있었다면, 이전의 여러 화요일 오후 2시에 어떤 일이 있었는지 확인하는 방식입니다.

• 결과: 이 단순한 "룩업 테이블(look-up table)" 방식이 오히려 복잡한 AI보다 전환기를 더 잘 포착했습니다. 왜일까요? 이 방식은 "양봉 분포"의 현실(때로는 막히고, 때로는 안 막히는 상황)을 자연스럽게 포함하고 있기 때문입니다.
• 함정: 이 단순한 방법은 전체적인 정확한 속도를 예측하는 데는 형편없었습니다. 무엇이 일어날 수 있는지는 잘 알았지만, 무엇이 일어날 것인지는 잘 몰랐던 것입니다.

해결책: 이봉 혼합 증강 (BMA, Bimodal Mixture Augmentation)

저자들은 BMA라고 불리는 영리한 해결책을 제시했습니다. 이것을 "하이브리드 운전자"라고 생각하면 됩니다.

1. 운전자: AI(TSFM)는 운전자입니다. 현재 조건에 따라 정확한 속도를 내고 주행하는 법을 알고 있습니다.
2. 부조종사: 역사적 데이터는 부조종사입니다. 이 부조종사는 "이 도로의 역사"(예: "이 다리는 오후 5시에 자주 막힌다")를 알고 있습니다.
3. 해결책: AI가 속도를 예측할 때, BMA 방식은 부조종사를 확인합니다. 만약 부조종사가 "이봐, 지금 이 도로가 막힐 확률이 50%야"라고 말한다면, 이 방식은 AI의 예측값에 "정체" 가능성을 주입합니다.

마법 같은 효과:

• 일반적인 주행 시에는 AI의 높은 정확도를 유지합니다.
• 교통 전환기 동안의 "안전망"을 수정하여, "빠름"과 "느림"의 두 가지 결과 모두를 잡을 수 있도록 넓게 만듭니다.
• 이 모든 과정을 AI를 재학습시키지 않고 수행합니다. 이는 카메라에 새로운 렌즈를 추가하는 것과 같은 사후 처리(post-processing) 방식입니다.

요약

이 논문은 우리가 이러한 AI 모델을 단지 "평균" 점수로만 판단해서는 안 된다고 결론짓습니다. 모델이 원활한 교통 상황을 잘 예측한다고 해서, 그것이 출퇴근 시간의 긴급 출동이나 배송 예정 시간을 결정하는 데 안전하다는 뜻은 아닙니다.

우리는 AI를 특히 어려운 부분(전환기)에 대해 테스트해야 합니다. 그렇지 않으면, 서류상으로는 완벽해 보이지만 정작 우리가 가장 필요로 하는 순간에 실패하는 모델을 신뢰하게 될 수도 있습니다.