당신이 향후 2주간의 날씨를 예측하려고 노력하고 있다고 상상해 보세요. 당신은 일반적인 규칙들을 알고 있습니다. 지금은 여름이니 보통 덥고, 아마 다음 주 화요일에 폭풍우가 올 수도 있다는 사실 말이죠. 하지만 매 시간 단위로 정확한 온도를 맞추려고 시도하다 보면, 당신의 뇌는 딴생각을 하기 시작할지도 모릅니다. 7월에는 더워야 한다는 사실을 잊어버리고 실수로 눈이 올 것이라고 예측하거나, 구름의 아주 작은 디테일에 너무 집중한 나머지 전체적인 큰 그림을 놓칠 수도 있습니다. 이것이 바로 **시계열 예측(time series forecasting)**의 과제입니다. 즉, 과거의 데이터를 사용하여 다음에 어떤 일이 일나 추측하는 것입니다. 수십 년 동안 과학자들은 주식 시장부터 전력망에 이르기까지 모든 것을 예측하기 위해 컴퓨터 모델을 구축해 왔습니다. 최근에는 이들은 이 예측 작업을 수행하기 위해 대규모 언어 모델(LLM)—에세이를 쓰고 당신과 대화하는 것과 같은 종류의 초지능형 AI—을 사용하기 시작했습니다. 이 AI 모델들은 패턴을 이해하는 데 탁월하지만, 긴 시간을 예측하도록 요청받으면 혼란에 빠지거나, 실행 비용이 많이 들거나, 실제 세상과는 거리가 먼 형태를 만들어내기 시작할 수 있습니다.

당신이 읽게 될 논문은 구체적인 문제를 다룹니다. 어떻게 하면 이러한 AI 모델들이 느려지거나, 비용이 많이 들거나, 혹은 경로에서 "이탈(drifting)"하지 않으면서도 장기 예측 능력을 개선할 수 있는가 하는 문제입니다. 저자들은 SCALER라고 불리는 새로운 방법을 소개합니다. 이것을 두 단계의 과정으로 생각해보세요. 먼저 빠르고 단순한 스케치 작가가 산맥의 대략적인 윤곽을 그린 다음, 정교한 화가가 그 원래 스케치의 경계 안에서만 나무와 바위를 그려 넣는 방식입니다. 이를 통해 최종 결과물이 무작위적인 초록색 덩어리가 아닌, 진짜 산처럼 보이도록 보장합니다. 연구진은 실제 세계의 데이터로 이 방법을 테스트했으며, 그들의 방법이 단순히 여러 번의 추측을 동시에 실행하여 "더 열심히 생각"하려는 다른 화려한 AI 기법들보다 훨씬 더 정확할 뿐만 아니라 훨씬 더 빠르고 저렴하다는 것을 발견했습니다.

문제점: AI가 디테일에 길을 잃을 때

미래를 예측하는 것은 어렵습니다. 만약 표준적인 AI에게 향후 720시간(30일) 동안의 온도가 어떻게 될지 묻는다면, 이 AI는 종종 한 번의 거대한 도약으로 이를 해결하려고 합니다. 때로는 큰 추세를 맞추기도 하지만, 때로는 나무를 보느라 숲을 놓치기도 합니다.

최근 연구자들은 **테스트 시간 스케일링(test-time scaling)**이라는 새로운 접근 방식을 시도했습니다. 당신이 시험을 보고 있다고 상상해 보세요. 단순히 첫 번째 답을 적는 대신, 답을 고민하고, 세 가지 다른 답을 적어본 뒤, 가장 좋은 것을 골라 더 좋게 만들기 위해 다시 쓰는 것이 허용된다고 가정해 봅시다. 이러한 "느린 사고"는 종종 AI를 더 똑똑하게 만듭니다. 하지만 시계열 데이터에 있어 이 방식은 두 가지 큰 결함이 있습니다:

1. 비용이 많이 듭니다: 최선의 답을 고르기 위해 AI를 여러 번 실행하는 것은 많은 컴퓨터 연산 능력과 시간을 소모합니다.
2. 엉망이 될 수 있습니다: 만약 AI가 답을 계속해서 수정하다 보면, 의도치 않게 예측의 전체 형태를 바꿔버릴 수 있습니다. 실제 데이터는 파동 형태인데 AI가 평탄한 직선을 예측하거나, 그 반대의 경우가 발생할 수 있습니다. 이를 **전역 형태 불일치(global-shape mismatch)**라고 합니다.

해결책: SCALER (스케치 및 정교화 전략)

저자들은 SCALER를 제안합니다. 이는 Coarse-to-fine (거친 단계에서 정교한 단계로) Scaling 프레임워크의 약자입니다. AI에게 전체 미래를 한꺼번에 추측하게 하거나 수백만 개의 서로 다른 추측을 실행하게 하는 대신, SCALER는 이 작업을 두 개의 뚜렷하고 효율적인 단계로 나눕니다.

1단계: 빠른 스케치 (거친 형태 예측)
먼저, 아주 가볍고 경량화된 AI 모델(빠르고 단순한 스케치 작가라고 생각하세요)이 과거 데이터를 살펴보고 미래의 매우 거칠고 저해상도인 그림을 그립니다. 이 모델은 모든 세부 사항에 신경 쓰지 않습니다. 단지 큰 흐름, 즉 전체적인 추세(올라가는 중인가 내려가는 중인가?), 계절성(패턴이 반복되는가?), 그리고 일반적인 형태만을 포착합니다.

• 도움이 되는 이유: 이 "큰 그림"을 먼저 확정함으로써, 최종 예측이 터무니없는 방향으로 표류하는 것을 방지합니다. 이는 집의 창문을 색칠하기 전에 집의 윤곽을 먼저 그리는 것과 같습니다.

2단계: 정교한 채색 (고정 단계 정교화)
다음으로, 강력한 대규모 LLM(정교한 화가)이 바통을 이어받습니다. 하지만 이 모델은 처음부터 시작하지 않습니다. 1단계의 거친 스케치와 과거 데이터를 바탕으로 세부 사항을 추가합니다. 결정적으로, 이 작업은 고정된 단계 수 내에서 이루어집니다.

• AI가 무작위로 추측하고 최선의 답을 고르는 방식(느리고 비싼 방식) 대신, SCALER는 특정 순서에 따라 디테일을 추가합니다: 먼저 중간 크기의 디테일을, 그다음 아주 작은 디테일을 추가합니다.
• 매 단계마다 AI는 원래의 거친 스케치에 "고정(anchored)"됩니다. 이는 AI가 창문을 그리는 동안 집의 전체 형태를 실수로 바꾸는 것을 방지합니다.
• 단계가 고정되어 있고 AI가 전체를 다시 추측하는 대신 작은 간극(잔차, residuals)만을 채우면 되기 때문에, 훨씬 적은 컴퓨터 자원을 사용합니다.

연구 결과: 더 빠르고, 더 저렴하며, 더 똑똑하게

연구진은 전력 사용량, 교통 흐름, 날씨 패턴, 심지어 독감 유행 추세 등 다양한 실제 세계의 데이터로 SCALER를 테스트했습니다. 그들은 이를 다른 강력한 AI 모델 및 여러 후보를 생성하여 선택하는 "느린 사고" 방식들과 비교했습니다.

수치가 보여주는 결과는 다음과 같습니다:

• 정확도: SCALER는 일관되게 다른 모델들을 압도했습니다. 장기 예측(720시간 앞을 예측)에서 SCALER는 경쟁 모델들보다 실수가 적었습니다. 예를 들어, ETTh1 데이터셋에서 SCAL-ER는 0.376의 평균 제곱 오차(MSE)를 달랐으며, 이는 그다음으로 우수한 방식의 0.403보다 뛰어난 성적입니다.
• 속도 및 비용: 이 부분이 SCALER가 진정으로 빛나는 지점입니다. 저자들은 이 방법이 표준적인 테스트 시간 스케일링 방식보다 약 7배 더 빠르다는 것을 발견했습니다. 다른 방식들이 최선의 추측을 생성하고 선택하는 데 오랜 시간이 걸리는 반면, SCALER는 정해진 계획을 따르기만 하면 됩니다.
• 안정성: 예측 범위가 매우 길어질 때(최대 2160시간), 다른 모델들은 예측이 실제 데이터와 전혀 닮지 않은 채 실패하기 시작했습니다. 그러나 SCALER는 안정성을 유지했습니다. "거친 스케치"라는 닻이 AI가 멀리 있는 미래를 볼 때도 길을 잃지 않도록 잡아주었기 때문입니다.

이것이 왜 중요한가

이 논문은 우리가 더 나은 결과를 얻기 위해 AI에게 단순히 수천 번을 더 실행하게 하여 "더 열심히 생각"하게 만들 필요가 없다고 주장합니다. 대신, 명확한 구조를 제공함으로써 "더 똑똑하게" 생각하게 만들 수 있습니다. "큰 그림"과 "세부 디테일"을 분리함으로써, SCALER는 작은 변동들을 포착하면서도 예측의 전역적 형태를 올바르게 유지할 수 있습니다.

저자들은 또한 다양한 크기의 AI 뇌(모델)에 대해 이 방법이 어떻게 작동하는지 테스트했습니다. 그들은 더 작은 모델을 사용하더라도 이 방법이 잘 작동하지만, 더 큰 모델(LLaMA-7B)을 사용할 때 최상의 결과를 얻는다는 것을 발견했습니다. 또한, 본 적 없는 데이터(제로샷 예측)에 대해서도 테스트를 진행했으며, 매번 새로운 데이터셋에 맞춰 재학습해야 하는 다른 방법들보다 더 우수한 성능을 보였습니다.

요약하자면, SCALER는 미래를 예측하는 비결이 단순히 더 많은 컴퓨팅 파워를 문제에 쏟아붓는 것이 아니라는 점을 시사합니다. 그것은 바로 계획을 갖는 것입니다: 먼저 윤곽을 그리고, 그다음 디테일을 채우며, 그림을 그리는 동안에도 큰 그림을 놓치지 않는 것 말입니다. 이 접근 방식은 비용을 크게 들이지 않고도 매우 정확한 장기 예측을 얻을 수 있는 길을 제시합니다.