TimeBlocks: Foundational and Continual Time-Series Blockbase -- Extended Version

기술 요약: TimeBlocks: 기초적 및 지속적 시계열 블록베이스(Foundational and Continual Time-Series Blockbase)

1. 문제 정의

디지털화된 사회적 및 산업적 프로세스로 인한 시계열 데이터 스트림의 급증은, 자원이 제한된 에지 장치(예: 차량 내 컨트롤러)에서 실시간 처리가 가능할 만큼 매우 유능하면서도 가벼운 분석 방법을 필요로 합니다. 파운데이션 대규모 언 모델(LLM)이 다양한 작업을 처리하는 데 성공을 거두었으나, 시계열에 직접 적용할 경우 두 가지 결정적인 한계에 직면합니다:

1. 모델 크기 및 효율성: 기존의 파운데이션 시계열 모델들은 종종 하드웨어 제약이 있는 환경에 비해 너무 크며, 별도의 특화된 모델을 각각 배포하지 않고도 이질적인 작업들을 처리할 수 있는 유연성이 부족합니다.
2. 비효험한 지속적 교정(Continual Calibration): 대규모 모델은 계산상의 제약으로 인해 일반적으로 오프라인 설정에서 단 한 번만 교정됩니다. 그러나 데이터 스트림은 시간이 지남에 따라 변화하는 특성(예: 계절성, 환경 변화)을 보일 수 있으며, 이는 성능 유지를 위한 지속적인 교정을 요구합니다. 현재의 대규모 모델은 막대한 계산 비용 없이 누적되는 스트림 데이터로 신속하게 재교정될 수 없습니다.

핵심 과제는 여러 시계열 작업과 데이터셋을 처리할 수 있는 다재다능하고 가벼운 모델을 구축하는 동시에, 스트리밍 환경에서 효율적인 지속적 교정을 지원하는 패러다임을 개발하는 것입니다.

2. 방법론

본 논문은 단일 대규모 모델을 훈련하는 것에서 벗어나, 사전 훈련된 모듈형 구성 요소의 풀(pool)으로부터 모델을 동적으로 구축하는 새로운 패러다임인 TimeBlocks를 제안합니다. 이 프레임워크는 세 가지 주요 단계로 구성됩니다:

A. 블록베이스 구축 (사전 훈련)

단일 구조의 모델 대신, TimeBlocks는 교체 가능한 독립적인 시계열 처리 블록들의 저장소인 **블록베이스(Blockbase)**를 활용합니다.

• 블록 아키텍처: 블록은 트렌드와 사이클을 처리하기 위해 패칭(patching) 구조가 강화된 작은 프로세서(예: MLP, LSTM, Attention)입니다.
• 다중 스케일 처리: 블록은 광범위한 패턴부터 구체적인 패턴까지 포착하기 위해, 감소하는 2의 거듭제곱 패턴을 따라 서로 다른 입도(scale)의 데이터를 처리하도록 설계되었습니다.
• 출력 표준화: 각 블록은 입력 스케일이나 데이터셋에 관계없이 출력을 공통 벡터 크기로 매핑하여 상호 교환성을 보장하는 표준화 레이어를 포함합니다.
• 다양성: 블록베이스가 높은 다양성을 확보할 수 있도록, 다양한 데이터셋, 작업(예측, 결측치 보간 등) 및 설정(컨텍스트 길이, 호라이즌)에 걸쳐 블록을 사전 훈련합니다.

B. 블록베이스 라우팅 (추론 시점의 모델 구축)

새로운 시계열 데이터가 도착하면, **라우터(Router)**가 블록베이스에서 가장 적합한 블록을 선택하여 특화된 모델을 반복적으로 구축합니다.

• 클러스터링: 블록은 고유 식별자 역할을 하는 "지문(fingerprint)"(첫 번째 레이어의 가중치)을 기반으로 K-Means를 사용하여 클러스터로 조직됩니다. 이는 블록을 컨텍스트 길이 및 특성에 따라 분류합니다.
• 라우팅 메커니즘: 라우터는 현재 모델 상태의 잔차 출력($r_p$)을 가져와 다음 최적 블록의 지문($b^1_{p+1}$)을 근사합니다. 이는 잔차와 대상 블록의 지문 사이의 손실을 최소화하도록 보조 모델로서 훈련됩니다.
• 선택 과정: 라우터는 최적의 클러스터를 식별한 후, 유사도 검색을 통해 해당 클러스터 내의 특정 블록을 선택합니다. 이 과정은 정해진 예산 $J$만큼의 모델이 조립될 때까지 반복됩니다. 이 접근 방식은 최적의 경로를 찾는 NP-난해 문제를 피하기 위해, 최적해 대비 5/3의 이론적 근사 상한을 갖는 휴리스틱을 사용합니다.

C. StreamCore (지속적 교정)

전체 데이터 스트림을 재훈련하지 않고도 효율적인 지속적 교정을 수행할 수 있도록, 본 논문은 StreamCore를 도입합니다.

• 코어셋 근사(Coreset Approximation): StreamCore는 전체 스트림의 분포를 보장하는 작고 대표적인 데이터 스트림의 부분 집합을 유지합니다.
• 저비용 업데이트: 부분 집합을 병합하는 데 비용이 드는($O(|S| \times |D_t|)$) 전통적인 코어셋 방법과 달리, StreamCore는 선형 비용 업데이트 전략을 사용합니다합니다. 부분 집합 크기에 도달하면, 다양성을 유지하기 위해 새로운 점을 추가하고 기존의 점을 제거합니다(무작위 또는 거리에 따라).
• 교정: 구축된 모델은 StreamCore 부분 집합을 사용하여 주기적으로 교정됩니다. 파괴적 망각(catastrophic forgetting)을 방지하기 위해, 교정 단계 동안 마지막 블록을 제외한 모든 블록은 동결됩니다.

3. 주요 기여

1. TimeBlocks 패러다임: 독립적이고 모듈화되며 쌓을 수 있는 블록을 사용하여 다재다능한 시계열 모델을 구축하는 새로운 프레임워크로, 처음부터 다시 훈련하지 않고도 추론 시점에 특화된 모델을 구축할 수 있게 합니다.
2. StreamCore: 데이터 스트림 하에서 경량 모델의 지속적 교정을 위해 근사 보장을 제공하는 저비용 요약 방법으로, 계산 오버헤드를 최소화하면서 데이터 다양성을 보장합니다.
3. 실증적 검증: 다양한 작업(예측, 결측치 보간, 이상치 탐지, 분류)과 데이터셋(ETTh1/2, Weather, SMD, UCR 등)에 대해 TimeBlocks가 기존 베이스라인(특화된 모델 및 파운데이션 모델 포함)보다 우수함을 보여주는 광범적인 실험을 수행했습니다.

4. 실험 결과

저자들은 네 가지 작업에 대해 여러 데이터셋(예: ETTh1/2, Weather, SMD, UCR)에서 TimeBlocks를 평가했습니다.

• 추론 시점 성능: TimeBlocks는 예측 작업에서 평균 제곱 오차(MSE) 측면에서 최고의 성능을 기록하며, 특화된 모델(예: Autoformer, PatchTST)과 파운데이션 모델(예: TimeMixer, Moment, TTM)을 모두 능가했습니다. 또한 컨텍스트 길이와 블록을 자동으로 선택함으로써 탁월한 유연성을 입증했습니다.
• 지속적 학습: 지속적 예측 시나리오에서 TimeBlocks는 교정 후 베이스라인들에 비해 우수한 성능을 유지했습니다. 대규모 파운데션 모델들은 재교정 없이 새로운 데이터 스트림에 적용되었을 때 상당한 성능 저하를 보인 반면, TimeBlocks는 효과적으로 적응했습니다.
• 작업 다재다능성: TimeBlocks는 많은 베이스라인들이 어려움을 겪거나 작업별 훈련이 필요했던 결측치 보간, 이상치 탐지, 분류 작업에서도 강력한 결과를 달ach했습니다.
• 효율성 및 크기: TimeBlocks 모델은 가장 작은 크기를 가졌으며(예: $J=2$ 블록일 때 약 1 MB vs TTM의 약 3 MB 및 기타 모델의 수백 MB), 가장 낮은 추론 시간을 달성했습니다. 모델 구축 시간은 라우터와 지문 기반 검색 덕분에 블록베이스 크기에 따라 로그 단위로 확장되었습니다.
• StreamCore 효능: 데이터의 5%를 사용하는 StreamCore 부분 집합을 사용했을 때 무작위 5% 부분 집합을 사용하는 것과 비슷하거나 더 나은 성능을 보여, 교정을 위한 코어셋 전략의 효과를 확인했습니다.

5. 의의 및 주장

본 논문은 TimeBlocks가 범용적인 파운데이션 시계열 능력의 필요성과 에지 컴퓨팅 환경의 제약 사이의 결정적인 간극을 해결한다고 주장합니다. 모델을 모듈형 블록으로 분해하고 라우팅 전략을 활용함으로써, 이 방식은 "중도적" 솔루션을 달성합니다. 즉, 실시간 배포가 가능할 만큼 작으면서도 여러 작업과 데이터셋을 처리할 수 있을 만큼 다재다능한 모델입니다. 나아가, StreamCore의 통합은 스트리밍 환경에서의 지속적 교정 문제를 해결하며, 이는 현재의 대규모 파운데션 모델에서는 거의 찾아볼 수 없는 기능입니다. 저자들은 이 접근 방식이 거대한 모델을 훈련하거나 유지 관리하는 계산적 부담 없이, 지능형 차량 및 산업용 센서와 같이 하드웨어 제약이 있는 장치에 정확하고 실시간적인 시계열 분석을 배포할 수 있게 한다고 단언합니다.