기술 요약: 균일한 토큰을 넘어: 시계열 언어 모델을 위한 적응형 압축

문제 정의

대규모 언어 모델(LLM)은 수치적 관측값과 텍스트 프롬프트를 공유된 토큰 인터페이스를 통해 모델링함으로써 시계열(TS) 분석에 점점 더 많이 적용되고 있습니다. 그러나 기존 방식은 시계열 토큰과 프롬프트 토큰을 동일하게 취급하여, 이들의 근본적인 구조적 차이를 간과합니다. 이러한 균일한 처리는 다음과 같은 두 가지 주요 이유로 인해 비효율성을 초래합니다:

1. 중복된 시계열 정보: 시계열 토큰은 종종 매우 불균일한 스펙트럼 기여도를 보입니다. 대규모 토큰 그룹이 중복된 주파수 패턴을 공유하는 반면, 오직 소수의 서브셋만이 중요한 시간적 증거를 담고 있습니다. 표준적인 시간 영역(time-domain) 병합 방식은 이러한 기능적 구성 요소를 효과적으로 분리하지 못합니다.
2. 비효효율적인 프롬프트 유지: 텍text 프롬프트는 고차원적인 가이드를 제공하지만, 모델의 깊이가 깊어짐에 따라 그 영향력이 빠르게 감쇠합니다. 모든 레이어에서 전체 프롬프트 토큰을 유지하는 것은 텍스트 정보가 보통 초기 몇 개의 얕은 레이어 내에서 시계열 토큰으로 흡수 및 전달된다는 점을 고려할 때, 성능 향상에 비례하는 이득 없이 상당한 계산 오버헤드를 발생시킵니다.

방법론: TokenDecouple

저자들은 시계열 토큰과 프롬프트 토큰의 서로 다른 정보 구조에 기반하여 압축 전략을 분리하는 통합 프레임워크인 TokenDecouple을 제안합니다.

1. 주파수 영역 기반 시계열 토큰 병합

토큰을 시간 영역의 근접성에 따라 병합하는 대신, 이 방법은 주파수 영역에서 작동하여 스펙트럼 중복성을 식별하고 제거합니다.

• 스펙트럼 분석: 입력 시계열 토큰은 이산 푸리에 변환(DFT)을 통해 변환됩니다. 이 방법은 실제 시계열 신호가 백색 잡음(white noise)과 달리 특정 주파수 대역에 에너지가 집중된다는 점을 식별합니다.
• 활성 토큰 선택: 각 주파수 성분에 대해, 누적 스펙트럼 크기가 총 에너지의 최소 95%를 차지하는 최소한의 토큰 서브셋을 선택합니다.
• 적응형 병합 예산: 병합의 세밀함(granularity)은 피셔 정보(Fisher Information)를 사용하여 추정된 **스펙트럼 식별 가능성(spectral identifiability)**에 의해 결정됩니다. 더 날카로운 피크나 저노이즈 주기적 패턴을 생성하는 데 기여하는 토큰이 모델의 이해에 더 많이 기여합니다. 각 주파수 대역에 대해 얼마나 많은 토큰을 병합할지 결정하기 위해 적응형 예산이 계산됩니다.
• 로컬 어피니티 그래프(Local Affinity Graph): 선택된 활성 집합 내에서, 토큰들은 스펙트럼 유사성에 따라 로컬 클러스터로 그룹화됩니다. 병합된 대표자를 생성하기 위해 각 그룹에 대해 가중 평균이 계산되며, 이는 역 이산 푸리에 변환(IDFT)을 통해 다시 시간 영역으로 변환됩니다.

2. 피라미드형 프롬프트 토큰 압축

이 프레임워크는 프로프트 토큰의 효용성이 모델 깊이에 따라 감소한다는 점을 인지하여 "피라미드형 감쇠(pyramidal decay)" 전략을 도입합니다.

• 레이어별 감쇠: 프롬프트 토큰의 수는 각 레이어마다 기하급수적으로 감소합니다 (구체적으로, $P_{l+1} = \lceil 0.25 P_l \rceil$).
• 잔차 보존: 압축 과정 중 정보 손실을 방지하기 위해, 각 레이어에서 프롬프트 토큰의 전역 잔차 요약(MeanPool을 통해 수행)을 계산하고 이를 다음 레이어로 전달되는 압축된 표현에 더해줍니다.
• 결과: 네 번째 레이어에 도달하면 프로프트 토큰의 수는 미미해지며 (원래의 약 0.4%로 급감), 이는 깊은 레이어에서의 어텐션 계산 비용을 획기적으로 줄여줍니다.

주요 기여

1. 주파수 영역 관점: 본 논문은 시계열 토큰을 주파수 영역 관점에서 분석한 최초의 체계적인 연구를 제공하며, 서로 다른 주파수 성분이 토큰 수준의 정보에 불균등하게 기여함을 밝혀 주파수 기반 병합의 정당성을 입증했습니다.
2. 피라미드형 감쇠 효과: 저자들은 프롬프트 토큰의 영향력이 모델 깊이에 따라 빠르게 감소함을 발견하였으며, 전체 프롬프트를 유지하는 것이 불필요하며 초기 레이어에서의 공격적인 압축이 안전하다는 것을 입증했습니다.
3. TokenDecouple 프레임워크: 주파수 영역 구조를 통한 시계열 토큰 병합과 피라미드형 감쇠를 통한 프롬프트 토큰 압축을 동시에 수행하는 분리된 압축 프레임워크를 제안합니다. 이 접근 방식은 성능을 유지하거나 개선하면서도 상당한 효율성 이득을 달성합니다.

실험 결과

이 프레임워크는 7개의 태스크(결측치 보간, 분류, 이상 탐지, 예측, 그리고 3단계의 추론: 단순 결정론적, 복잡 결정론적, 확률론적 추론)를 아우르는 27개의 데이터셋에 대해 4가지 고급 LLM 기반 시계열 모델(OFA, TimeLLM, CALF, S2IP)을 대상으로 평가되었습니다.

• 성능: TokenDecouple은 평가된 설정의 **78%**에서 기존 모델보다 우수한 성능을 보였습니다. 성능이 하락한 경우에도 그 저하는 미미했습니다 (예: 결측치 보간에서 최대 MAE 증가 0.008, 분류에서 정확도 1.3% 하락).
• 효율성: 이 방법은 (특히 TimeLLM 모델에 대해) 최대 7.68배의 추론 가속을 달ocation했습니다. 모든 모델과 태스크에 걸쳐 평균 속도 향상은 3.43배에서 7.68배 사이였습니다.
• 토큰 감소: 가장 까다로운 태스크에서도 최소 50%의 시계열 토큰을 병합할 수 있었습니다. 프롬프트 토큰 오버헤드는 12개 레이어 모델에서 약 89%, 24개 레이어 모델에서 약 94% 감소했습니다.
• 비교: TokenDecle은 성능 유지와 추론 속도 향상 측면 모두에서 기존의 베이스라인 토큰 병합 방법들(전역, 로컬 및 동적 병합)보다 유의미하게 뛰어난 성능을 보였습니다.

의의 및 주장

본 논문은 TokenDecoule이 시계열과 텍스트를 균일하게 처리하는 데서 발생하는 특유의 비효율성을 해결함으로써 시계열 파운데이션 모델을 위한 확장 가능한 솔루션을 제공한다고 주장합니다. 저자들은 자신들의 접근 방식이 임의적인 압축이 아니라, 스펙트럼 구조와 레이어별 정보 흐름에 기반한 원칙적인 축소임을 강조합니다.

본 연구는 다음을 강조합니다:

• 효율성-성능 트레이드오프: 모델 성능을 희생하지 않고, 오히려 향상시키면서도 계산 비용(추론 지연 시간 및 메모리)을 획기적으로 줄이는 것이 가능합니다.
• 태스크 강건성: 이 방법은 다양한 시간적 역학(변동하는 정체성, 계절성, 노이즈 포함)에 대해 효과적으로 작동하며, 이는 특정 데이터셋의 통계적 패턴에 과도하게 의존하지 않음을 시사합니다.
• 설계 원칙: 이 연구 결과는 시계열-언어 통합 시 "토큰 인식형(token-aware)" 설계, 즉 데이터 모달리티의 특정 정보 구조(시계열의 경우 주파수 영역, 프롬프트의 경우 깊이 의존성)에 맞춤화된 압축 전략을 사용할 것을 권장합니다.

저자들은 본 연구가 매우 비정상적이거나(non-stationary) 불규칙하게 샘플링된 조건 하에서의 적용 가능성을 체계적으로 평가하지 않았으며, 양자화(quantization)나 구조적 프루닝(structured pruning)과 같은 다른 효율화 기법과의 상호작용을 조사하지 않았다는 점을 언급하며 한계를 겸허히 밝혔습니다. 이들은 이 방법을 안전이 중요한 애플리케이션을 위한 자율적 의사 결정 시스템보다는 효율성을 높이는 구성 요소로서 사용할 것을 권장합니다.