기술 요약: Mantis: 시계열 분류를 위한 경량 파운데이션 모델

문제 정의

파운데이션 모델이 비전 및 언어 영역에서는 혁신을 일으켰으나, **시계열 분류(TSC)**에 대한 적용은 여전히 미개척 영역으로 남아 있습니다. 기존 문헌은 주로 시계열 예측에 초점을 맞추고 있으며, 이는 결측치 보간(imputation)이나 예측에는 적합하지만 판별 작업(discriminative tasks)에는 본질적으로 부적합한 사전 학습 패러다임(예: 마스크된 재구성 또는 자기회귀 모델링)을 활용하는 경우가 많습니다. 시계열 분류는 인간 활동 인식, 의료, 금융, 신경과학과 같은 다양한 도메인에서 근본적인 문제이지만, 이 작업을 위해 특별히 설계된 파운데이션 모델은 부족한 실정입니다. 또한, 기존 방식은 대개 미세 조정(fine-tuning)에 의존하는 반면, 라벨이 있는 데이터나 파라미터 업데이트 없이도 일반화할 수 있는 강력한 제로샷 특징 추출(zero-shot feature extraction) 능력이 필요합니다.

방법론

저자들은 합성 데이터(synthetic data)를 통해 대조 학습(contrastive learning) 방식으로 사전 학습된, 가볍고 트랜스포머 기반인 파운데이션 모델인 Mantis를 소개합니다. 이 방법론은 세 가지 핵심 기술적 기둥을 기반으로 구축되었습니다:

1. 시계열 멀티뷰 토크나이저 (Time-Series Multi-View Tokenizer)

트랜스포머 아키텍처를 시계열에 효과적으로 적응시키기 위해, Mantis는 원시 시퀀스를 고정된 수의 토큰(32개)으로 매핑하여 어텐션 비용을 제어하는 전용 **토큰 생성 유닛(Token Generator Unit)**을 채택했습니다. 이 유닛은 세 개의 병렬 브랜치를 통해 입력을 처리합니다:

• 신호 브랜치(Signal Branch): 인스턴스 정규화(instance normalization)를 적용한 후, 컨볼루션과 평균 풀링을 수행하여 패치 수준의 특징을 추출합니다.
• 차분 브랜치(Differential Branch): 신호의 1차 시간 차분(first-order temporal difference)에 대해 동일한 패칭 절차를 적용하여 정상성(stationarity)을 장려하고 장기적인 추세의 영향을 줄입니다.
• 통계 브랜치(Statistics Branch): 정규화되지 않은 원시 신호를 겹치지 않는 패치로 나누고, 멀티 스케일 스칼라 인코더를 사용하여 각 패치의 평균과 표준 편차를 인코딩합니다.
  이러한 특징들은 서로 결합(concatenate)된 후 토큰 임베딩으로 선형 투영됩니다.

2. 합성 대조 사전 학습 (Synthetic Contrastive Pre-Training)

실제 데이터셋(평가 벤치마크와 중복될 가능성이 있는)으로 사전 학습되는 많은 파운데이션 모델과 달리, Mantis는 CauKer에 의해 생성된 합성 데이터로만 사전 학습됩니다.

• 목표: 모델은 자기 지도 방식의 **대조적 InfoNCE 손실(contrastive InfoNCE loss)**을 사용하여 학습됩니다. 목표는 동일한 시계열의 증강본은 서로 가깝게(양의 쌍), 서로 다른 시계열의 표현은 서로 멀게(음의 쌍) 학습하는 것입니다.
• 증강(Augmentation): 주요 증강 전략은 **무작위 크롭 리사이즈(Random Crop Resize, RCR)**입니다. 이는 시계열의 일부를 무작위로 잘라낸 후 원래 길이로 다시 크기를 조정하는 방식입니다. 이는 분류에는 매우 중요하지만 예측에는 적합하지 않은 '시간적 신축(temporal stretching and compression)'에 대한 불변성을 장려합니다.
• 근거: 합성 데이터는 높은 다양성과 샘플 효율성을 제공하여, 모델이 UCR이나 UEA와 같은 표준 벤치마크로부터의 데이터 누수(data leakage) 없이 일반화 가능한 표현을 학습할 수 있도록 보장합니다.

3. 강화된 테스트 타임 방법론 (Enhanced Test-Time Methodology)

파운데이션 모델과 특화된 접근 방식 간의 성능 격차를 메우기 위해, 저자들은 동결된 인코더를 활용하는 추론 파이프라인을 제안합니다:

• 계층별 표현(Layer-wise Representations): 최종 트랜스포머 레이어에만 의존하는 대신, 모델은 중간 레이어 표현을 활용합니다. 실험 결과, 특히 사전 학습 데이터가 증가함에 따라 중간 레이어가 분류 작업에 더 판별적인 특징을 인코딩하는 경우가 많음을 확인했습니다.
• 출력 토큰 집계(Output-Token Aggregation): 저자들은 [CLS] 토큰과 비분류 토큰들의 평균을 결합하는 방식을 제안하며, 이를 통해 표준 판별 트랜스포머에서 흔히 버려지는 보완적인 정보를 포착합니다.
• 셀프 앙상블(Self-Ensembling, SE): 입력 시계열(및 그 1차 차분)을 여러 시퀀스 길이에 따라 보간(interpolation)합니다. 토큰의 수가 고정되어 있기 때문에, 보간 길이를 변경하면 수용 영역(receptive field)과 토큰 간의 중첩이 변하게 되며, 이를 통해 상호 보완적인 임베딩을 생성하고 결합할 수 있습니다.
• 교차 모델 임베딩 융합(Cross-Model Embedding Fusion): Mantis 임베딩을 TiViT-H나 TiConvNext와 같은 비전 기반 모델의 임베딩과 결합하여 시계열 데이터의 보완적인 측면을 활용합니다.

주요 기여

1. Mantis 아키텍처: 새로운 멀티뷰 토크나이징 전략을 갖춘, 시계열 분류에 특화된 경량 트랜스포머 기반 파운데이션 모델을 제시했습니다.
2. 합성 데이터 사전 학습: 대조 학습을 통해 합성 데이터로만 사전 학습하는 것이 강력한 제로샷 일반화 성능을 보이며, 실제 데이터로 사전 학습된 모델보다 우수함을 입증했습니다.
3. 테스트 타임 최적화: 미세 조정을 요구하지 않고도 제로샷 성능을 크게 높이는 일련의 추론 타임 기술(중간 레이어 선택, 토큰 집계, 셀프 앙상블, 교차 모델 융합)을 도입했습니다.
4. 최첨단 성능(SOTA): 동결된 인코더 환경에서 여러 벤치마크(UCR, UEA, HAR, EEG)에 걸쳐 새로운 최첨단 성능을 확립했습니다.

실험 결과

네 가지 다양한 데이터셋 컬렉션에 대해 광범ale한 실험이 수행되었습니다:

• UCR Archive (128개의 단변량 데이터셋): Mantis 및 그 변형들(SE-Mantis, 융합 모델)은 기존 파운데이션 모델(예: MOMENT, Chronos2, TiRex) 및 특화된 베이스라인(예: TS2Vec, Catch22+)을 일관되게 능가했습니다. Mantis는 전체 UCR 벤치마크에서 평균 0.8195의 정확도를 달encing하며 차순위 모델을 앞질렀습니다.
• UEA Archive (27개의 다변량 데이터셋): Mantis는 다른 모델들보다 2% 이상 높은 0.7420의 정확도를 기록하며 유의미하게 앞섰습니다.
• 인간 활동 인식(HAR) 및 EEG: Mantis는 관성 측정 장치 데이터 및 뇌-컴퓨터 인터페이스 신호를 포함한 도메인 특화 벤치마크에서 강력한 성능을 보였으며, 종종 비전 기반 적응 모델 및 다른 TSFM들을 능가했습니다.
• 효율성: Mantis는 (가지치기 후) 220만 개의 파라미터만을 보유하여 매우 효율적이며, 추론 시간 또한 Catch22+와 같은 통계적 베이스라인과 유사하여 컴퓨팅 자원이 제한된 환경에 적합합니다.

의의 및 주장

본 논문은 Mantis가 제로샷 시계열 분류의 새로운 최첨단 성능을 확립했음을 주장하며, 다음을 입증했습니다:

• 작업 특화 사전 학습의 중요성: 분류 목적(대조 손실)에 부합하는 목적으로 사전 학습되고 분류에 맞춰 설계된 아키텍처를 가진 모델이 일반적인 예측용 모델보다 우수합니다.
• 합성 데이터의 유효성: 합성 데이터로 사전 학습하는 것은 데이터 누수를 피하고 강력한 분포 외(out-of-distribution) 일반화를 강제하는 매우 샘플 효율적인 전략입니다.
• 중간 레이어의 결정적 역할: 시계열 분류의 "스케일링 법칙(scaling laws)"은 마지막 레이어가 아닌 중간 레이어 표현을 활용함으로써 테스트 타임에 실현됩니다.
• 경량 배포: 무거운 미세 조정을 필요로 하지 않는 경량 모델을 통해서도 높은 성능을 달성할 수 있어, 자원이 제한된 환경에서의 배포를 용이하게 합니다.

저자들은 자신들의 연구가 파운데이션 모델의 성공을 다른 모달리티에서 시계열 분류의 구체적인 요구사항으로 연결하며, 다양한 응용 도메인을 위한 강력하고 경량화되었으며 일반화 가능한 솔루션을 제공한다고 강조합니다.