기술 요약: CF-JEPA: 비대칭 인코더 활용을 통한 마스크 없는 순방향 예측

1. 문제 정의

시계열 표현 학습을 위한 자기지도 학습(SSL)은 현재 두 가지 패러다임에 의해 주도되고 있으며, 두 방식 모두 상당한 한계를 가지고 있습니다:

• 대조 학습 방법(Contrastive Methods): 이들은 양성 쌍(positive pairs)과 음성 쌍(negative pairs)을 구축하는 데 의존합니다. 이들은 데이터 증강(예: 스케일링, 워핑, 순열)을 필요로 하는 경우가 많은데, 이는 시계열 패턴을 왜곡하고 인과적 의존성을 깨뜨릴 위험이 있습니다. 또한, 샘의 정체성에만 기반하여 음성 쌍을 정의하는 것은 동일한 클래스의 서로 다른 샘플들을 멀어지게 함으로써 표현의 품질을 저하시킬 수 있습니다.
• 마스킹 기반 방법(Masking-Based Methods): BERT와 MAE에서 영감을 받은 이 방법들은 입력의 일부를 숨기고 모델이 이를 재구성하도록 학습합니다. JEPA(Joint-Embedding Predictive Architecture)는 원시 입력 공간이 아닌 표현 공간에서 예측함으로써 이를 개선했지만, 기존의 시계열 JEPA 변형들은 여전히 마스킹에 의존합니다. 저자들은 마스킹이 시계열 데이터의 구조를 파괴한다고 주장하는데, 이는 시간적 연속성을 깨뜨려 모델이 학습해야 할 패턴을 파괴하기 때문입니다. 이미지와 달리 시계열 신호는 공간적 중복성이 부족하여, 주변 패치로부터 마스킹된 콘텐츠를 추론하는 것이 문제가 될 수 있습니다.

핵핵심적인 문제는, 구조적으로 파괴적인 마스킹이나 왜곡되기 쉬운 증강에 의존하지 않으면서 시계열 데이터의 고유한 시간적 순서를 활용할 수 있는 JEPA 프레임워크가 부재하다는 것입니다.

2. 방법론: CF-JEPA

저자들은 마스킹을 다중 호라이즌 순방향 예측(multi-horizon forward prediction)으로 대체하는 마스크 프리 프레임워크인 **CF-JEPA(Crop-based Forward JEPA)**를 제안합니다.

2.1 핵심 아키텍처 및 학습

• 뷰 생성(View Generation): 마스킹이나 증강 대신, CF-JEPA는 **무작위 순방향 크롭(random forward cropping)**을 통해 뷰를 생성합니다. 입력 시계열에서 연속적인 부분 시퀀스를 추출함으로써 시간적 연속성과 기저 신호 구조를 보존합니다.
• 순방향 예측(Forward Prediction): 모델은 크롭된 컨텍스트의 미래 표현을 순방향 시간 방향으로 예측합니다. 크롭 이후의 시계열은 단기, 중기, 장기 미래에 해당하는 세 개의 동일한 길이의 존(zone)으로 나뉩니다. 세 개의 전용 선형 예측기가 컨텍스트 표현을 이 미래 존들로 매핑합니다.
• 듀얼 인코더 설정(Dual-Encoder Setup):
  • 온라인 인코더 ($f_{\theta_o}$): 크롭된 컨텍스트를 인코딩하며 경사 하강법을 통해 업데이트됩니다.
  • 타겟 인코더 ($f_{\theta_t}$): 온라인 인코더의 지수 이동 평균(EMA)입니다. 전체 시계열을 인코딩하여 안정적인 예측 타겟을 제공합니다. 그래디언트를 받지 않습니다.
• 손실 함수(Loss Function): 학습 목적 함수는 순방향 예측 손실과 표현 붕괴(representational collapse)를 방지하기 위한 비대조 정규화(VICReg)를 결합합니다:
  • 호라이즌 손실 ($\mathcal{L}_{horizon}$): 세 개의 미래 존에 대한 예측된 표현과 타겟 표현 사이의 L1 거리입니다.
  • 정규화: 차원의 다양성과 다양한 시간 척도에서의 불변성을 보장하기 위해 평균 풀링된 크롭 표현에 분산, 공분산 및 다중 스케일 불변성 손실이 적용됩니다.

2.2 비대칭 인코더 활용

본 연구의 핵심 발견은 단일 학습 과정에서 생성된 두 인코더에서 나타나는 뚜렷한 표현 특성입니다:

• 온라인 인코더: 샘플 수준의 분류에 적합한 고차원(higher-rank), 판별적 특징을 발달시킵니다.
• EMA 타겟 인코더: 타임스텝별 회귀 작업에 적합한 매끄럽고 저차원(lower-rank)인 시간적 특징을 발달시킵니다.
• 배포 전략: 저자들은 분류 작업은 온라인 인코더로, 예측/이상 탐지 작업은 EMA 타겟 인코더로 라우팅할 것을 제안합니다. 이 라우팅은 추가적인 학습 비용 없이 추론 시점에 수행됩니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

1. 마스크 프리 프레임워크 (C1): 무작위 순방향 크롭을 사용하여 마스킹을 다중 호라이즌 순방향 예측으로 대체하는 CF-JEPA를 도입했습니다. 이는 마스킹, 증강 또는 대조 쌍을 제거하여 시계열 데이터의 자연스러운 시간적 순서를 직접 활용합니다.
2. 비대칭 인코더 활용 (C2): 단일 학습 실행에서 생성된 온라인 인코더와 EMA 타겟 인코더 사이의 표현 비대칭성을 식별하고 활용했습니다. 분류를 온라인 인코더로, 예측/이상 탐지를 EMA 타겟 인코더로 라우팅함으로써 추가 학습 비용 없이 단일 인코더를 사용하는 것보다 다변량 예측 MSE를 27% 감소시켰습니다. 저자들은 이것이 비대칭성을 명시적으로 활용한 최초의 시계열 JEPA라고 주장합니다.
3. 포괄적 평가 (C3): 126개의 UCR 및 26개의 UEA 분류 데이터셋, 8개의 전력 변압기 온도(ETT) 예측 벤치마크, KPI/Yahoo 이상 탐지 데이터셋에 대한 광범위한 절제 연구 및 벤치마킹을 수행했습니다. 본 연구는 순방향 예측이 JEPA 프레임워크 내에서 마스킹보다 선호되며, 경량 선형 예측기가 충분하고, 백본-목적 함수 호환성이 중요하다는 것을 입증합니다.

4. 실험 결과

본 방법론은 통일된 프로토콜 하에서 10개의 최첨단 자기지도 학습 베이스라인(예: TS2Vec, CoST, TS-JEPA)과 비교 평가되었습니다.

• 분류(Classification): CF-JEPA는 UCR(126개 데이터셋) 및 UEA(26개 데이터셋) 모두에서 자기지도 베이스라인 중 가장 높은 평균 정확도와 평균 순위를 달성했습니다. 이는 일관되게 베이스라인들을 능가했으며, 상위 3개 경쟁 모델은 UCR에서 Nemenemi critical difference 범위 내에 있었습니다.
• 예측(Forecasting):
  • 다변량 벤치마크에서 CF-JEPA는 전체에서 3위를 차지했습니다 (주파수 영역 분리 전문 모델인 CoST 뒤).
  • 단변량 벤치마크에서는 전체에서 2위, 범용 자기지도 방법 중 1위를 차지했습니다.
  • 결정적으로, EMA 타겟 인코더를 예측에 사용했을 때 온라인 인코더를 사용하는 것보다 다변량 MSE를 27% 줄였습니다.
• 이상 탐지(Anomaly Detection): CF-JEKA는 KPI 및 Yahoo 벤치마크에서 k-NN 스코어링 하에 공동 최고 평균 순위를 기록했고, Gaussian 스코어링 하에서는 2위를 기록했습니다.
• 절제 연구 통찰(Ablation Insights):
  • 예측기 설계: 3-존 순방향 예측기가 마스크된 잠재 표현(masked-latent) 및 마스크된 입력(masked-input) 대안보다 우수한 성능을 보였습니다.
  • 예측기 용량: 경량 선형 예측기가 MLP나 Transformer만큼 혹은 그보다 더 잘 작동하여, 용량을 인코더에 할당하는 것이 적절함을 시사했습니다.
  • 백본 호환성: Multi-scale DWConv 백본이 Transformer 및 TS2Vec 백본과 결합되었을 때 순방향 예측 목적 함수와 결합하여 훨씬 더 우수한 성능을 보였으며, 이는 백본-목적 함수 호환성의 중요성을 강조합니다.
  • 인코더 비대칭성: 기하학적 분석을 통해 타겟 인코더가 온라인 인코더보다 낮은 유효 랭크와 더 높은 시간적 매끄러움(인접 타임스텝 코사인 유사도)을 가짐을 확인하였으며, 이는 작업별 라우팅 전략을 검증합니다.

5. 의의 및 주장

본 논문은 마스킹이 JEPA의 기본이거나 필수적인 접근 방식이라는 가설에 도전함으로써 CF-JEPA를 시계열 자기지도 학습의 중요한 진전으로 포지셔닝합니다.

• 이론적 함의: 본 연구는 데이터의 기하학적 구조(시간적 연속성 vs 공간적 중복성)가 자기지도 신호의 선택을 결정해야 한다고 주장합니다. 마스킹은 시간적으로 연속적인 신호에는 구조적으로 부적합합니다.
• 방법론적 함의: EMA 기반 듀얼 인코더 학습이 자연스럽게 두 가지 상보적인 표현 모드(고차원/판별적 vs 저차원/매끄러움)를 생성한다는 발견은 SSL을 위한 새로운 설계 원칙을 제시합니다. 이러한 "작업-인코더 매칭(task-encoder matching)"은 유효 랭크와 시간적 매끄러움에 기반하며, 다른 SSL 프레임워크(예: BYOL, SimSiam)에도 적용될 수 있습니다.
• 실질적 함의: CF-JEPA는 레이블이 부족한 산업 및 임베디드 애플리케이션을 위한 효율적인 솔루션을 제공합니다. 단일 학습 실행으로부터 두 개의 특화된 인코더를 도출함으로써 분류, 예측, 이상 탐지를 동시에 지원하여 운영 비용을 줄이고 자원이 제한된 엣지 장치에 배포를 가능하게 합니다.

저자들은 CF-JEPA가 분류 및 일반적인 예측/이상 탐지에서 앞서지만, 특정 도메인(예: 예측을 위한 CoST)에서는 전문화된 모델이 여전히 더 나을 수 있음을 언급하며 자신의 주장에 대해 겸허한 태도를 유지합니다. 주요 독창성은 마스크 프리 디자인과 인코더 비대칭성의 경험적 활용에 있습니다.