기술 요약: LeNEPA – 시계열 표현 학습을 위한 No-Augmentation 차세대 잠재 표현 예측 (No-Augmentation Next-Latent Prediction for Time-Series Representation Learning)

1. 문제 정의

시계열 자기지도 학습(Self-Supervised Learning, SSL)은 빠르게 발전해 왔으나, 도메인 특화된 뷰(view) 및 증강(augmentation) 전략에 대한 과도한 의존성으로 인해 실제 배포 단계에서 어려움을 겪고 있다. JEPA(Joint Embedding Predictive Architectures)와 같은 방식(예: PTB-XL을 위한 ECG_JEPA)이 성공을 거두었음에도 불구하고, 이들의 성능은 특정 "레시피"(특히 증강 및 마스킹 전략)가 구조적으로 다른 신호 군(signal family)으로 전이될 때 재조정(re-tuning) 없이 그대로 적용될 경우 매우 취약해지는 경향이 있다.

본 논문은 더 좁고 구체적인 실무적 질문을 제기한다: "SSL 레시피의 메서드별 설정(method-specific configuration)을 변경 없이 그대로 재사용했을 때, 해당 레시피는 어떻게 동작하는가?" 저자들은 최적으로 튜닝된 벤치마크와 비교하기보다는, 도메인 특화된 불변성(예: ECG 형태학)에 의존할 때 발생하는 비용을 측정하기 위해 이를 "고정된 레시피 스트레스 테스트(fixed-recipe stress test)"로 다룬다.

2. 방법론: LeNEPA

저자들은 데이터셋별 뷰 엔지니어링(view engineering)을 요구하지 않으면서 유용한 고정(frozen) 시퀀스 임베딩을 생성하도록 설계된 가볍고 증강이 없는 SSL 아키텍처인 LeNEPA(Latent Euclidean Next-Embedding Prediction Architecture)를 소개한다.

핵심 아키텍처

• 백본(Backbone): 스트라이드 컨볼루션(ViT 스타일)에 의해 생성된 패치 임베딩 시퀀스를 처리하는 인과적 트랜스포머(Causal Transformer)를 사용한다.
• 목표(Objective): 자기회귀적 차세대 잠재 토큰 예측(Autoregressive next-latent-token prediction)이다. 각 타임 스텝 $t$에서 모델은 투영된 공간에서의 평균 제곱 오차(MSE)를 최소화함으로써 $t+1$ 시점의 잠재 토큰을 예측한다.
• No Augmentation (증강 없음): 마스킹이나 크로핑(cropping)에 의존하는 JEPA 변형들과 달리, LeNEPA는 데이터 증강 없이 원시 시퀀스(raw sequence) 상에서 직접 작동한다.

안정화 메커니즘

표준적인 차세대 임베딩 예측(NEPA)은 일반적으로 붕괴(collapse)를 방지하기 위해 지수 이동 평균(EMA)과 스톱-그레이디언트(stop-gradients)를 통해 업데이트되는 티처 네트워크(teacher network)에 의존한다. LeNEPA는 이를 다음 두 가지로 대체한다:

1. SIGReg (Sketched Isotropic Gaussian Regularization): 스톱-그레이디언트 대신, LeNEPA는 토큰 임베딩 분포를 등방성 가우시안(isotropic Gaussian)으로 정규화하는 SIGReg를 사용한다. 결정적으로, 저자들은 시간적 SIGReg(각 샘플 내의 토큰 집합을 시간축을 따라 정규화하는 것)가 가장 효과적인 안정화 장치임을 발견했다. 이는 글로벌 정규화가 놓치는 시간적 차원의 붕괴를 방지한다.
2. Guillotine Regularization (길로틴 정규화): 예측 손실은 경량화된 투영 공간(프로젝터 $h_\psi$ 사용)에서 계산된다. 이 프로젝터는 평가 시점에 폐기되며, 이를 통해 학습된 표현이 프로젝션 헤드가 아닌 백본에 존재하도록 보장한다.

손실 함수

전체 손실은 예측 손실과 정규화 항의 결합으로 구성된다:
$$\mathcal{L} = \lambda_{pred}\mathcal{L}_{pred} + \lambda_T \mathcal{L}_{SIG}^{time}$$
여기서 $\mathcal{L}_{pred}$는 투영된 예측값과 투영된 타겟(한 단계 시프트됨) 사이의 MSE이며, $\mathcal{L}_{SIG}^{time}$은 시간적 토큰 집합에 등방성 정규화를 적용한다.

3. 평가 프로토콜

본 연구는 **레시피의 이식성(recipe portability)**과 **체크포인트 전이(checkpoint transfer)**를 구분하기 위해 두 가지 별도의 평가 프로토콜을 채택한다.

1. 고정된 레시피 사전 학습 재사용 (PTB-XL vs. Diag)

• 데이터셋: PTB-XL (실제 12-리드 ECG) 및 Diag (Aionoscope를 통해 다양한 신호 유형으로 생성된 합성 진단 코퍼스).
• 설정: LeNEPA와 JEPA 베이스라인 모두 두 데이터셋에 대해 독립적으로 학습된다.
• 제약 조건: "레시피"는 PTB-XL 튜닝을 기준으로 고정된다. JEPA 레시피는 ECG에 튜닝된 마스킹 스케줄을 사용하며, LeNEPA는 고정된 No-augmentation 구성을 사용한다. Diag를 위해 재튜닝되지 않는다.
• 프로브(Probe): 고정된 선형 프로브(linear probe)를 백본의 중간 레이어(0–8)에서 학습시켜 표현의 품질을 측정한다.

2. 고정된 인코더 체크 (CauKer to UCR-128)

• CauKer 데이터셋에서 사전 학습된 LeNEPA 변형을 고정하고, MantisV2 프로토콜에 따라 Random Forest 분류기를 사용하여 전체 UCR-128 아카이브를 평가한다. 이는 단일한 No-augmentation 인코더가 128개의 다양한 단변량 태스크에 일반화될 수 있는지를 테스트한다.

4. 주요 결과

고정된 레시피 재사용 (PTB-XL vs. Diag)

• JEPA의 취약성: ECG에 튜닝된 JEPA 레시피는 PTB-XL(인도메인)에서는 강력한 성능을 보이지만, 구조적으로 다른 Diag 데이터셋에 변경 없이 재사용되었을 때 성능이 크게 저하된다. 이는 JEPA가 도메인 특화된 증강 가정에 의존함을 보여준다.
• LeNEPA의 견고성: LeNEPA는 수정 없이도 두 데이터셋 모두에서 유용한 고정 프로브 이득을 유지한다. LeNEPA는 최종 성능과 학습 역학 모두에서 고정된 JEPA 레시피보다 Diag 데이터셋에서 더 우수한 성능을 보인다.
• 학습 역학: LeNEPA는 더 빠른 초기 표현 습득을 보여준다. JEPA의 리드아웃(readout)이 510k 업데이트 후에 도달하는 데 비해, LeNEPA는 25k 업데이트 만에 최종 AUROC/AUPRC 이득의 80%에 도달한다.

고정된 인코더 체크 (UCR-128)

• CauKer에서 학습된 단일 시드, 최적 체크포인트 런의 LeNEPA는 Random Forest를 사용하여 UCR-128에서 **77.65%**의 평균 정확도를 달로 달성했다.
• 이 결과는 LeNEPA가 인과적 백본을 사용하고, 수작업 증강이 없으며, 1차 차분 브랜치(first-difference branches)도 사용하지 않았음에도 불구하고(이 특정 벤치마크에서 Mantis 대비 구조적 불리함), Mantis(78.81%)와는 1.16 포인트, MOMENT(77.89%)와는 0.24 포인트 차이 이내의 성능을 보여준다.

Ablations 및 진단

• 레이어 민감도: JEPA가 종종 상위 레이어에서 정점을 찍는 것과 달리, LeNEPA와 NEPA는 중간 레이어(일반적으로 $L_4$ 또는 $L_5$)에서 최적의 프로브 점수를 달성한다. 마지막 레이어는 종종 성능이 떨어지는데, 이는 깊은 블록들이 예측 작업에는 특화되지만 중간 레이어가 더 일반적인 특징을 보유하고 있음을 시사한다.
• SIGReg 축: Temporal SIGReg만이 두 데이터셋 모두에서 지속적인 이득을 제공하는 유일한 정규화 배치였다.
• 프로젝터: Disposable 프로젝터를 사용하는 것이 백본에서 직접 손실을 계산하는 것보다 성능을 개선하며, 이는 표현 공간과 손실 공간의 분리를 검증한다.

5. 의의 및 주장

본 논문은 No-augmentation 잠재 표현 예측이 데이터셋별 뷰 엔지니어링을 최소화하면서 SSL 레시피를 재사용해야 하는 상황에서 유망한 후보 레시피임을 결론짓는다.

• 겸손한 주장: 저자들은 모든 튜닝된 베이스라인을 능가하는 새로운 "파운데이션 모델"을 주장하는 것이 아님을 명시한다. 대신, 증강 의존성을 제거하는 것이 SSL 레시피가 신호 군이 바뀔 때 발생하는 취약성을 줄여준다는 것을 입증한다.
• 실질적 영향: 본 연구 결과는 산업용 텔레메트리, 금융, 생리학과 같이 휴대 가능한 사전 학습(portable pretraining)이 필요한 응용 분야에서, No-augmentation 목적 함수인 LeNEPA가 세심한 도메인 특화 뷰 엔지니어링을 요구하는 JEPA 변형들에 비해 더 견고한 대안이 될 수 있음을 시사한다.
• 한계점: 연구는 컨볼루션 토크나이저가 여전히 데이터셋 특화된 설계(커널 크기, 스트라이드)를 필요로 한다는 점과, Diag 합성 코퍼스가 모든 실제 진단 데이터의 직접적인 대리물이 아닌 통제된 증거로서 사용되었다는 점을 인정한다. UCR-128 결과는 단일 시드와 최적 체크포인트를 기반으로 한 것으로, 확정적인 리더보드 기록이라기보다 존재 증명(existence proof)의 성격을 띤다.

소스 코드: https://github.com/langotime/lenepa-milets-2026 에서 이용 가능합니다.