기술 요약: "당신의 확률적 JEPA는 숨겨진 마르코프 모델(HMM)이다"

문제 정의

Joint-Embedding Predictive Architectures (JEPA)는 원시 관측치를 재구성하는 대신 관측된 맥락으로부터 타겟 표현을 예측함으로써 학습한다. Variational JEPA (VJEPA)는 이를 확장하여 미래의 잠재 상태에 대한 조건부 분포를 예측하며, Predictive Information Bottleneck (PIB) 확장은 현재의 표현을 확률적으로 만들어 정보 보유를 제어한다.

이러한 구조적 유사성에도 불구하고, 완전히 확률적인 시계열 JEPA와 고전적인 은닉 마르코프 모델(HMM) 사이의 정확한 확률적 매핑은 여전히 불분명한 상태로 남아 있다. 구체적으로, JEPA의 확률적 맥락 인코더(context encoder)가 방출 모델(emission model) 역할을 하는지 아니면 필터링 분포(filtering distribution) 역할을 하는지, 그리고 어떤 조건에서 학습된 잠재 역학(latent dynamics)이 HMM의 엄격한 일관성 요구 사항(예: Chapman–Kolmogorov 일관성, 필터링 등가성)을 충족하는지가 모호하다.

방법론

본 논문은 전체 시간 인덱스 기반의 PIB-VJEPA를 HMM과 유사한 세 가지 역할으로 분해함으로써 상태 공간 해석을 제안한다:

1. 상태 추론 (필터링): 확률적 맥락 인코더 $q_\theta(Z_t | X_{\le t})$는 관측 이력으로부터 현재 잠재 상태에 대한 신념(belief)을 추론한다.
2. 상태 전이: 확률적 예측기 $p_\phi(Z_{t+1} | Z_t, \xi_t)$는 잠재 상태를 순방향으로 전파한다.
3. 방출 (Emission): 디코더 $p_\psi(X_{t+1} | Z_{t+1})$, 가역적 타겟 인코더, 또는 유도된 암시적 조건부(implicit conditional)가 상태-관측 매핑을 제공한다.

이 대응 관계를 구체적이고 분석 가능하게 만들기 위해, 저자는 **Markov-Chain JEPA (MCJEPA)**를 도입한다. 이 정식화에서:

• 잠재 상태 $Z_t$는 범주형(categorical, 이산적)이다.
• 예측기는 학습된 행-스토캐스틱(row-stochastic) 전이 행렬 $A$로 대체된다.
• 다단계 예측은 행렬 거듭제곱($\hat{q}_{t+h} = q_t A^h$)을 통해 계산되며, 이는 정확한 Chapman–Kolmogorov 일관성(즉, 직접 예측과 합성된 다중 지평 예측이 동일함)을 보장한다.

본 논문은 이 프레임워크를 다음과 같이 일반화한다:

• 조건부 전이: $A$가 부가 정보 $\xi_t$의 함수인 경우.
• 연속 상태: 행렬을 마르코프 커널(예: 가우시안 전이)로 대체하는 경우.
• 연속 시간: 생성자 행렬(generator matrices) 또는 확률 미분 방정식(SDE)을 사용하는 경우.
• 결정론적 극한: 표준 결정론적 JEPA가 전이 커널이 디락 델타(Dirac delta)가 되는 퇴화된 사례임을 보여준다.

저자는 JEPA와 HMM 사이의 네 가지 점진적으로 강화되는 대응 수준을 정의한다:

1. 계산적 대응 (Computational Correspondence): 인코딩-전이-방출 파이프라인을 공유함.
2. 방출 완전 표현 (Emission-Complete Representation): 유효한 상태-관측 조건부(state-to-observation conditional)를 보유함.
3. 시퀀스 수준 HMM 등가성 (Sequence-Level HMM Equivalence): 마르코프성, 주변 일관성(marginal-consistency), 필터링 일관성 조건을 충족함 (정리 1로 공식화됨).
4. 모델 및 목적 함수 등가성 (Model-and-Objective Equivalence): HMM 스타일의 시퀀스 가능도(sequence likelihood)를 추가하여 모델을 학습함.

나아가, 본 논문은 Predictive Information Bottleneck 학습을 마르코프화(Markovization) 과정으로 해석한다: 압축은 최소성(redundant history 제거)을 촉진하며, 잔여 예측 가능성(residual predictability)은 충분성(전이 관련 정보가 누락되지 않았는지)을 테스트한다.

주요 기여

1. MCJEPA 구축: 공유된 전이 행렬을 통해 정확한 다중 지평 경로 일관성을 강제함으로써, 신경망 예측기와 고전적 마르코프 체인 사이의 투명한 가교를 제공하는 MCJEPA를 도입하였다.
2. 공식적 HMM 등가 조건 도출: 확률적 시계열 JEPA가 정확한 시퀀스 수준 HMM 표현을 갖게 되는 충분 조건(정리 1)을 유도하여, 인코더의 역할(필터링)과 방출 방향의 차이를 명확히 하였다.
3. 진단 프레임워크 개발: 학습된 상태가 마르코프 충분(Markov sufficient)한지 테스트하기 위한 "잔여 예측 가능성(residual predictability)" 진단법을 개발하였다. 만약 과거의 이력이 현재 상태보다 예측력을 높인다면, 그 표현은 불충분한 것이다.
4. 목적 함수 연속체 (Objective Continuum): 동일한 아키텍처에서 학습 가능한 목적 함수의 연속체를 입증하였다: 순수 JEPA 잠재 예측, 순수 Hmm 시퀀스 가능도, 또는 이들의 하이브리드 형태.

실험 결과

저자는 알려진 ground-truth 잠재 구조를 가진 합성 프로세스를 대상으로 네 가지 통제된 실험을 수행하였다:

• 실험 1 (유한 HMM 회복): MCJEPA는 공유 행렬 제약 덕분에 높은 정확도(ARI $\approx$ 0.98)와 거의 제로에 가까운 경로 불일치($D_{path} = 0$)로 4-상태 HMM 전이 행렬을 성공적으로 회복하였다. 반면, 지평별 예측기(각 단계에 대해 독립적인 행렬을 학습)는 모호한 영역에서 약간 더 나은 유연성을 보였으나, 일관되고 구성적인 전이 법칙을 유지하는 데 실패하였다.
• 실험 2 (필터링 vs 국소 증거): 오라클ل 사후 확률(oracle posteriors)을 사용하여, 방출의 모호성이 증가할수록 이력 의존적 필터링($p(S_t | X_{\le t})$)이 국소 증거($p(S_t | X_t)$)보다 성능이 크게 우수함을 보여주었으며, 이를 통해 JEPA 맥락 인코더가 암묵적 필터(amortized filter)라는 해석을 검증하였다.
• 실험 3 (예측적 압축): 2차 이진 프로세스에서, 모델은 3-비트 이력을 4-상태의 최소 충분 표현($Z_t = (X_{t-1}, X_t)$)으로 성공적으로 압축하여, 예측력을 잃지 않으면서도 중복된 $X_{t-2}$를 제거하였다. 더 낮은 수준으로의 압축은 예측 정보의 손실을 초래했으며, 이는 잔여 이력 이득($\Delta_{hist}$)의 급격한 증가로 감지되었다.
• 실험 4 (목적 함수 비교): 동일한 아키텍처에 대해 JEPA 전용, HMM 스타일, 하이브리드 학습 체제를 비교하였다:
  • JEPA 전용은 의미 있는 잠재 상태를 학습했으나, 시퀀스 NLL(음의 로그 가능도)과 전이 오차가 더 높았다.
  • HMM 스타일 (시퀀스 가능도 + 필터 증류)은 가장 강력한 상태 회복(ARI $\approx$ 0.9945)과 가장 낮은 시퀀스 NLL을 달성하였다.
  • 하이브리드 학습 (JEPA + HMM 목적 함수)은 원래의 JEPA 잠재 예측 목적 함수를 유지하면서도, HMM 스타일의 성능 격차를 거의 좁혔다 (시퀀스 NLL 격차의 98.6% 달성).
  • 결정적으로, HMM 스타일 체제는 JEPA 잠재 예측 손실($L_{MC}$) 없이도 강력한 결과를 얻었으며, 이는 아키텍처가 학습 목적 함수에 유연하다는 것을 증명한다.

의의 및 주장

본 논문은 확률적 시계열 JEPA가 단순히 HMM의 대안이 아니라, 특정 구조적 및 학습 조건 하에서 엄밀하게 HMM으로 해석될 수 있다고 주장한다.

• 구조적 통찰: PIB-VJEPA의 확률적 맥락 인코더는 방출 모델이 아니라 필터링 분포(이력으로부터 숨겨진 상태를 추론)의 역할을 수행한다. 방출 방향은 디코더나 역 인코더에 의해 별도로 공급된다.
• 마르코프화 원리: Predictive Information Bottleneck 학습은 압축적인 충분 마르코프 상태를 구축하는 과정으로 프레임화된다. 압축은 최소성을 유도하고, 잔여 진단은 충분성을 보장한다.
• 목적 함수 의존성: JEPA의 "HMM성(HMM-ness)"은 아키텍처에 의해서만 결정되는 것이 아니라 학습 목적 함수에 의해서도 결정된다. 아키텍처는 HMM 의미론을 지원하지만, 표준 JEPA 학습은 시퀀스 가능도가 아닌 잠재 정렬(latent alignment)을 최적화한다. 완전한 등가성을 위해서는 명시적인 시퀀스 수준의 감독(supervision)이 필요하다.
• 일반성: 이 대응 관계는 잠재 상태(메모리가 추가된 잠재 상태 포함)가 1차 마르코프 성질을 만족하는 한, MCJEPA를 넘어 일반적인 신경 예측기(연속, 순환 또는 고차 모델)로 확장된다.

결론적으로, 본 논문의 결과는 시계열 JEPA에 대한 원칙적인 상태 공간 해석을 제공하며, 계산적 역할, 표현의 완전성, 그리고 학습 목적 함수에 의해 강제되는 확률적 의미론을 구분한다.