EPM-JEPA: Operator-Side Experience Modulation in JEPA-Family World Models

기술 요약: EPM-JEPA – JEPA 계열 월드 모델에서의 연산자 측면 경험 변조(Operator-Side Experience Modulation)

문제 정의
JEPA(Joint-Embedding Predictive Architectures)는 불필요한 지각적 세부 사항을 모델링하는 복잡성을 피하기 위해 잠재 공간(latent space)에서 미래 상태를 예측한다. 그러나 표준 JEPA 예측기는 정적이며, 테스트 시점의 역학(dynamics)이 훈련 분포와 달라질 때(예: 중력이나 마찰력의 변화) 가중치가 적응하지 못한다. 기존의 메모리 증강 모델(예: 외부 메모리를 가진 트랜스포머)은 경험을 추가적인 입력(피연산자 측면, operand-side)으로 주입함으로써 이 문제를 해결하지만, 예측기의 가중치는 변경하지 않는다. 본 논문은 연산자 측면 변조(operator-side modulation)—축적된 경험을 사용하여 예측기의 가중치를 직접 수정하는 방식—가 분포 변화에 적응하는 데 있어 더 우수한 메커니즘을 제공하는지 조사한다.

방법론
저자들은 EPM-JEPA(Experience-Modulated JEPA)를 제안하고, 중력 변화(0.0 ~ 0.5 px/frame²)가 있는 Moving MNIST 태스크에서 두 가지 베이스라인과 비교한다. 모든 모델은 인코더, EMA 타겟 인코더, 예측기 베이스를 공유하며, 경험을 활용하는 방식에서만 차이가 난다:

1. Track A (Vanilla JEPA): 메모리 메커니즘이 없는 베이스라인.
2. Track B (EI-JEPA): 압축된 경험 표현을 예측기의 은닉 상태에 잔차(residual)로 더하는 피연산자 측면(operand-side) 접근 방식.
3. Track C (EPM-JEPA): 경험 표현이 LoRA(Low-Rank Adaptation)를 통해 저계수 가중치 델타($\Delta W$)를 생성하는 연산자 측면(operator-side) 접근 방식. 이 델타는 고정된 예측기의 선형 레이어에 적용되어, 최근의 이력에 따라 계산 자체를 변경한다.

메모리 서브시스템
Track B와 C는 공유된 메모리 파이프라인을 사용한다:

• 경계 탐지(Boundary Detection): 배치 평균 서프라이절(batch-mean surprisal)을 모니터링하여 "경계 이벤트"(유의미한 예측 오차)를 식별한다.
• 경험 버퍼(Experience Buffer): 경계 이벤트 발생 시 잠재 전이(latent transitions)를 저장하는 FIFO 버퍼(용량 256).
• 인코딩 및 집계(Encoding & Aggregation): 트랜스포머 인코더가 저장된 쌍들을 처리하고, 어텐션 메커니즘이 이를 현재 잠재 상태에 조건화된 단일 벡터($e_{agg}$)로 집계한다.
• 변조(Modulation): EPM-JEPA에서 $e_{agg}$는 LoRA 모듈을 구동하여 $\Delta W = U \cdot \text{diag}(\delta) \cdot V^\top$를 생성하며, 이는 고정된 예측기 가중치에 더해진다.

주요 결과
실험은 사전 등록된 비교 프레임워크 내에서 세 가지 결과 클래스를 대상으로 수행되었다. 주요 지표는 이동 분포에서의 평균 정규화 예측 오차인 $D^{shift}_{n=50}$이다.

• 사전 등록된 비교 (Track C vs. Track B): 성능 차이는 $\delta = 4.74\%$였다. 논문의 기준($|\delta| < 5\%$)에 따라, 이는 **결과 C: 귀무 결과(null result)**에 해당한다. EPM-JEPA는 주요 가설 검정에서 피연산자 측면 주입(EI-JEPA)보다 통계적으로 우세하지 않았다.
• 이차적 관찰 (Track C vs. Track A): EPM-JEPA는 세 개의 시드 전체에서 베이스라인(Track A) 대비 예측 오차를 1.90% 개선했다. 반면, EI-JEPA(Track B)는 베이스라인보다 성능이 낮게 나타났는데, 이는 단순한 입력 주입은 이 설정에서 효과적이지 않은 반면, 가중치 수준의 변조는 완만한 하지만 일관된 이득을 제공함을 시사한다.
• 메커니즘 분석: EPM-JEPA의 성능 궤적은 안정적인 평형으로 수렴하는 것이 아니라, 세 가지 독립적인 동적 프로세스에 의해 지배된다:
  1. 버퍼 사이클링(Buffer Cycling): 유한한 버퍼가 포화되고 순환하며 피크 형성에 영향을 미친다.
  2. EMA 타겟 드리프트(EMA Target Drift): 느리게 움직이는 EMA 타겟 인코더가 LoRA 가중치가 안착한 후에도 예측 대상을 계속 변화시켜, 피크 이후의 성능 발산을 초래한다.
  3. LoRA 안착 과도기(LoRA Settling Transient): 감쇠하는 학습률 하에서 LoRA 가중치가 안착함에 따라 발생하는 고유한 +0.021의 오차 상승은 프리즈(freeze) 타이밍과는 독립적으로 발생한다.

의의 및 주장
본 논문은 자신의 주요 과학적 기여가 연산자 측면 가설의 반증(결과 C)이 아니라, 시스템의 역학에 대한 메커니즘 분석에 있다고 명시한다.

• 귀무 결과의 과학적 타당성: 저자들은 결과 C가 사전 등록된 기준에 따른 유효한 과학적 결과임을 강조하며, 초점을 '승리'하는 비교에서 '왜' 시스템이 그렇게 작동하는지를 이해하는 것으로 전환한다.
• 동역학적 한계: 연구는 성능 피크가 버퍼 사이클링, EMA 드리프트, LoRA 안착 사이의 상호작용에 의해 발생하는 일시적인 구성이지, 안정적인 최적 상태가 아님을 밝혀냈다.
• 구조적 긴장(Structural Tension): 예측 최적성과 표현 다양성 사이에는 트레이드오프가 존재한다. 가장 성능이 좋은 LoRA 구성은 출력 매니폴드를 수축시키며($\sigma_{embed}$를 안전 임계값 0.5 미만으로 낮춤), 다양성을 회복하기 위해 규제를 높이면 예측 성능이 저하된다.
• 향후 방향: 이러한 발견은 물리 법칙에 기반한 잠재 구조(명시적 운동학 상태)를 도입하여 타겟 분포를 제약하고 식별된 동적 피크 한계를 완화하는 후속 모델인 PEM-JEPA를 제안하는 동기가 된다.

저자들은 연산자 측면 변조(LoRA를 통한)가 입력 주입과는 구별되는 독특한 적응 경로를 제공하지만, 현재의 아키텍처는 구조적 변화(단순한 훈련 스케줄 조정이 아닌)를 통해서만 해결할 수 있는 고유한 동적 과도기에 의해 제한된다고 결론짓는다.