기술 요약: Dynamic LeJEPA

1. 문제 정의

결합 임베딩 예측 아키텍처(Joint-Embedding Predictive Architectures, JEPAs)는 로보틱스와 자율 주행을 위한 잠재 세계 모델(latent world models)의 중추로 부상했습니다. 그러나 지속적인 경험적 역설이 존재합니다: 성능을 개선하기 위해 도메인 지식(물리학, 운동학, 기하학)을 이러한 모델에 주입하려는 시도가 일관되게 표현 품질(representation quality)을 저하시킨다는 점입니다. 실무자들은 직관적인 제약 조건이 잠재 공간(latent space)에 적용될 때 표현 붕괴(representation collapse)나 다운스트림 리스크 증가를 초래하는 "블랙박스" 딜레마에 직면해 있으며, 왜 "도움을 주는 것"이 모델을 해치는지에 대한 이론적 설명은 부재한 상황입니다. 또한, 기존 JEPAs(특히 LeJEPA)에 대한 이론적 토대는 정적 이미지에 대해 개발되었으며 순차적 데이터(sequential data)에 대한 보증이 부족하여, 동적 환경을 위한 원칙적인 세계 모델을 설계하는 데 있어 결정적인 공백을 남겼습니다.

2. 방법론 및 이론적 프레임워크

본 논문은 관심사(concerns)의 엄격한 분리를 확립하는 6개의 정리를 통해, 세계 모델 아키텍처에서 물리 주입 역설을 해결하는 Dynamic LeJEPA 프레임워크를 소개합니다. 핵심적인 이론적 기여는 **등방성 최대 엔트로피 임베딩(isotropic maximum-entropy embeddings)**이 순차적 예측 손실 하에서도 대칭 안정성(symmetry-stable)을 유지함을 증명하는 것입니다.

이론적 핵심

• 정리 IV.1 (예측-엔트로피 분리): 모든 립시츠 연속(Lipschitz) 및 직교 불변(orthogonally-invariant) 예측 목적 함수(예: 제곱 유클리드 손실)에 대해, 최적의 임베딩 분포는 등방성 가우시안 $N(0, \sigma^2 I)$로 남음을 증명합니다. 예측 손실은 이미 최대 엔트로피 상태에 있는 인코더의 방향성에 어떠한 순 방향의 힘(net force)도 가하지 않습니다. 즉, 예측 오차를 줄이기 위해 임베딩을 등방성에서 회전시키도록 유도하는 1차적 인센티브가 존재하지 않습니다.
• 정리 IV.10 (디코더 물리 분리): 물리적 제약 조건은 디코더(관측치 재구성)에는 유효하고 유익하지만, 인코더(잠재 표현)에는 부적절하다는 것을 확립합니다. 인코더를 제약하는 것은 최대 엔로피 보증을 위반하며, 다운스트림 리스크를 능동적으로 증가시킵니다.
• 정리 IV.4 & IV.7: 이러한 보증을 로보틱스(액션 조건부 예측)와 자율 주행(에고 모션 분해)으로 확장하여, 작업 관련 구조가 임베딩 분포에 대한 제약이 아니라 예측기(predictor) 내의 예측 가능성을 통해 인코딩됨을 증명합니다.

실험 프로토콜

저자는 두 개의 도메인과 두 개의 인코더 메커니즘에 걸쳐 단계적이고 통계적으로 엄격한 프로토콜을 통해 정리를 검증합니다:

1. 단계 1 (메트릭 특성화): nuScenes-mini를 사용하여 표준 분포 메트릭(유효 차원, $d_{eff}$)이 샘플 기아(sample starvation, $N/K < 5$) 상황에서 실패함을 입증하고, 검증을 위한 신뢰 임계값을 설정합니다.
2. 단계 2 (고차원 검증): nuScenes Trainval($N/K = 55.5$)로 규모를 확장하여, SIGReg(특성 함수 매칭)와 VAE-KL(주변 분포 전용 KL 발산) 인코더를 모두 사용하여 배치 규칙(디코더 물리 vs 인코더 물리)을 테스트합니다.
3. 단계 3 (저차원 로보틱스): MimicGen 양손 스레딩 작업($N/K = 78$, 고유 차원 $\sim 10$)으로 전이하여, 엔트로피-유틸리티 프런티어를 특성화하고 "상관 붕괴(correlated collapse)"를 테스트합니다.

3. 주요 기여 및 결과

A. 배치 규칙 (The Placement Rule)

본 논문은 세계 모델을 위한 최초의 수학적 근거를 가진 설계 원칙을 제공합니다:

• 인코더: 최대 엔트로피 임베딩을 생성해야 함 (물리 제약 없음).
• 예측기: 역학(dynamics)을 학습함 (어떤 파라미터 모델도 안전함).
• 디코더: 물리 제약을 포함함.
• 결과: 110회의 시드 실행(4개 도메인 $\times$ 메커니즘 조합)에 걸쳐, 디코더-물리 방식이 표현 품질($d_{eff}$)을 보존하는 데 있어 인코더-물리 방식보다 일관되게 우수한 성능을 보였습니다. 이 순서에 대한 결합 Holm 교정 p-값은 0.0078입니다. 이러한 위반은 훈련 예산이 늘어날수록 심화되며, 이는 이것이 일시적인 현상이 아닌 구조적인 문제임을 확인시켜 줍니다.

B. 상관 붕괴 (Correlated Collapse)의 발견

저자는 저차원 데이터(단계 3, 저차원 로보틱스 데이터)에서 고차원 데이터에서는 보이지 않는 실패 모드인 **상관 붕계(Correlated Collapse)**를 발견했습니다.

• 인코더는 차원별 분산 매칭(주변 엔트로피)은 만족할 수 있으나, 결합 공분산 구조를 붕괴시킬 수 있습니다 (유효 랭크 $\approx 256$ 중 $6$).
• 이 실패는 VAE-KL 인코더에서도 일반화되며, 이는 주변 분포 전용 정규화(marginal-only regularizers)가 저차원 매니폴드에 불충분함을 증명합니다.
• 해결책: 결합 수준의 구조를 명시적으로 강제하는 SIGReg+를 도입하고, 샘플링 노이즈 아래에 숨겨진 붕괴를 감지하기 위한 **사후 신호 분율 진단(posterior signal-fraction diagnostic)**을 도입했습니다.

C. 모델 착취 혼란 (The Model-Exploitation Confound)

본 논문은 표현 품질이 다운스트림 제어(control)로 어떻게 전이되는지 잠재 크로스 엔트로피 방법(latent CEM) 플래너를 통해 조사합니다.

• 발견: 학습된 디코더를 대상으로 한 오프라인 잠재 계획(offline latent planning)은 모든 조건에서 실제 액션 재생(ground truth)보다 일관되게 "더 나은" 점수를 산출합니다.
• 진단: 이는 우수한 제어의 증거가 아니라 **모델 착취(model exploitation)**입니다. 플래너는 실제 물리적으로 유효하지 않으면서도 디코더의 비용 함수를 낮추는, 실제 궤적으로부터 액션 범위의 약 25% 정도 떨어진 액션 시퀀스를 찾아냅니다.
• 시사점: 오프라인 계획 메트릭은 제어 역량(control competence)을 인증하기에 불충분합니다. 본 논문은 이 혼란을 감지하기 위한 진단법(액션 공간 거리 vs 실제 액션 재생 하한선)을 제시합니다.

4. 의의 및 주장

본 논문은 물리 정보가 포함된 JEPA의 경험적 역설을 해결했다고 주장하며, 도메인 지식을 주입하려는 직관은 옳았으나 그 대상(target)이 틀렸음을 증명했습니다.

• 이론적 보증: 물리 제약이 디코더에서는 안전하지만 인코더에서는 파괴적이라는 것을 증명함으로써, 이는 JEPA 스타일의 결정론적 인코더와 VAE 스타일의 가우시안 인코더 모두에 적용되는 규칙임을 확립했습니다.
• 방법론적 주의: 오프라인 잠재 계획이 모델 착취로 인해 제어 역량으로 오인될 수 있음을 투명하게 경고하며, 향후 검증을 위해 폐루프(closed-loop), 시뮬레이터 검증 실행이 필수적임을 명시했습니다.
• 설계 원칙: 구체적인 청사진을 제공합니다: 인코더 최대 엔트로피 + 예측기 역학 + 디코더 물리.

저자는 표현 수준의 보증은 통계적으로 견고하지만, 이 아키텍처가 *폐루프 제어(closed-loop control)*를 개선한다는 주장은 여전히 실환경 검증이 필요한 미해결 과제로 남아 있다고 명시적으로 밝히며, 이를 향후의 필수적인 다음 단계로 식별했습니다.