=== 요약 ===

기술적 요약: SJEPA – 하이브리드 기호-신경 예측기를 통한 우아한 잠재 역학 학습

1. 문제 정의

결합 임베딩 예측 아키텍처(JEPA)는 컨텍스트 임베딩으로부터 타겟 임베딩을 예측함으로써 추상적인 상태를 학습하며, 예측의 의미론과 픽셀 수준의 가변성을 분리한다. 그러나 표준 JEPA는 일반적으로 불투명한 신경 전이 모델을 채택한다. 이러한 모델은 정확하지만, 어떤 변수가 상호작용하는지, 행동이 미래를 어떻게 변화시키는지, 또는 학습된 좌표가 간결한 역학적 설명을 지원하는지 여부를 밝혀내지 못한다.

본 논문은 특정 공백을 다룬다: JEPA가 예측 상태뿐만 아니라 그 상태에 대한 "우아한" 역학을 학습할 수 있는가? 여기서 "우아함"은 운영 측면에서 예측에 적절하면서도 압축적이고 절약적인 법칙으로 정의된다. 과제는 정보가 풍부한 예측 상태를 유지하면서도(표현을 붕괴시켜 전이를 사소하게 만드는 정보 삭제 없이), 역학의 언더피팅(underfitting)을 피하며 가장 단순하고 적절한 지배 법칙을 찾는 것이다.

2. 방법론: SJEPA 프레임워크

저자는 잠재 전이 연산자를 기호적 지배 법칙과 정규화된 신경 보정의 하이브리드로 분해하는 재구성 없는(reconstruction-free) 프레임워크인 **SJEPA (Symbolic JEPA)**를 소개한다.

2.1 하이브리드 예측기 아키텍처

컨텍스트 임베딩 $Z_C$와 부가 정보 $\epsilon$(예: 행동, 시간 오프셋)이 주어질 때, 타겟 임베딩 $\hat{Z}_T$는 다음과 같이 예측된다:
$$\hat{Z}_T = F_{E,\alpha}(Z_C, \epsilon) + c_\phi(Z_C, \epsilon)$$

• 기호 법칙 ($F_{E,\alpha}$): 구조 $E$(산술, 다항식, 초월 함수 또는 도메인 특화 프리미티브의 문법에서 유래)와 계수 $\alpha$를 가진 압축된 표현식. 이는 지배적이고 재사용 가능한 역학을 포착한다.
• 신경 보정 ($c_\phi$): 선택된 기호 문법이 적절하게 표현할 수 없는 효과(예: 마찰, 해결되지 않은 상호작용, 근사 오류)를 보정하는 신경망.

2.2 제약된 연산자 압축

핵의 원칙은 제약된 연산자 압축이다. 목표는 표현이 정보를 유지하고 붕괴되지 않도록 보장하면서 전이 연산자의 복잡도를 최소화하는 것이다.

최적화 문제는 다음과 같이 공식화된다:
$$\min_{\theta, \bar{\theta}, E, \alpha, \phi} \Omega(E) + \lambda_c R_{corr}(\phi)$$
$$\text{subject to } L_{pred}(\theta, \bar{\theta}, E, \alpha, \phi) \le \delta_{pred}, \quad (\theta, \bar{\theta}) \in \Theta_{repr}$$

• 목적 함수: 기호적 복잡도 $\Omega(E)$와 보정 의존도 $R_{corr}(\phi)$를 최소화한다.
• 예측 제약 ($L_{pred} \le \delta_{pred}$): 언더피팅을 방지한다; 모델은 충분히 정확해야 한다.
• 표현 제약 ($\Theta_{repr}$): 인코더가 전이를 사소하게 만들기 위해 상태를 상수 벡터로 붕괴시키는 것을 방지한다. 이는 상태가 정보적이고 비붕괴 상태를 유지하도록 하는 정규화(예: VICReg 스타일의 분산 보존)를 통해 강제된다.

2.3 학습 전략

이 프레임워크는 두 가지 모드를 지원한다:

1. 종단간 교대 학습 (End-to-End Alternating Learning): 인코더(표현)와 기호/신경 역학을 공동 최적화한다. 과정은 다음과 같이 교대된다:
   • 역학 탐색 (Dynamics Search): 현재 좌표에 대해 가장 단순한 기호 법칙을 찾기 위해 인코더를 고정한다.
   • 공간 탐색 (Space Search): 표현이 더 단순한 전이를 지원하도록 인코더를 업데이트하기 위해 기호 구조를 고정한다.
2. 고정된 인코더 학습 (Frozen Encoder Learning): 사전 학습된 인코더(예: ViT, DINO, I-JEPA)를 사용하고 기호 법칙과 보정만을 학습하여, 기존 표현이 압축된 역학을 노출하는지에 대한 진단 도구로 활용한다.

2.4 베이지안 확장

본 논문은 기호 구조, 계수 및 가우시안 프로세스(GP) 보정에 대한 불확실성을 두는 베이지안 정식화를 제안한다. 이를 통해 데이터가 단일 법칙을 결정적으로 식별하기에 부족할 때, 모델이 여러 경쟁하는 설명을 보유할 수 있도록 한다.

3. 주요 이론적 통찰

• 예측 좌표의 비식별성 (Non-Identifiability of Predictive Coordinates): 예측 좌표는 유일하지 않다. 잠재 공간의 임의의 가역적 변환은 예측 정확도를 보존한다. 그러나 전이 법칙의 기호적 복잡도는 좌표계에 따라 달라진다. 연산자 압축은 전이가 가장 단순한 좌표를 선택하는 유도 편향(inductive bias) 역할을 한다.
• 붕괴 지름길 (The Collapse Shortcut): 표현 제약이 없다면, 연산자 복잡도를 최소화하는 것은 표현 붕괴로 가는 직접적인 지름길이 된다. 인코더는 모든 관측치를 상수 벡터로 매핑하여, 항등 예측기(identity predictor)가 제로 복잡도로 제로 에러를 달성하게 할 수 있다. 따라서 표현 제약은 필수적이다.
• 할당 제어 (Allocation Control): 기호 성분과 신경 성분 사이의 분해는 예측 손실만으로는 식별되지 않는다. 기호 문법이 표현할 수 있는 역학을 신경 성분이 흡수하는 것을 방지하기 위해 보정 항($R_{corr}$)에 대한 정규화가 필요하며, 이를 통해 기호 법칙이 지배적인 메커니즘을 유지하도록 보장한다.

4. 실험 결과

저자는 제어된 진자 실험을 사용하여 프레임워크를 검증한다.

실험 1: 공동 좌표 및 방정식 학습

• 설정: 고차원적이고 노이즈가 있는 관측을 가진 진자 시스템. Neural JEPA, 사후 기호 회귀(고정된 Neural JEPA 좌표에 법칙을 맞춤), 그리고 SJEPA(공동 학습)를 비교하였다.
• 결과:
  • 단순성: 공동 학습된 SJEPA는 사후 적합(post-hoc fitting)에 비해 평균 기호 복잡도를 약 5.6배 감소시켰다 (26.0에서 4.67로).
  • 정확도: SJEPA는 사후 기호 회귀보다 현저히 낮은 물리적 상태 롤아웃 에러와 OOD(Out-of-Distribution) 발산을 보였으나, 유연한 Neural JEPA가 원시 예측에서는 가장 정확했다.
  • 붕괴 검증: 표현 제약을 제거한 무제약 일단계 진단(one-step diagnostic) 결과, 거의 상수인 임베딩과 제로 벡터 필드가 나타났으며, 이는 이론적 붕계 지름길을 확인시켜 주었다.

실험 2: 문법 미스스펙(Misspecification) 하의 하이브리드 역학

• 설정: 실제 역학에는 이차 항($p|p|$)이 포함되어 있었으나, 기호 문법은 이 항을 제외하도록 의도적으로 제한되었다.
• 결과:
  • 정규화 효과: 보정 정규화가 있을 때, 기호 성분은 표현 가능한 항(예: $\sin(q)$)을 유지했고, 신경 보정은 잔여 항(drag)에 집중했다. 정규화된 보정-에너지 비율은 낮았다 (0.06).
  • 정규화가 없을 때: 정규화되지 않은 하이브리드 모델은 신경 보정이 표현 가능한 역학을 흡수하도록 허용하여, 기호 계수를 줄이고 보정-에너지 비율을 0.55까지 높였다.
  • 결론: 정규화는 할당을 성공적으로 제어하여, 기호 메커니즘이 표현 가능한 역학을 유지하도록 하면서 잔여물에 대해서는 신경 성분을 사용하도록 보장한다.

5. 의의 및 주장

본 논문은 SJEPA가 표준 신경 예측기나 사후 기호 적합과는 구별되는, JEPA 계열 내의 보완적인 방향을 제공한다고 주장한다.

• 제어 가능한 트레이드오프: SJEPA는 유연한 신경 네트워크에 대해 보편적인 원시 예측 정확도의 우위를 주장하지 않는다. 대신, 예측 충실도, 표현 품질, 기호적 간결성, 그리고 기호-신경 할당 사이의 제어 가능한 트레이드오프를 제공한다.
• 우아한 역학: 연산자 압축이 (표현 제약이 제공된다는 전제하에) 적절하면서도 단순한 유도 역학을 갖는 예측 좌표를 선택할 수 있음을 입증한다.
• 해석 가능성: 결과 모델은 불투명한 신경 예측자와 달리 미분 가능하고 선형화가 가능하며 계획(planning)에 사용할 수 있는 압축되고 검사 가능한 지배 법칙(예: 진동자 형태의 상호 결합)을 제공한다.
• 모듈성: 이 프레임워크는 교대 학습, 고정된 인코더, 베이지안 불확실성, 행동 조건부 제어를 지원하는 모듈형 구조를 가진다.

저자는 실험이 특정 시스템(진자)에 대한 제어된 진단임을 명시하며 겸허한 태도를 유지하였으며, 고차원 시각 데이터, 실제 과학 데이터셋 및 복잡한 제어 작업으로의 일반화는 향후 과제로 남겨두었다. 주요 기여는 "가장 단순하고 적절한 역학을 학습하는 것"을 표현의 무결성과 연산자 압축 사이의 균형을 맞추는 제약 최적화 문제로 공식화한 데 있다.