Factorized Latent Dynamics for Video JEPA: An Empirical Study of Auxiliary Objectives

기술 요약: 비디오 JEPA 를 위한 인자화된 잠재 역학

문제 제기
공유 임베딩 예측 아키텍처 (JEPA) 는 마스킹된 시공간 영역의 픽셀을 재구성하는 대신 잠재 임베딩을 예측하는 Video-JEPA(V-JEPA) 를 통해 자기지도식 비디오 표현 학습을 위한 유망한 프레임워크로 부상했습니다. 그러나 소규모 V-JEPA 훈련에서 보조 목적 함수의 행동은 여전히 잘 규명되지 않았습니다. 보조 신호가 정밀한 시간 역학 (동작 인식과 같은 작업에 필수적) 과 정적 외관 표현 (객체 인식에 필수적) 을 동시에 개선할 수 있는지, 아니면 한 영역의 성능 향상이 다른 영역의 성능 저하를 초래하는 용량 트레이드오프를 유발하는지 이해하는 데에는 중요한 격차가 존재합니다.

방법론
저자들은 단일 데이터셋 (UCF-101) 과 혼합 데이터셋 (UCF-101 + Something-Something V2 + ImageNet-100) 의 두 가지 사전 훈련 regimes 에 걸쳐 18 가지 보조 목적 함수 변형을 평가하는 소규모 실증 연구를 수행했습니다. 본 연구는 세 가지 보완적인 벤치마크에 대한 고정된 인코더 평가 프로토콜을 활용합니다:

• Diving-48: 정밀한 운동 이해.
• Something-Something V2(SSv2): 시간적 추론.
• ImageNet-100: 외관 인식.

18 가지 변형은 여섯 가지 그룹으로 분류됩니다:

1. 운동학적 정규화: 시간적 차이에 대한 페널티 (L1, Huber, 가속도, 분할 채널, 어닐링).
2. 운동 유도 마스킹: 고운동 영역을 향한 편향된 샘플링.
3. 붕괴 방지 정규화: SIGReg(가우스 분포 임베딩 강제).
4. 물리 영감 역학: 해밀토니안 및 속도 게이트 사전 분포.
5. 잠재 역학 예측: 시간적 차이 예측 (Delta-JEPA, LD-JEPA, Spectral-JEPA, LTC-JEPA).
6. 인자화된 잠재 목적 함수: 외관과 역학 부분 공간을 구조적으로 분리.

주요 기여: FWM-HW-LD
본 논문은 FWM-HW-LD(하드 영역 가중 잠재 역학을 갖춘 인자화된 세계 모델) 를 새로운 훈련 시간 목적 함수로 소개합니다. 이는 새로운 추론 아키텍처가 아니라 표준 V-JEPA 학생 인코더의 훈련 과정을 다음과 같이 수정합니다:

• 잠재 인자화: 인코더 출력을 두 개의 부분 공간으로 분할합니다: $Z_{app}$(시간 불변성을 장려하는 외관) 와 $Z_{dyn}$(시간적 변화를 포착할 수 있는 역학).
• 직교성과 안정성: $Z_{app}$이 시간적으로 안정적으로 유지되고 두 부분 공간이 중복된 정보를 인코딩하지 않도록 보장하기 위해 손실 ($L_{static}$ 및 $L_{orth}$) 을 적용합니다.
• 하드 영역 가중치: 표준 JEPA 예측 오차와 잠재 역학 오차 모두를 예측 오차가 가장 높은 토큰으로 재가중하여 모델이 어려운 영역에 집중하도록 합니다.
• 잠재 역학 헤드: 전용 헤드가 훈련 중 $Z_{dyn}$ 부분 공간만을 사용하여 시간적 차이 ($h(t+1) - h(t)$) 를 예측합니다.

결과

• 용량 트레이드오프: 연구 결과에 따르면 많은 보조 목적 함수가 상당한 트레이드오프를 보입니다. 예를 들어, 운동학적 정규화 변형은 ImageNet-100(외관) 을 1.51.7 퍼센트 포인트 (pp) 향상시켰지만 Diving-48(운동) 은 2.52.9 pp 저하시켰습니다. 마찬가지로 픽셀 예측 목적 함수 (AC-JEPA, FAC-JEPA) 는 ImageNet-100 에서 −13~−16 pp 의 상당한 하락을 초래했습니다.
• FWM-HW-LD 성능: 혼합 데이터셋 설정에서 FWM-HW-LD 는 테스트된 변형 중 가장 균형 잡힌 결과를 달성했습니다. 이는 기준선 대비 ImageNet-100 을 +5.92 pp 향상시키고 SSv2 를 +3.21 pp 향상시켰으며, Diving-48 에서는 −0.30 pp 이내로 유지되었습니다.
• 구성 요소 상호작용: 제거 실험 (Ablation studies) 은 FWM-HW-LD 의 구성 요소들이 비가산적으로 상호작용함을 밝혔습니다. 잠재 역학 (LD) 만으로는 SSv2 를 (+5.02 pp) 향상시켰지만 다른 벤치마크에는 부정적 영향을 미쳤습니다. 인자화 (FWM) 만으로는 ImageNet 을 향상시켰지만 SSv2 를 저하시켰습니다. 균형 잡힌 개선을 달성하기 위해서는 하드 가중치를 포함한 전체 조합이 필요했습니다.
• 합성 대 실제 운동: 운동학적 정규화는 합성 운동 판별 작업에서 강력한 성능 (+40~45 pp) 을 보였으나, 실제 세계의 정밀한 운동 벤치마크에는 적용되지 않았으며, 이는 학습된 시간 구조의 유형에 불일치가 있음을 시사합니다.

의의 및 주장
본 논문은 잠재 인자화가 비디오 JEPA 에서 보조 목적 함수 트레이드오프를 연구하는 데 유용한 방향이라고 겸손하게 주장합니다. 저자들은 그들의 발견이 소규모 단일 시드 실증 연구에 기반한 것이므로 통계적으로 확립된 순위가 아닌 예비 신호로 간주되어야 한다고 강조합니다.

주요 시사점은 다음과 같습니다:

1. 트레이드오프 존재: 보조 목적 함수는 공유 잠재 공간 내에서 운동 판별 능력과 외관 민감 능력 간의 경쟁을 종종 강요합니다.
2. 구조적 분리: 잠재 공간을 외관과 역학 부분 공간으로 분리하고 하드 영역 가중치를 결합하는 것은 픽셀 수준의 재구성을 요구하지 않고 이러한 트레이드오프를 완화하는 경로를 제공합니다.
3. 픽셀 예측에 대한 주의: 이 특정 소규모 설정에서 픽셀 수준의 RGB 델타를 예측하는 목적 함수 (AC-JEPA) 는 의미론적 인식 작업에 해로웠습니다.

저자들은 FWM-HW-LD 가 유망함을 보이지만 증거는 예비적이라고 결론지었습니다. 그들은 인자화된 잠재 역학을 해결된 목적 함수가 아니라, 고정된 비디오 표현 내에서 외관과 운동 정보가 어떻게 경쟁하거나 협력하는지 조사하기 위한 통제된 메커니즘으로 위치시키며, 이러한 발견을 검증하기 위한 대규모 다중 시드 복제가 필요함을 시사합니다.