기술 요약: 잠재적 비디오 예측은 더 나은 세계 모델을 학습합니다

문제 제기

자기지도 학습 비디오 모델은 관찰을 통해 물리적 세계의 역학을 학습할 수 있는 시스템인 '세계 모델'로 점점 더 자리 잡고 있습니다. 그러나 이러한 모델의 평가는 여전히 깨끗한 하류 분류 벤치마크에서의 단일 최상위 1 정확도 점수에 크게 국한되어 있습니다. 이 지표는 센서 노이즈 하에서의 안정성, 누락된 입력에 대한 내성, 시각적으로 유사한 동작 간의 세밀한 구별 능력, 그리고 시간적 순서에 대한 내부적 감각과 같은 중요한 속성을 포착하지 못하므로, 배포된 세계 모델로서의 모델 잠재력을 이해하는 데는 불충분합니다. furthermore, 사전 학습 목표 수준에서의 비교 평가가 부재하여, 서로 다른 자기지도 학습 패러다임이 비디오 표현의 구조적 속성을 어떻게 형성하는지에 대한 이해에 공백이 존재합니다.

방법론

저자들은 매칭된 ViT-L 용량(~300M 파라미터)을 가진 네 가지 최첨단 비디오 파운데이션 모델을 체계적이고 통제된 비교 연구를 통해 제시합니다:

1. V-JEPA 2.1 및 V-JEPA 2: 잠재적 예측(Joint Embedding Predictive Architecture) 패러다임을 대표합니다.
2. VideoPrism: 대조적 학습 및 마스크된 예측을 대표합니다.
3. VideoMAEv2: 픽셀 재구성(마스크된 오토인코더)을 대표합니다.

사전 학습 목표의 효과를 격리하기 위해 이 연구는 세 가지 축을 고정합니다: 백본 용량, 평가 데이터/프로토콜, 그리고 인코더마다 조정된 경량 주의성 프로브. 평가는 세밀한 인간 - 객체 상호작용의 풍부한 클래스 구조를 가진 Something-Something v2 (SSv2) 데이터셋을 활용합니다.

이 연구는 다음 다섯 가지 강건성 축을 통해 이러한 모델들을 평가합니다:

1. 특징 구별 가능성: 의미적으로 계층화된 동작 클래스 간 표현의 분리성 (동일한 동사, 다른 동사, 연기 대 실제).
2. 오염 강건성: 세 가지 심각도 수준에서 ImageNet-C 의 여섯 가지 오염 (모션 블러, 눈, 픽셀화, 임펄스 노이즈, 밝기, 탄성 변환) 하에서의 분류 정확도.
3. 세밀한 동작 구별: 실제 접촉 없이 물리적 상호작용을 시뮬레이션하는 동작이 포함된 '연기' 하위 집합에서의 성능.
4. 가림 강건성: 세 가지 시공간 가림 패러다임 (이동 블록, 시간적 드롭아웃, 시공간 패치 드롭아웃) 하에서의 성능.
5. 시간적 강건성: 교란된 순서와 시간의 방향에 대한 민감도, 구체적으로 비디오 반전을 통해 '시간의 화살'을 인코딩하는 능력을 측정합니다.

또한, 이 연구는 관찰된 이점이 작업별 적응을 통해 유지되는지 여부를 판단하기 위해 고정된 V-JEPA 2 표현과 완전히 미세 조정된 베이스라인 (VideoMAE 및 TimeSformer) 을 비교합니다.

주요 기여 및 결과

1. 잠재적 예측은 독특한 강건성 프로파일을 형성합니다

다섯 가지 축 전반에 걸쳐 잠재적 예측 모델 (V-JEPA 변형) 은 대조적 학습 및 픽셀 재구성 모델과 비교하여 일관되고 독특한 프로파일을 보입니다.

• 오염 강건성: V-JEPA 2.1 은 픽셀 오염 하에서 더 우아하게 성능이 저하되어 여섯 가지 오염 유형 중 다섯 가지에서 선두를 차지합니다. 이는 결합 임베딩 목표가 고차원 의미 구조를 선호하여 표면 수준의 시각적 변형을 제거한다는 것을 시사합니다.
• 안정성과 유용성의 분리: 기하학적 안정성 (코사인 유사도로 측정) 이 사용 가능성과 동일하지 않다는 것이 중요한 발견입니다. 심각한 시공간 패치 드롭아웃 하에서 VideoPrism 은 거의 완벽한 코사인 유사도 (>0.98) 를 유지하지만 최상위 1 정확도는 2.7% 로 붕괴됩니다. 반면, V-JEPA 2.1 은 표현 공간에서 더 큰 변화를 보이지만 46.1% 의 정확도를 유지합니다. 이는 코사인 유사도만으로는 세계 모델링을 위한 표현의 질을 측정하는 오해의 소지가 있는 지표임을 나타냅니다.

2. 픽셀 재구성 없이 세밀한 물리적 단서 포착

픽셀 재구성 모델이 세밀한 공간적 세부 사항을 더 잘 포착할 것이라는 직관과 달리, V-JEPA 는 '연기 동작'(예: 따르는 연기) 에서 VideoMAEv2 보다 우수한 성과를 보입니다.

• V-JEPA 변형은 구별 신호가 물리적 접촉의 부재(예: 빈 잡기) 인 고감도 클래스에서 가장 큰 성능 마진을 보입니다.
• 잠재적 예측 목표는 물리적 상호작용의 시공간 서명을 정제하는 반면, 픽셀 재구성은 이러한 접촉 신호를 희석시키는 표면 질감에 용량을 할당하는 것으로 보입니다.

3. 시간의 화살의 내재화

잠재적 예측 모델은 다른 대안들보다 시간적 방향성을 훨씬 더 강력하게 내재화합니다.

• 비디오 반전 하에서 V-JEPA 모델은 예측을 의미상 반대되는 클래스로 일관되게 반전시킵니다 (예: "밀기" $\to$ "당기기").
• VideoMAEv2 및 VideoPrism 에 비해 훨씬 높은 **방향적 의미 일관성 점수 (DSCS)**를 달성합니다. 이는 예측적 사전 학습 목표 (과거 맥락으로부터 미래 잠재 상태를 예측) 가 인과성과 시간적 방향을 본질적으로 인코딩하는 반면, 대조적 학습은 이 축을 억제하고 픽셀 재구성은 이를 희석시킨다는 것을 시사합니다.

4. 작업 적응 하에서도 이점 지속

이 연구는 경량 주의성 프로브가 있는 고정된 V-JEPA 2 백본과 완전히 미세 조정된 VideoMAE 및 TimeSformer 모델을 비교합니다.

• 고정되어 있음에도 불구하고, V-JEPA 2 는 오염 및 가림 강건성 측면에서 완전히 미세 조정된 베이스라인을 능가합니다.
• 이는 규모나 레이블 감독만으로는 결정되지 않으며, 사전 학습 목표가 비디오 표현이 단순한 깨끗한 벤치마크 분류기가 아닌 견고한 세계 모델로 행동하는지 여부를 결정한다는 것을 시사합니다.

의의

이 논문은 잠재적 예측이 픽셀 재구성이나 대조적 학습에 비해 견고한 비디오 세계 모델을 학습하기 위한 우월한 패러다임임을 보여주는 구체적인 경험적 증거를 제공합니다. 저자들은 사전 학습 목표의 선택이 단일 점수 벤치마크에서는 놓치는 측정 가능한 구조적 서명을 기본 표현에 남긴다고 주장합니다.

이 연구는 다음을 보여줍니다:

• 세계 모델은 깨끗한 정확도 이상을 요구합니다. 노이즈 하에서의 안정성, 누락된 데이터에 대한 내성, 물리적 의미 및 시간적 방향에 대한 민감도가 필요합니다.
• 잠재적 예측은 표면 수준의 픽셀 통계가 아닌 추상적 상태 변화를 예측하도록 학습함으로써 이러한 속성을 자연스럽게 함양합니다.
• 파운데이션 모델의 평가는 단일 지표 순위에서 벗어나 실제 배포에 필수적인 구조적 차이를 포착할 수 있는 다축 강건성 프로파일로 이동해야 합니다.

저자들은 비디오 파운데이션 모델의 진보를 단일 정확도 점수로 추적할 수 없으며, 계획 및 물리적 추론을 지원할 수 있는 표현을 식별하기 위해 다축 평가가 필요하다고 결론지었습니다.