기술 요약: 비디오 파운데이션 모델은 직관적 물리학을 이해하는가? 계층별 프로빙 분석

문제 정의

인터넷 규모의 데이터로 학습된 비디오 파운데이션 모델들이 액션 인식부터 텍스트 조건부 생성에 이르기까지 강력한 성능을 보여주고 있지만, 이 모델들이 진정한 직관적 물리 이해를 인코딩하고 있는지, 아니면 단순히 표면적인 시각적 통계와 데이터셋 특유의 지름길(shortcut)에 의존하고 있는지는 여전히 불분명하다. 최근 문헌들은 현대적인 비디오 아키텍처가 구조화된 잠재 진화를 포착할 수 있는 "세계 모델(world models)"로서 동기를 부여받고 있다고 제안하지만, 이들이 실제 물리적 제약(예: 불변성, 견고성, 시공간적 연속성)을 진정으로 인코딩하고 있는지 평가하는 것은 어렵다. 표준 벤치마크에서의 성공은 강건한 물리적 추론보다는 일반적인 움직임 민감도(motion sensitivity)를 반영하는 것일 수 있다. 본 논문은 사전 학습된 비디오 표현이 물리 관련 구조를 본질적으로 인코딩하는지, 그리고 이 정보의 접근성이 사전 학습 패러다임, 네트워크 깊이 및 판독 메커니즘(readout mechanisms)에 따라 어떻게 달라지는지 조사한다.

방법론

저자들은 El Banani 등(2024)과 Joseph 등(2026)이 확립한 패러다임을 따라 동결된 특징 프로빙(frozen-feature probing) 프레임워크를 채택한다. 특정 작업을 위해 모델을 미세 조정(fine-tuning)하는 대신, 동결된 백본에서 표현(representations)을 추출하고 물리적 타당성을 예측하도록 경량화된 프로브(probe)를 학습시킨다.

평가 대상 모델

세 가지 서로 다른 사전 학습 패러다임을 사용 가능한 가장 큰 백본을 사용하여 비교한다:

1. 예측적 공동 임베딩 (V-JEPA 계열): V-JEPA, V-JEPA 2, V-JEPA 2.1을 포함한다. 이 모델들은 원시 픽셀을 재구성하는 대신 잠재 공간 내에서 타겟 표현을 예측한다.
2. 마스크드 비디오 재구성 (VideoMAE 계열): VideoMAE와 VideoMAE-v2를 포함한다. 이 모델들은 마스킹된 시공간 콘텐츠를 복구하도록 학습된다.
3. 확산 기반 생성 (LTX-Video): 점진적 노이즈 제거(progressive denoising)를 통해 최적화된 대규모 텍스트-비디오 생성 모델이다.

데이터셋

물리적 이해를 목표로 하는 두 가지 벤치마크를 활용한다:

• IntPhys2 (Bordes et al., 2025): 네 가지 핵심 원칙(불변성, 불변성, 시공간적 연속성, 견고성)에 대한 민감도를 "기대 위반(Violation of Expectation, VOE)" 메트릭을 사용하여 테스트한다. 장면은 가능한 모든 클립이 불가능한 클립보다 높은 순위로 매겨질 때만 올바른 것으로 간주된다.
• 최소 비디오 쌍 (Minimal Video Pairs, MVP) (Krojer et al., 2025): 시각적으로 유사하지만 답이 반대인 비디오 쌍을 제시함으로써 지름길 기반 성능을 방지하도록 설계되었다. 메트릭은 쌍 일관성(pair consistency)이다. 저자들은 원래의 텍스트 조건부 QA 형식을 동결된 특징 프로빙에 맞게 이진 물리적 타당성 작업으로 변형하였다.

프로빙 프로토콜

각 아키텍처의 네 가지 상대적 깊이(약 25%, 50%, 75%, 100%)에서 표현을 추출한다. 확산 모델의 경우, 10개의 노이즈 레벨에 걸쳐 프로빙을 수행한다. 세 가지 프로브 유형을 평가한다:

1. 선형 프로브 (Linear Probe): 풀링된 임베딩을 출력으로 매핑하는 단일 레이어로, 선형적으로 디코딩 가능한 정보를 테스트한다.
2. MLP 프로브 (MLP Probe): 비선형 활성화 함수를 가진 다층 퍼셉트론으로, 선형적으로 분리되지는 않지만 존재하는 정보를 테스트한다.
3. 시간적 어텐티브 프로브 (Temporal Attentive Probe): 셀프 어텐션과 크로스 어텐션 레이어를 사용하여 토큰 임베딩의 시퀀스에 직접 작동하며, 명시적으로 시간적 상호작용을 모델링한다.

대조 조건 (Control Conditions)

순수한 템포럴 물리 민감도와 정적인 외형 단서를 구분하기 위해 두 가지 대조 조건을 적용한다:

• 프레임 셔플링 (Frame-Shuffled): 프레임 콘텐츠는 유지하면서 움직임 궤적을 방해하기 위해 프레임을 무작위로 순열(permutation)한다.
• 단일 프레임 (Single-Frame): 시간적 변화를 완전히 제거하기 위해 클립 지속 시간 동안 단일 프레임을 반복한다.

주요 결과

1. 사전 학습 패러다임 성능

V-JEPA 계열은 특히 시간적으로 표현력이 풍부한 판독기를 사용할 때 두 벤치마크 모두에서 일관되게 가장 강력한 결과를 달성한다.

• V-JEPA 2.1은 IntPhys2에서 66.67%의 VOE 정확도로 선두를 달린다.
• Base V-JEPA는 MVP에서 94.03%의 쌍 일관성으로 선두를 달린다.
• VideoMAE는 MVP(92.01%)에서 경쟁력을 유지하지만, IntPhys2에서는 더 큰 격차를 보인다.
• 참고: VideoMAE-v2는 학습 불안정성으로 인해 IntPhys2에서 매우 낮은 성능(15.69%)을 보였다.

2. 계층별 출현 (Layerwise Emergence)

물리 관련 정보는 균등하게 분포되어 있지 않으며, 초기 레이어에서 가장 약하고 중간에서 후기 깊이에서 가장 접근하기 쉽다.

• MVP: 뚜렷한 후기 레이어 트렌드를 보인다. 성능은 일반적으로 최종 레이어를 향해 개선된다 (예: V-JEPA의 쌍 일관성은 25% 깊이에서의 ~59%에서 최종 레이어에서의 ~87%로 상승한다).
• IntPhys2: 단조로운 프로파일을 보이지 않으며, 종종 50%에서 75% 깊이 사이에서 정점을 찍은 후 최종 레이어에서 감소할 수 있다.
• LTX-Video: 가장 강력한 신호는 극단이 아닌 백본의 중간 부분과 디노이징 궤적 전반에 집중되어 있다.

3. 판독 접근성 (Readout Accessibility)

물리 정보의 명시성은 작업과 프로브 용량에 따라 크게 달라진다.

• MVP: 정보는 주로 직접 읽을 수 없다(not directly readable). V-JEPA의 쌍 일관성은 선형 프로브의 ~48%에서 MLP의 ~87%, 그리고 Temporal Attentive의 ~94%로 급증한다. 이는 MVP 관련 물리가 비선형 또는 명시적인 시간적 상호작용을 모델링해야 함을 나타낸다.
• IntPhys2: 신호의 더 큰 부분이 선형적으로 디코딩 가능하다 (예: V-JEPA 선형 프로브는 ~51% VOE에 도달함). 그러나 더 표현력이 풍부한 프로브(MLP 및 Temporal Attentive)는 특히 가장 강력한 모델들에 대해 상당한 이득을 제공한다.

4. 템포럴 컨트롤 (Temporal Controls)

시간적 구조를 방해하면 성능이 실질적으로 감소하며, 이는 신호가 순수하게 정적이지 않음을 확인시켜 준다.

• MVP: 시간적 교란은 파괴적인 붕괴를 일으킨다. 프레임 셔플링은 쌍 일관성을 3961% 감소시키며, 단일 프레임 반복은 이를 86100% 감소시킨다.
• IntPhys2: 결과가 혼재되어 있다. 단일 프레임 반복은 매우 치명적이지만 (예: V-JEPA 선형의 -85%), 프레임 셔플링은 때때로 무시할 만한 수준의 하락만을 보인다 (예: V-JEPA temporal attention의 0.00%). 이는 일부 IntPhys2 VOE 성능이 견고한 인과적 궤적 모델링보다는 순서에 무관한 타당성 단서나 순서가 정해지지 않은 다중 프레임 증거에 의존할 수 있음을 시사한다.

의의 및 주장

본 논문은 직관적 물리학 지식이 사전 학습된 비디오 표현에서 신뢰할 수 있게 출현한다고 주장하지만, 그 접근성은 세 가지 요인에 따라 달라진다:

1. 사전 학습 목적: 예측적 공동 임베딩 학습(V-JEPA)은 마스크드 재구성이나 확산 목적 함수에 비해 더 접근하기 쉽고 견고한 물리 관련 특징을 생성한다.
2. 표현 깊이: 물리적 이해는 초기 레이어에는 존재하지 않으며, 중간에서 후기 깊이에서 출현하고 가장 접근하기 쉬워진다.
3. 판독 메커니즘: 물리 정보를 디코딩하는 능력은 프로브의 비선형성 및 시간적 역학 모델링 용량에 달려 있다. 일부 신호는 선형적으로 디코딩 가능하지만(특히 IntPhys2), 복잡한 물리적 추론(MVP와 같이)은 표현력이 풍부하고 시간적으로 인지하는 판독기를 필요로 한다.

저자들은 비디오 파운데이션 모델이 물리적 구조를 인코딩하고는 있지만, 인간과 유사한 방식으로 견고하게 추론하는 것은 아닐 수 있다고 결론짓는다. 이 연구는 벤치마크 성공이 특정 아키텍처의 귀납적 편향(inductive bias)에 의해 주도될 수 있으며, 물리적 이해를 평가하기 위해서는 시간적 역동성과 정적인 외형을 신중하게 분리해야 함을 강조한다. 향후 연구에서는 모델 규모 및 아키텍처와 같은 혼란 변수로부터 사전 학습 목적을 분리할 것을 제안한다.