기술 요약: CRONOS – 비디오 모델의 반사실적 물리적 일관성 벤치마킹

문제 제기

최근 생성형 비디오 모델링의 발전은 시간적으로 일관성 있고 고충실도의 미래를 합성할 수 있게 하여, 비디오 예측의 확장화가 실제 세계의 역학을 포착할 수 있는 일반화 가능한 '세계 모델'을 산출할 것이라는 가설을 부추기고 있습니다 [19, 22, 21]. 그러나 시각적 사실성이 반드시 물체, 장면, 역학 간의 관계를 포착하는 인과적 표현의 획득을 의미하는 것은 아닙니다 [42]. 현재 모델들은 근본적인 물리 법칙보다는 피상적인 통계적 규칙성에 의존하여, 물리적 사건은 일정하게 유지된 채 시각적 조건 (예: 시점, 외관) 이 변경될 때 안정적인 예측을 생성하지 못합니다. 기존 물리적 사실성 벤치마크는 고정된 시각적 관찰 하에서 예측을 평가하거나 인간/시각 언어 모델 (VLM) 의 타당성 판단에 의존하는 경우가 많아, 통제된 개입 하에서 모델의 예측 표현이 안정적이고 구조화되어 있는지를 체계적으로 테스트하지 못합니다 [30, 36, 52]. 지각적 품질을 넘어 반사실적 물리적 일관성, 즉 모델의 물리적 사건 예측이 시각적 입력의 통제된 변화에 적절히 반응하는지를 직접 테스트하는 원칙적 평가에는 중요한 격차가 존재합니다.

방법론

저자들은 반사실적 물리적 일관성을 평가하기 위해 설계된 개입 기반 벤치마크인 CRONOS를 소개합니다. 이 방법론은 언리얼 엔진 (Unreal Engine) 으로 구축된 고충실도 사진 같은 시뮬레이션 환경에 의존하여, 근본적인 물리적 사건 유형은 고정되지만 특정 시각적 요인은 체계적으로 변형된 통제된 비디오 시퀀스를 생성합니다.

1. 데이터 생성 및 개입

CRONOS 는 세 가지 표준 물리적 상호작용 시나리오에 걸쳐 비디오를 생성합니다:

• 낙하 (Roll-to-drop): 물체가 가장자리에서 굴러 떨어집니다.
• 충돌: 한 물체가 다른 물체에 부딪힙니다.
• 가림 (Occlusion): 물체가 장애물 뒤로 굴러가 다시 나타납니다.

각 사건에 대해 벤치마크는 네 가지 차원에 개입하고 나머지는 고정하여 반사실적 관찰을 렌더링하기 위해 완전 요인 설계 (full-factorial design) 를 적용합니다:

• 장면: 배경 환경과 레이아웃 변경 (예: 표면 높이).
• 카메라 시점: 3D 역학을 유지하면서 렌더링 각도 변경.
• 물체 외관: 물리적 매개변수를 변경하지 않고 시각적 속성 (예: 색상) 변경.
• 물체 카테고리: 물리적 매개변수 (질량, 마찰) 와 시각적 속성 모두를 변경하는 다른 호환 가능한 물체로 교체.

데이터셋은 675 개의 비디오로 구성됩니다 (3 개 사건 × 5 개 장면 × 5 개 물체 카테고리 × 4 개 시점 × 3 개 외관). 가림 (Occlusion) 사건의 경우 가시성 구조를 유지하기 위해 시점 변형은 제외되었습니다.

2. 평가 지표

CRONOS 는 생성 품질을 물체 중심 지표로 분해하여 3D 운동과 외관을 분리하며, 인간 사용자 연구를 통해 검증되었습니다:

• 외관 안정성: DINOv2 임베딩을 사용하여 시각적 정체성 보존을 측정합니다.
• 배경 안정성: 픽셀 단위 오차 (MSE) 를 통해 배경 일관성을 측정합니다.
• 3D 형상 안정성: Chamfer 거리를 사용하여 시간 경과에 따른 재구성 메시 (SAM3D 를 통해) 를 비교하여 기하학적 안정성을 평가합니다.
• 운동 유사성: 외관 불변 운동 인코더 (DisMo) 를 사용하여 운동 일치성을 평가합니다.
• 물리적 타당성: 고수준 물리 위반 (예: 물체 영속성, 중력) 을 탐지하기 위해 VLM-as-judge(Qwen3-VL-32B) 를 사용합니다.
• 성공률: 모든 지표가 보정된 임계값을 초과해야 하는 이진 통과/실패 신호입니다.
• 민감도: 개입 유형 간 성능 편차를 측정합니다. 민감도가 낮을수록 반사실적 일관성이 높음을 나타냅니다.

주요 기여

1. CRONOS 벤치마크: 시점, 장면, 물체 카테고리, 외관의 통제된 변화에 비디오 모델이 어떻게 반응하는지 체계적으로 평가하여, 반사실적 물리적 일관성을 일반 생성 품질과 분리하는 새로운 개입 기반 벤치마크입니다.
2. 고충실도 합성 환경: 이전의 평평한 텍스처에 의존하던 합성 벤치마크와 달리, CRONOS 는 전문 3D 에셋을 활용한 사진 같은 언리얼 엔진 렌더링을 사용하여 사실적인 조명, 그림자, 역학을 시뮬레이션합니다.
3. 물체 중심 평가 프레임워크: 운동을 외관과 형상에서 분리하는 지표 세트를 제공하며, 물리적 타당성을 위한 VLM 기반 판정관과 일시적 오류를 처리하기 위한 강력한 집계 방법 (프레임 간 강력한 최소/최대값) 을 포함합니다.
4. 포괄적 실증 분석: 이미지-비디오 (I2V) 및 비디오-비디오 (V2V) 설정 하에서 최첨단 오픈소스 비디오 모델 (Cosmos2.5, CogVideoX1.5, MAGI-1, Wan2.2) 에 대한 평가입니다.

결과

최근 오픈소스 비디오 생성기에 대한 평가는 반사실적 물리적 일관성에서 상당한 실패를 드러냈습니다:

• 낮은 성공률: 평가된 가장 강력한 모델조차 낮은 성공률을 기록했습니다. Cosmos2.5-2B(V2V) 와 Wan2.2-14B(I2V) 는 각각 22% 와 20% 의 성공률만 달성했으며, 대부분의 다른 모델은 15% 미만의 점수를 받았습니다.
• 개입에 대한 높은 민감도: 모델들은 개입 유형 간 생성 품질에서 상당한 변이를 보입니다.
  • 시점 민감도: 시점 변경이 가장 큰 변이를 유발하여, 모델들이 3D 인식 역학을 학습하기보다는 시점에 크게 의존하는 방식으로 예측을 인코딩하고 있음을 나타냅니다.
  • 물체 및 장면 민감도: 물체 카테고리 및 장면 레이아웃의 변경도 상당한 성능 저하를 초래하여, 일반화 가능한 물리 법칙보다는 물체 특유의 상관관계에 의존하고 있음을 시사합니다.
• 조건부 효과의 영향: 비디오 조건부 (V2V) 는 일반적으로 이미지 조건부 (I2V) 보다 성능을 향상시켰으며, 특히 운동 유사성과 물체 안정성에서 그렇습니다. 이는 추가적인 시간적 신호가 초기 방향과 속력을 제공하기 때문으로 보입니다.
• 모델 크기의 영향: Cosmos 를 2B 에서 14B 파라미터로 확장해도 물리적 사건 생성에 어떤 개선도 가져오지 못했습니다. 오히려 14B 변형은 여러 지표에서 더 나쁜 성능을 보였으며, 이는 단순히 파라미터 수의 증가가 반사실적 물리적 일관성을 보장하지 않음을 시사합니다.

중요성 및 주장

본 논문은 CRONOS 가 현재 비디오 모델의 한계를 진단하기 위한 통제되고 재현 가능한 테스트베드를 제공한다고 주장합니다. 연구 결과에 따르면 현대 모델들은 주로 안정적인 인과적 표현을 개발하기보다는 피상적인 시각적 상관관계에 의존합니다. 저자들은 구조화되고 인과적으로 의미 있는 표현이 견고한 일반화와 의사결정에 필수적이며, 현재 모델들은 특히 시점 변경과 같은 잡음 변이 하에서 이를 달성하지 못한다고 봅니다.

이 벤치마크는 여러 조건의 변화 하에서 일관되게 작동하는 모델을 개발하기 위한 구체적인 목표를 설정합니다. 저자들은 CRONOS 가 합성 데이터를 사용하지만, 높은 시각적 충실도로 인해 변수를 독립적으로 제어할 수 없어 실제 세계 비디오로는 달성하기 어려운 물리 예측 능력에 대한 엄격한 진단 테스트를 가능하게 한다고 강조합니다. 이 연구는 현재 모델들이 일반적인 세계 모델링을 달성했다고 주장하는 것이 아니라, 시각적 사실성과 물리적 일관성 사이의 격차를 부각시켜 향후 연구가 통제된 개입 하의 견고성에 초점을 맞추도록 촉구합니다.