기술 요약: 실제 물리 시스템을 통한 비디오 생성 모델의 뉴턴 역학 평가

문제 정의

SORA, COSMOS, Veo3와 같은 최근의 비디오 생성 모델(VGM)은 전례 없는 시각적 충실도를 달着하며, 물리적 역학을 이해하고 예측할 수 있는 "월드 모델(world models)"로서의 잠재력에 대한 관심을 불러일으켰습니다. 그러나 현재의 평가 패러다임은 주로 주관적인 인간의 판단, 시각-언어 모델(VLM) 평가, 또는 정답(ground truth)에 대한 궤적 매칭에 크게 의존하고 있습니다. 이러한 방법들은 다음과 같은 심각한 한계를 가집니다:

• 주관성: 인간 및 VLM 평가는 질적이며 환각(hallucination) 현상에 취약합니다. 이들은 미세한 물리 법칙 위반(예: 잘못된 질량 분포 또는 힘의 결합)을 감지하지 못하는 반면, 시각적으로는 그럴듯하지만 물리적으로는 틀린 움직임에는 높은 점수를 주는 경며가 있습니다.
• 궤적 매칭의 모호성: 생성된 궤적을 단일 정답 궤적과 비교하는 것은 물리적으로 모호합니다. 서로 다른 초기 조건(예: 변화하는 질량 또는 마찰력)이 동일하게 유효한 물리적 궤적을 만들어낼 수 있기 때문입니다. 궤적 매칭 지표는 단순히 특정 참조 경로에서 벗어난 타당한 물리적 실현을 불합리하게 처벌하곤 합니다.
• 정량적 물리적 추론의 부재: 기존 벤치마크는 지배적인 물리 방정식이나 보존 법칙의 준수보다는 지각적 지표(시각적 일관성, 시간적 일관성)에 초점을 맞추고 있습니다.

결과적으로, 현재의 VGM이 진정으로 뉴턴 역학을 인코딩하고 있는지, 아니면 단순히 물리적 움직임의 외형만을 흉내 내고 있는지를 엄격하게 정량화하는 데 있어 중대한 격차가 존재합니다.

방법론: Morpheus 프레임워크

이러한 격차를 해결하기 위해, 저자들은 제어된 강체 설정에서 뉴턴 역학을 이해하는 능력을 측정하기 위해 설계된 물리 정보 기반 평가 프레임워크인 Morpheus를 도입합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다.

1. 데이터셋 및 컨디셔닝(Conditioning)

• 실제 세계 데이터: 저자들은 낙하, 투사체 운동, 구르기, 미끄러지기, 홀로노믹 펜듈럼(holonomic pendulum), 이중 진자, 바운싱, 충돌, 스프링 진동 등 9가지 뚜렷한 물리적 현상을 포착하는 약 130개의 실제 비디오를 큐레이션했습니다.
• 제어된 조건: 특정 물리 법칙(예: 에너지 보존, 운동량 보존, 주기 운동)을 격리하여 실험하기 위해 제어된 조건 하에서 실험이 수행됩니다.
• 증강(Augmentation): 특정 시각적 설정에 대한 견고성을 확보하기 위해, 객체 마스크에 의해 유도된 스타일 전이(Cosmos-Transfer1)를 사용하여 데이터셋을 증강했습니다. 이는 근본적인 물리적 역학은 유지하면서 다양한 시각적 변형을 생성하여 컨디셔닝 시나리오를 10배로 확장합니다.
• 프롬프팅 전략: 입력의 정밀도가 물리적 충실도에 어떤 영향을 미치는지 평가하기 위해 텍스트 프롬프트, 단일 이미지 프롬프트, 다중 프레임(비디오) 프롬프트의 세 가지 컨디셔닝 수준에서 모델을 평가합니다.

2. 궤적 추출 및 전처리

• 세그멘테이션: 객체 마스크는 SAM-2(Segment Anything 2)와 깊이 검증을 위한 Depth Anything을 사용하여 추출됩니다.
• 상태 추정: 중심점(Centroids)을 추적하여 2D 궤적을 생성합니다. 속도와 가속도는 중앙 차분법(central difference methods)을 사용하여 추정되며, 추적의 불완전함으로 인한 노이즈를 줄이기 위해 슬라이딩 윈도우 내에서 Savitzky-Golay 평활화 및 선형 회귀를 적용합니다.
• 필터링: 객체의 소멸, 중복 또는 불충분한 움직임이 있는 비디오를 걸러내기 위해 폐기율(discard rate) 지표를 계산하여, 유효한 궤적만이 점수를 받을 수 있도록 보장합니다.

3. 물리 정보 기반 평가 지표

Morpheus는 픽셀 수준의 비교를 넘어 물리적 불변량과 지배 방정식의 준수 여부를 평가합니다:

• 역학 점수(Dynamical Score): 물리 정보 신경망(PINNs)을 활용하여 추출된 궤적을 특정 물리 시스템의 알려진 상미분 방정식(ODE)에 적합시킵니다 (예: 자유 낙하의 경우 $\ddot{y} + g = 0$). 점수는 PINN이 학습한 궤적과 데이터 사이의 정규화된 평균 제곱 오차(NMSE)로부터 도출되며, 스케일 불변(scale-invariant)하도록 정규화됩니다.
• 물리적 불변성 점수(Physical Invariance Score): 시간에 따른 보존량(예: 총 에너지, 각운동량, 진동 주기)의 안정성을 정량화합니다. 점수는 이러한 불변량의 표준 편차를 기반으로 계산됩니다. 완벽한 점수(1.0)는 일정한 보존을 나타내며, 높은 분산은 물리 법칙의 위반을 나타냅니다.

주요 기여

1. Morpheus 프레임워크: 주관적이거나 순수하게 기하학적인 지표를 넘어, 물리 정보 신경망과 보존 법칙을 활용하여 VGM을 평가하는 체계적이고 해석 가능하며 정량적인 평가 프레임워크를 도입했습니다.
2. 포괄적인 벤치마킹: 다양한 뉴턴 시나리오에 걸쳐 최첨단 모델들(Veo3, Kling, COSMOS와 같은 폐쇄형 모델 및 Wan2.1, CogVideoX, LTX-Video와 같은 오픈 소스 모델 포함)에 대한 대규모 평가를 수행했습니다.
3. 물리적 충실도에 대한 경험적 발견: 본 연구는 시각적 사실성과 물리적 정확성 사이의 상당한 괴리를 밝혀냈습니다. 최고의 성능을 보이는 모델조차 미학적으로 보기 좋은 영상을 생성함에도 불구하고 뉴턴 역학을 정확하게 인코딩하는 데 어려움을 겪고 있습니다.
4. 컨디셔닝 및 실패 모드 분석: 다중 프레임 및 키프레임 컨디셔닝이 단일 이미지 프롬프트에 비해 물리적 일관성을 크게 향상시킨다는 것을 입증했습니다. 또한, 현재 모델에서 흔히 나타나는 "정지 상태(stillness, 객체가 움직이지 못함)" 및 "객체 환각(object hallucination, 중복 또는 소멸)"과 같은 특정 실패 모드를 식별했습니다.

실험 결과

• 성능 격차: 실제 비디오는 거의 완벽한 점수(역학 점수: 0.96–0.99; 불변성 점수: $\ge$ 0.90)를 기록했습니다. 이와 대조적으로, 가장 우수한 성능을 보이는 VGM은 결합 점수가 약 0.66에 불과하여, 물리적 추론 능력의 상당한 격차를 보여주었습니다.
• 컨디셔닝의 영향:
  • 키프레임 보간(Keyframe Interpolation): 시작 프레임과 끝 프레임을 조건으로 하는 모델(예: Wan2.1 Keyframe)이 가장 높은 종합 점수와 가장 낮은 폐기율을 기록하며 가장 우수한 성능을 보였습니다. 경계 조건을 정의하는 것이 생성 공간을 효과적으로 제한합니다.
  • 다중 프레임 vs 단일 프레임: 다중 프레임 컨디셔닝이 단일 프레임 외삽(extrapolation)보다 우수한 성능을 보였는데, 이는 시간적 맥락이 정적 이미지에서는 모호한 속도와 가속도를 추론하는 데 도움을 주기 때문입니다.
  • 단일 프레임의 한계: 최상위권의 폐쇄형 모델조차 단일 이미지 외삽에서 어려움을 겪으며, 정적이거나 불규칙한 움직임으로 인해 높은 폐기율을 보이는 경우가 많았습니다.
• 모델 비교: Wan2.1(키프레임 컨디셔닝 적용) 및 Cosmos-Predict2와 같은 오픈 소스 모델이 Veo3 및 Kling-2.5와 같은 독점 모델과 대등하거나 때로는 이를 능가하는 성능을 보였습니다. 이는 물리적 추론 능력이 모델의 규모나 독점 데이터보다는 아키텍처와 컨디셔닝 전략에 달려 있음을 시사합니다.
• VLM 평가의 실패: 본 논문은 강력한 VLM 평가기(예: VideoPHY2-AUTOEVAL)가 실제 물리와 생성된 물리를 신뢰성 있게 구분하지 못한다는 것을 입증했습니다. 이들은 깨끗한 실제 녹화 영상에 낮은 점수를 부여하고(환각 발생), 특정 물리 법칙을 위반하는 생성 영상을 보상하는 경향이 있어, VLM 기반 판단보다 물리 정보 기반 지표의 필요성을 확인시켜 주었습니다.

의의 및 주장

본 논문은 Morpheus가 임바디드 AI(embodied AI) 및 로보틱스에 필요한 "월드 모델"과 비디오 생성을 정렬하는 데 필수적인 단계라고 주장합니다. 저자들은 시각적 충실도는 향상되었지만, 현재의 모델들이 물리적 상호작용을 위한 시뮬레이터로서 신뢰받을 만큼 뉴턴 역학을 정확하게 인코딩하는 데는 아직 멀었다고 강조합니다.

이 연구의 의의는 지각적 평가에서 정량적 물리 검증으로의 전환에 있습니다. 현재의 모델들이 단순한 강체 시나리오에서도 기본적인 보존 법칙(에너지, 운동량)을 준수하는 데 실패한다는 점을 입증함으로써, 본 논문은 VGML을 추가적인 아키텍처나 훈련 혁신 없이 월드 모델로 취급하는 것의 한계를 지적합니다. 이 프레임워크는 핵심 물리 법칙에 대한 재현 가능한 스트레스 테스트를 제공하며, 신뢰할 수 있는 물리적 추론이 가능한 모델을 위한 연구의 견고한 토대를 마련합니다.