Inferring Dynamic Physical Properties from Video Foundation Models

이 논문은 탄성, 점도, 동적 마찰과 같은 동적 물리 속성을 비디오에서 추론하기 위해 새로운 데이터셋을 구축하고, 오라클 방법, 사전 훈련된 비디오 기반 모델, 그리고 멀티모달 대형 언어 모델 (MLLM) 의 다양한 프롬프트 전략을 비교 평가하여 각 접근법의 성능과 한계를 분석했습니다.

핵심

이 논문은 **"컴퓨터가 동영상을 보고 사물의 물리적 성질을 직관적으로 이해할 수 있을까?"**라는 질문에 답하기 위해 진행된 연구입니다. 마치 우리가 공이 튀는 모습을 보고 "이 공은 잘 튀는구나 (탄성)", 꿀이 흐르는 모습을 보고 "이 액체는 끈적하구나 (점성)", 얼음 위를 미끄러지는 상자를 보고 "마찰이 적구나 (마찰력)"라고 판단하는 것처럼, 인공지능도 같은 능력을 가질 수 있는지 확인한 것입니다.

이 연구의 내용을 쉽게 풀어서 설명해 드릴게요.

1. 연구의 목표: "눈으로 보는 물리 실험"

저자들은 컴퓨터가 단순히 사물을 '인식'하는 것을 넘어, 시간의 흐름에 따라 움직이는 사물의 물리 법칙을 이해할 수 있는지 테스트했습니다.

• 탄성 (Elasticity): 공이 바닥에 떨어졌다가 튀어 오를 때, 얼마나 높이 다시 올라가는지?
• 점성 (Viscosity): 액체가 바닥에 떨어졌을 때, 얼마나 빨리 퍼져나가는지? (물처럼 빨리 퍼지는지, 꿀처럼 천천히 퍼지는지)
• 마찰 (Friction): 물체가 미끄러질 때, 얼마나 빨리 멈추는지?

2. 새로운 도구: 'PhysVid'라는 도서관

이 연구를 위해 저자들은 새로운 데이터셋인 **'PhysVid'**를 만들었습니다.

• 가상 세계 (Synthetic): 컴퓨터 시뮬레이션으로 만든 영상들입니다. 여기서는 물리 법칙을 완벽하게 통제할 수 있어 정답 (Ground Truth) 을 정확히 알 수 있습니다.
• 실제 세계 (Real): 유튜브나 직접 촬영한 실제 영상들입니다. 여기서는 조명, 카메라 각도 등 다양한 변수가 섞여 있어 더 어렵습니다.
• 마치 가상 현실 게임에서 연습한 뒤, 실제 세상에서 시험을 보는 것과 같습니다.

3. 세 가지 시험 방법 (모델 비교)

저자들은 현재 가장 유명한 세 가지 종류의 AI 모델에게 이 문제를 풀게 했습니다.

A. '오라클 (Oracle)' 방법: 수학적 계산기

• 비유: 이 방법은 AI 가 아니라, 정밀한 측정 도구를 가진 인간 전문가입니다.
• 방식: 영상 속 공의 높이 변화나 액체의 퍼짐 면적을 수학 공식으로 직접 계산합니다.
• 결과: 거의 100% 정답을 맞췄습니다. 이는 "영상만 보면 물리 성질을 계산하는 것은 이론적으로 가능함"을 증명했습니다.

B. '비디오 파운데이션 모델' (DynamiCrafter, V-JEPA-2)

• 비유: 이들은 수만 시간의 영화를 본 영화 평론가나 물리 실험을 많이 해본 학생과 같습니다.
• 방식: 이 모델들은 원래 영상을 만들거나 (생성형), 영상을 이해하는 데 훈련되었습니다. 저자들은 이 모델들의 '머릿속'에서 중요한 정보를 뽑아내는 작은 질문 (프롬프트) 을 던져 물리 성질을 예측하게 했습니다.
• 결과:
  • 생성형 모델 (DynamiCrafter): 영상을 만들어본 경험이 있어 물리 법칙을 잘 이해했습니다.
  • 자기지도 학습 모델 (V-JEPA-2): 스스로 영상을 학습한 모델도 비슷한 실력을 보였습니다.
  • 특이점: 이 모델들은 **실제 영상 (Test-3)**에서도 꽤 잘했지만, 마찰력을 예측하는 것은 여전히 어려워했습니다. 마치 "얼음 위를 미끄러지는 것"과 "카펫 위를 미끄러지는 것"의 미세한 차이를 눈으로만 구분하기 어렵기 때문입니다.

C. '멀티모달 대형 언어 모델 (MLLM)' (GPT, Gemini 등)

• 비유: 이들은 지식이 풍부한 교수님이지만, 눈이 약한 상태일 수 있습니다. 언어는 잘하지만 영상 속 미세한 움직임을 놓치는 경우가 많습니다.
• 방식: "이 영상에서 액체의 점성은 얼마인가요?"라고 질문하거나, "이 두 영상 중 어느 것이 더 끈적한가요?"라고 비교하게 했습니다. 또한, "공이 튀는 높이를 재보세요"라고 **단계별 지시 (프롬프트)**를 주기도 했습니다.
• 결과:
  • 기본 질문만 했을 때는 성능이 낮았습니다.
  • 하지만 **구체적인 지시 (예: "높이를 비교해 보세요")**나 **실제 예시 (Few-shot)**를 주면 성능이 크게 향상되었습니다.
  • 특히 실제 영상에서는 생성형 모델보다 더 잘하는 경우도 있었습니다. 이는 AI 가 실제 세상의 사물 이름 (예: '꿀', '물') 을 언어로 알고 있기 때문입니다. 하지만 순수한 '물리 계산' 능력은 아직 부족했습니다.

4. 핵심 결론 및 시사점

1. AI 는 물리 법칙을 '느끼기' 시작했지만, 아직 '계산'은 못 합니다: 최신 AI 모델들은 영상을 보고 물리 성질을 어느 정도 추론할 수 있게 되었습니다. 하지만 오라클 (수학적 계산) 만큼 정확하지는 않습니다.
2. 실제 세상은 더 어렵습니다: 컴퓨터로 만든 영상에서는 잘해도, 실제 영상 (조명, 각도 등 변수가 많음) 에서는 성능이 떨어집니다.
3. 질문하는 법이 중요합니다: MLLM 같은 모델은 어떻게 질문하느냐에 따라 성능이 크게 달라집니다. "무엇이냐"고 묻기보다 "어떻게 계산할지 단계별로 생각해보라"고 지시하면 훨씬 잘합니다.

요약

이 논문은 **"컴퓨터가 영상을 보고 사물의 물리적 성질을 이해하는 능력"**을 측정하는 기준을 만들었습니다. 결과는 **"AI 는 이제 물리 법칙을 조금씩 이해하기 시작했지만, 아직 인간이나 수학적 계산만큼 정교하지는 않다"**는 것입니다. 특히 실제 세상에서 작동하는 로봇이나 자율주행차를 만들려면, 이 '물리 이해 능력'을 더 발전시켜야 한다는 중요한 메시지를 전달합니다.

기술 요약

1. 문제 정의 (Problem)

이 논문은 비디오에서 동적인 물리적 속성 (Dynamic Physical Properties) 을 추론하는 과제를 다룹니다. 정적인 프레임만으로는 파악하기 어렵고, 시간적 흐름 (Temporal Dynamics) 을 통해 유추해야 하는 세 가지 핵심 속성에 초점을 맞춥니다.

• 탄성 (Elasticity): 공이 바닥에 떨어지고 튀어 오를 때의 탄성 계수.
• 점성 (Viscosity): 액체가 바닥에 떨어지고 퍼질 때의 점도.
• 동적 마찰 계수 (Dynamic Friction): 물체가 표면을 미끄러질 때 감속되는 정도.

기존의 컴퓨터 비전 작업 (인식, 탐지, 분할) 을 넘어, 기계가 인간의 직관적 물리 이해 (Intuitive Physics) 를 모방하여 비디오를 통해 물리 법칙을 이해할 수 있는지, 그리고 최신 비디오 기반 모델 (Video Foundation Models) 이 이러한 능력을 갖추고 있는지 검증하는 것이 목적입니다.

2. 주요 기여 (Key Contributions)

1. PhysVid 데이터셋 구축:

   • 물리적 속성 (탄성, 점성, 마찰) 을 정량적으로 라벨링한 새로운 비디오 데이터셋을 제안했습니다.
   • 합성 데이터 (Synthetic): Genesis 물리 시뮬레이터를 사용하여 생성된 데이터 (훈련, 테스트-1, 테스트-2).
   • 실제 데이터 (Real-world): 인터넷 및 직접 촬영한 실제 비디오 (테스트-3).
   • 데이터 구성:
     • Train/Test-1: 동일한 분포 (In-distribution).
     • Test-2: 다른 카메라 뷰, 조명 등 교란 변수 (Nuisance parameters) 를 가진 Out-of-distribution 합성 데이터.
     • Test-3: 실제 세계 데이터 (실제 환경 일반화 평가).
   • 각 데이터는 10,000 개의 훈련 영상과 1,000 개의 테스트 영상 (각각 3 개 세트) 으로 구성됩니다.

2. 추론 방법론 제안:

   • (a) 오라클 (Oracle) 방법: 전통적인 컴퓨터 비전 기법 (세그멘테이션, 궤적 추적, 기하학적 변환) 을 사용하여 물리적 속성을 직접 계산하는 최상위 성능 기준선 (Upper Bound) 을 설정했습니다.
   • (b) 비디오 기반 모델 (Generative & Self-Supervised): 사전 훈련된 비디오 생성 모델 (DynamiCrafter) 과 자기지도 학습 모델 (V-JEPA-2) 을 백본으로 활용합니다. 고정된 표현 (Frozen Representations) 에서 가시적 프롬프트 (Visual Prompt) 와 학습 가능한 쿼리 벡터 (Trainable Query Vector) 를 도입하여 크로스 어텐션 (Cross-attention) 을 통해 물리적 속성을 추출하는 경량화된 'Read-out' 메커니즘을 제안했습니다.
   • (c) 멀티모달 대형 언어 모델 (MLLM): QwenVL, GPT-4o, Gemini 등 최신 MLLM 에 대한 프롬프트 엔지니어링 전략을 탐구했습니다. (Few-shot, Oracle 교육, 프레임 인덱스 제공 등).

3. 실험 및 평가:

   • 절대값 예측 (Absolute Prediction) 과 상대값 비교 (Relative Comparison) 두 가지 태스크로 모델을 평가했습니다.
   • 생성형 모델과 자기지도 학습 모델의 성능을 비교하고, MLLM 의 한계와 잠재력을 분석했습니다.

3. 방법론 (Methodology)

• 오라클 (Oracle) 추정:

  • 탄성: 공의 낙하 높이와 튀어 오르는 높이의 비율 ($\sqrt{h_{bounce}/h_{drop}}$) 을 이미지 좌표계에서 추정.
  • 점성: 액체가 퍼지는 면적의 성장률 ($dA/dt$) 을 측정.
  • 마찰: 물체의 미끄러짐 궤적을 조류 관점 (Bird's-eye view) 으로 변환하여 포물선 피팅을 통해 가속도 및 마찰 계수 ($\mu_k = a/g$) 계산.
  • GRU 네트워크를 사용하여 이 시각적 단서들을 물리 값으로 회귀 (Regression) 시킵니다.

• 비디오 기반 모델 (DynamiCrafter & V-JEPA-2):

  • 아키텍처: 사전 훈련된 모델 (Diffusion U-Net 또는 ViT) 은 고정 (Frozen) 하고, 새로운 학습 가능한 쿼리 벡터 ($q$) 를 도입합니다.
  • 작동 원리: 쿼리 벡터가 모델의 내부 토큰 (Feature tokens) 에 크로스 어텐션을 수행하여 관련 정보를 선택적으로 추출합니다. 추출된 특징은 MLP 를 통해 물리 속성 값으로 매핑됩니다.
  • 이 방식은 전체 모델을 재학습하지 않고도 효율적으로 물리 정보를 추출할 수 있게 합니다.

• MLLM 프롬프트 전략:

  • Oracle Estimation Teaching: 모델에게 물리 법칙을 단계별로 설명하여 추론 과정을 안내.
  • Few-Shot Examples: 합성 데이터의 예시 (입력 - 정답 쌍) 를 제공.
  • Frame Index Provided: 프레임 번호를 텍스트로 제공하여 시간적 관계 이해 도움.
  • Black Frames: 두 비디오 사이에 검은 프레임을 삽입하여 구분 명확화.

4. 실험 결과 (Results)

• 오라클 성능: 모든 태스크에서 거의 완벽한 성능을 보였으며, 이는 시각적 단서와 물리 법칙만으로 이 문제가 해결 가능함을 입증했습니다.
• 비디오 기반 모델 (DynamiCrafter vs V-JEPA-2):
  • 두 모델 모두 합성 데이터 (Test-1, Test-2) 에서 매우 강력한 성능을 보였습니다.
  • 실제 데이터 (Test-3) 일반화: 탄성과 점성에서는 잘 일반화되었으나, 마찰 (Friction) 추정은 실제 데이터에서 성능이 크게 저하되었습니다. 이는 마찰 추정이 고차원 운동과 투영 기하학 (Projective Geometry) 에 더 민감하기 때문입니다.
  • 성능 비교: 생성형 모델 (DynamiCrafter) 과 자기지도 학습 모델 (V-JEPA-2) 의 성능은 전반적으로 유사했습니다.
• MLLM 성능:
  • 기본 프롬프트 (Baseline) 에서는 성능이 낮았으나, 적절한 프롬프트 (Few-shot, Oracle 교육) 를 적용하면 성능이 크게 향상되었습니다.
  • 특히 실제 데이터 (Test-3) 에서는 합성 데이터보다 더 좋은 성능을 보였으며, 이는 MLLM 이 실제 세계의 시각적 의미 (Semantic cues) 에 익숙하기 때문입니다.
  • 그러나 오라클이나 전용 비디오 모델에 비해 절대값 예측 정확도는 여전히 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 물리적 이해의 한계 확인: 최신 비디오 기반 모델과 MLLM 은 정적인 외관 인식은 뛰어났으나, 동적인 물리적 속성 (탄성, 점성, 마찰) 을 정량적으로 추론하는 능력은 아직 오라클에 미치지 못함을 밝혔습니다.
• 일반화 문제: 합성 데이터에서 학습된 모델은 실제 세계의 복잡한 기하학적 조건 (마찰 등) 에서 일반화에 어려움을 겪습니다.
• 향후 연구 방향: 비디오 모델이 단순한 패턴 인식을 넘어 물리 법칙을 내재화하고, 시간적 역학을 정밀하게 이해할 수 있도록 하는 것이 중요한 연구 방향임을 강조합니다.
• 오픈 소스: PhysVid 데이터셋, 모델 코드, 및 오라클 구현은 공개되어 향후 연구의 벤치마크로 활용될 수 있습니다.

이 논문은 비디오 기반 AI 가 "보이는 것"을 넘어 "움직이는 물리 법칙"을 이해하는 단계로 나아가기 위해 필요한 데이터와 평가 기준을 제시했다는 점에서 의의가 큽니다.