VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

이 논문은 멀티모달 대형 언어 모델의 물리적 추론 능력을 평가하기 위해 시각 관찰로부터 실행 가능한 시뮬레이션 코드를 생성하도록 요구하는 'VisPhyWorld' 프레임워크와 'VisPhyBench' 벤치마크를 제안하며, 최신 모델들이 의미적 이해는 뛰어나지만 물리적 매개변수 추정 및 일관된 물리 동역학 시뮬레이션에는 어려움을 겪음을 보여줍니다.

핵심

VisPhyWorld: AI 가 물리 법칙을 진짜로 이해하는지 확인하는 새로운 방법

이 논문은 "인공지능 (AI) 이 정말로 물리 법칙을 이해하고 있을까, 아니면 그냥 영상을 보고 '아, 저건 떨어지는구나'라고 외운 것만 반복하는 걸까?" 라는 근본적인 질문에서 시작합니다.

기존의 AI 평가 방식은 마치 시험지를 주고 "공이 어디로 떨어질까요? A, B, C 중 고르세요"라고 묻는 방식이었습니다. 하지만 AI 는 물리 법칙을 모른 채도, 과거에 본 비슷한 영상 패턴을 기억해서 정답을 맞출 수 있습니다. 그래서 AI 가 진짜로 물리를 이해하는지 알기 어렵습니다.

이 논문은 이 문제를 해결하기 위해 VisPhyWorld라는 새로운 방식을 제안합니다.

---

🎬 핵심 아이디어: "답변이 아니라, 시뮬레이션 코드를 짜게 하라!"

기존 방식이 "정답을 고르는 것"이라면, VisPhyWorld 는 **"영상을 보고 그 상황을 재현할 수 있는 프로그램 (코드) 을 직접 짜게 하는 것"**입니다.

🍳 비유로 이해하기: "요리사 vs 레시피 작성자"

• 기존 방식 (VQA): AI 에게 "이 사진에서 계란이 어떻게 튀겨졌나요?"라고 묻습니다. AI 는 "계란이 부풀어 올랐어요"라고 말로 답합니다. 하지만 AI 가 실제로 계란을 튀겨본 적이 없어도, 책에서 본 내용을 말로만 뱉을 수 있습니다.
• VisPhyWorld 방식: AI 에게 "이 계란이 튀겨지는 장면을 보고, 계란이 어떻게 튀겨지는지 설명하는 레시피 (코드) 를 써서, 그 레시피대로 실제로 계란을 튀겨보라"고 시킵니다.

만약 AI 가 물리 법칙을 모르면, 레시피를 잘못 써서 계란이 공중에 뜬다거나, 팬을 뚫고 지나가는 어이없는 결과가 나옵니다. 하지만 AI 가 물리 법칙을 진짜로 이해했다면, 레시피대로 계란이 자연스럽게 튀겨지는 영상을 만들어냅니다.

---

🛠️ 어떻게 작동할까요? (3 단계 프로세스)

1. 관찰 (눈): AI 는 두 장의 사진 (시작 장면과 그다음 장면) 을 봅니다.
2. 해석과 코딩 (머리): AI 는 "아, 이 공이 벽에 부딪혀서 튕겨 나갔구나. 중력은 아래로 작용하고, 마찰력은 속도를 줄여주겠지"라고 생각하며, 이를 실행 가능한 컴퓨터 코드로 변환합니다.
3. 실행과 검증 (손): 이 코드를 컴퓨터에 실행시켜 영상을 만듭니다.
   • 성공: 공이 자연스럽게 벽에 부딪히고 튕겨 나갑니다. (AI 는 물리를 이해함)
   • 실패: 공이 벽을 뚫고 지나가거나, 벽에 부딪히는데도 멈추지 않고 계속 날아갑니다. (AI 는 물리를 모르고 패턴만 외움)

---

🔍 발견한 놀라운 사실들

연구진은 최신 AI 모델들 (GPT-5, Gemini, Claude 등) 을 이 테스트에 통과시켰습니다. 결과는 다음과 같습니다.

1. 말은 잘하지만, 행동은 엉망: AI 들은 영상을 보고 "공이 빨간색이고, 벽에 부딪혀서 오른쪽으로 튕겨 나갔습니다"라고 말로는 아주 정확하게 설명합니다. (의미 이해는 좋음)
2. 하지만 물리 법칙은 무서워: 하지만 직접 코드를 짜서 영상을 만들어보라고 하면, 중력, 마찰력, 충돌 같은 기본 물리 법칙을 적용하지 못해 엉뚱한 영상을 만들어냅니다.
   • 예시: 공이 벽에 부딪혀도 멈추지 않고 벽을 통과해버리거나, 공이 바닥에 닿지 않고 공중에 떠 있는 경우가 많았습니다.

이는 AI 가 물리 세계의 '원리'를 이해하는 것이 아니라, 단순히 '이미지 패턴'을 외우고 있을 뿐임을 보여줍니다.

---

💡 왜 이 연구가 중요할까요?

이 연구는 AI 가 로봇이나 자율주행차처럼 실제 세상과 상호작용해야 하는 분야에서 얼마나 안전한지 판단하는 기준을 제시합니다.

• 검열 가능한 AI: AI 가 "내가 이렇게 생각해서 이렇게 움직였다"라고 **코드 (레시피)**를 남기므로, 우리가 그 코드를 열어보고 "어? 여기 중력 계산이 틀렸네?"라고 바로 찾아낼 수 있습니다.
• 안전한 미래: 만약 AI 가 물리 법칙을 모른 채 로봇을 조종한다면, 로봇이 벽을 뚫고 가거나 사람을 다치게 할 수 있습니다. VisPhyWorld 는 AI 가 실제 물리 법칙을 준수하는지 검증 가능한 방법을 제공합니다.

📝 한 줄 요약

"AI 가 물리 법칙을 진짜로 이해하는지 확인하려면, 말로 설명하게 하지 말고 직접 시뮬레이션 코드를 짜서 영상을 만들어보게 하세요. 그래야 '외운 것'과 '진짜 이해'를 구별할 수 있습니다."

기술 요약

1. 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLM) 이 물리적 역학 (physical dynamics) 을 진정으로 추론하는지 평가하는 것은 여전히 어려운 과제입니다. 기존 벤치마크들은 대부분 **시각적 질문 답변 (VQA)**이나 **기대 위반 (VoE, Violation of Expectation)**과 같은 인식 (recognition) 기반 프로토콜에 의존합니다.

• 한계: 이러한 방식은 모델이 명시적이고 검증 가능한 물리적 가설을 세우지 않고도, 데이터셋의 편향이나 표면적인 시각적 패턴 매칭을 통해 정답을 유추할 수 있게 합니다.
• 필요성: MLLM 은 주로 텍스트를 출력하므로 생성형 세계 모델에서 사용하는 예측 확률 (predictive likelihood) 기반 평가가 어렵습니다. 따라서 모델이 물리 법칙을 이해하는지 확인하기 위해서는 명시적인 물리적 가설을 수립하고 이를 실행 가능한 형태로 검증할 수 있는 새로운 평가 체계가 필요합니다.

2. 방법론 (Methodology)

저자들은 물리 추론을 평가하기 위해 VisPhyWorld라는 새로운 프레임워크를 제안합니다. 이 프레임워크의 핵심은 "시각 관찰을 실행 가능한 시뮬레이션 코드로 변환"하는 것입니다.

• VisPhyWorld 프레임워크:

  • 입력: 비디오의 두 개의 핵심 프레임 (시작 프레임 $I_{start}$, 이후 프레임 $I_{later}$) 과 선택적 객체 감지 정보 ($D$).
  • 프로세스: MLLM 이 입력을 분석하여 다음 세 가지 산출물을 생성합니다.
    1. 텍스트 분석 ($A$): 장면의 운동과 상호작용에 대한 설명.
    2. JSON 명세 ($S$): 객체 배치 및 추정된 물리 파라미터 (위치, 속도, 질량 등).
    3. 실행 가능한 코드 ($C$): Three.js 또는 P5.js 와 같은 물리 엔진을 사용하여 장면을 재현하고 미래 프레임을 합성하는 코드.
  • 출력: 생성된 코드를 실행하여 렌더링된 비디오 ($\hat{X}$) 를 생성합니다.
  • 특징: 생성된 코드는 직접 검사, 수정, 반증 (falsifiable) 이 가능하여 모델의 물리 논리를 투명하게 드러냅니다.

• VisPhyBench (벤치마크):

  • 108 개의 물리 템플릿에서 파생된 209 개의 평가 장면 (2D 및 3D) 으로 구성됩니다.
  • PHYRE 엔진 (2D) 과 Three.js + Cannon.js (3D) 를 사용하여 물리적으로 일관된 지상 진실 (Ground Truth) 데이터를 생성했습니다.
  • 장면의 난이도 (Easy, Medium, Hard) 를 STEM 전문가들이 평가하여 분류했습니다.

• 평가 지표:

  • 재구성 및 지각 품질: LPIPS, PSNR, SSIM 등.
  • 시각적 의미 일관성: CLIP-Img, DINO (객체 정체성 및 레이아웃).
  • 텍스트 - 비디오 일관성: CLIP-Cap, BERTScore (분석 텍스트와 생성된 비디오의 일치도).
  • 운동 및 물리 타당성: RAFT 기반 광학 흐름 (Optical Flow) 에러 (EPE), 시간적 정렬 오차.
  • 전체적 품질: Gemini-2.5-Pro 를 활용한 주관적 평가 (물리 법칙 위반 여부 중점).

3. 주요 기여 (Key Contributions)

1. VisPhyWorld 프레임워크 제안: MLLM 이 원시 비디오 프레임을 해석하고 미래 운동을 예측하기 위한 실행 가능한 시뮬레이션 코드를 생성하도록 요구하는 최초의 패러다임입니다. 이는 물리 이해를 "재구성 및 재시뮬레이션"을 통해 직접적으로 평가합니다.
2. VisPhyBench 벤치마크 도입: 2D 와 3D 장면을 아우르는 표준화된 평가 프로토콜을 제시하며, 다양한 메트릭을 통합하여 모델의 성능을 다각도로 진단합니다.
3. MLLM 의 물리 추론 한계 규명: 최신 MLLM 은 장면의 의미론적 내용을 정확하게 설명할 수 있지만, 뉴턴 역학의 기본 파라미터를 정확히 추정하거나 물리 법칙에 부합하는 일관된 동역학을 시뮬레이션하는 데 심각한 한계가 있음을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 성능 비교: GPT-5, Gemini-3-Pro, Claude 4.5 등 최첨단 MLLM 과 SVD, Veo-3.1 같은 픽셀 기반 비디오 생성 모델을 비교했습니다.
• 코드 기반 접근법의 우위: 물리 엔진 (Three.js, P5.js) 을 사용하는 코드 기반 재구성은 픽셀 기반 모델보다 **재구성 품질 (LPIPS, SSIM)**과 시각적 의미 일관성에서 우수한 성능을 보였습니다. 특히 Three.js 를 사용한 경우 P5.js 대비 더 높은 물리 일관성을 보였습니다.
• 물리 추론의 실패:
  • MLLM 은 장면의 객체와 색상을 잘 인식하지만, 충돌, 마찰, 중력 등의 물리 파라미터를 잘못 추정하여 비현실적인 운동 (예: 물체가 서로 관통하거나 정지해 있는 현상) 을 생성하는 경우가 많았습니다.
  • 픽셀 기반 모델 (Veo-3.1 등) 은 시각적 유사성은 높을 수 있으나, 물리 법칙을 위반하는 할루시네이션 (예: 비현실적인 접촉) 을 자주 발생시켰으며, 이를 진단하기 어려운 블랙박스 특성을 가졌습니다.
• 자율 복구 (Self-repair): 생성된 코드가 실행되지 않을 경우, 에러 로그를 피드백받아 한 번 더 시도하는 '재시도 (retry)' 메커니즘을 도입하여 성공률을 97.7% 까지 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 검증 가능한 물리 이해: VisPhyWorld 는 MLLM 의 물리 이해 능력을 "검증 가능한 실행 가능한 가설"로 변환함으로써, 기존 VQA 방식의 모호함을 제거하고 모델이 실제로 물리 법칙을 추론하는지 명확하게 구분합니다.
• 패러다임 전환: 단순한 시각적 패턴 매칭을 넘어, **실행 가능한 세계 표현 (Executable World Representations)**을 통해 물리 추론을 평가해야 함을 강조합니다.
• 미래 방향: 현재 MLLM 은 단순한 2D/3D 강체 시뮬레이션에서는 어느 정도 성과를 보이지만, 복잡한 3D 환경이나 장기적인 상호작용에서는 여전히 한계가 있습니다. 향후 더 강력한 3D 지각 능력과 도메인 특화 파인튜닝을 통해 실제 로봇 공학 및 안전 필수 분야 (safety-critical domains) 에 적용 가능한 신뢰할 수 있는 세계 모델 개발의 기초를 마련했습니다.

이 논문은 생성형 AI 가 단순히 "보이는 것"을 모방하는 것을 넘어, "왜 그렇게 움직이는가"에 대한 물리적 인과관계를 이해하고 이를 코드로 구현할 수 있는 능력을 갖추어야 함을 강력하게 주장합니다.