Inference-time Physics Alignment of Video Generative Models with Latent World Models

이 논문은 잠재 세계 모델 (VJEPA-2) 을 보상 신호로 활용하여 추론 시 여러 생성 경로를 탐색하고 조정하는 'WMReward'를 제안함으로써, 기존 비디오 생성 모델의 물리 법칙 위반 문제를 해결하고 ICCV 2025 Perception Test PhysicsIQ 챌린지에서 1 위를 차지한 성과를 거두었음을 보여줍니다.

핵심

🎥 "현실 같은" 비디오를 만드는 비밀: AI 가 물리 법칙을 배우는 방법

이 논문은 최신 AI 비디오 생성 모델들이 "보기는 좋지만, 물리 법칙을 무시하는" (예: 공이 바닥에 닿지 않고 둥둥 떠다니거나, 물체가 벽을 뚫고 지나가는) 문제를 해결한 방법을 소개합니다.

저희는 이 기술을 **'WMReward'**라고 부르며, 마치 "현실 세계의 전문가가 AI 의 작업을 실시간으로 점검하고 수정해 주는" 시스템이라고 생각하시면 됩니다.

---

1. 문제: AI 는 "드림"은 잘 꾸지만, "현실"은 모릅니다

최신 AI 비디오 모델들은 정말 아름다운 영상을 만들어냅니다. 하지만 이 모델들은 영화를 찍는 감독처럼 **"어떻게 보이는지"**는 잘 알지만, **"세상이 어떻게 돌아가는지 (물리 법칙)"**는 잘 모릅니다.

• 결과: 공이 떨어질 때 튀지 않고 멈추거나, 물체가 서로 관통하는 등 어색한 장면들이 나옵니다.

2. 해결책: "잠재 세계 모델 (Latent World Model)"이라는 교감

연구팀은 AI 가 영상을 만들 때, 이미지 생성을 멈추고 "물리 법칙을 아는 전문가 (VJEPA-2)"에게 확인을 시키는 방식을 도입했습니다.

• 비유: 요리사와 미식가
  • 요리사 (비디오 생성 AI): 맛있는 요리를 만들어냅니다. 하지만 맛을 잘 모릅니다.
  • 미식가 (잠재 세계 모델): 요리를 직접 만들지는 않지만, "이 요리는 물리 법칙에 맞지 않아. 소금이 너무 많거나, 불이 너무 세서 타버렸어"라고 정확하게 지적할 수 있는 전문가입니다.
  • WMReward: 이 미식가의 지적을 **점수 (Reward)**로 바꾸어, 요리사가 다시 요리를 만들 때 그 점수가 높은 방향으로 수정하게 유도합니다.

3. 어떻게 작동할까요? (3 단계 과정)

이 시스템은 AI 가 영상을 만들 때 두 가지 전략을 동시에 사용합니다.

① "예측 놀이" (Surprise Score)

미식가 (VJEPA-2) 는 AI 가 만든 영상 중 **지금까지 나온 장면 (과거)**을 보고 **"다음 장면은 이렇게 될 거야"**라고 예측합니다.

• 만약 AI 가 만든 실제 다음 장면이 미식가의 예측과 다르면? → "어? 이거 물리 법칙에 어긋나는데?"라고 **놀라움 (Surprise)**을 느낍니다.
• 이 놀라움이 클수록 점수가 낮아지고, 예측과 잘 맞을수록 점수가 높아집니다.

② "수정 가이드"와 "최고작 선별" (Guidance & Best-of-N)

AI 는 이 점수를 보고 두 가지 일을 합니다.

1. 가이드 (Guidance): 미식가가 "여기는 물리 법칙에 맞지 않아"라고 지적하면, AI 는 그 방향으로 영상을 실시간으로 수정하며 그립니다. (나침반을 보고 방향을 잡는 것)
2. 최고작 선별 (Best-of-N): AI 가 같은 조건으로 **여러 개의 영상 (예: 16 개)**을 먼저 만들어 봅니다. 그중에서 미식가가 가장 "물리 법칙을 잘 지킨 영상" 하나만 골라냅니다. (시험을 여러 번 보고 가장 높은 점수 받은 답안지 하나만 제출하는 것)

4. 성과: 물리 법칙의 신 (PhysicsIQ) 대회 1 위

이 방법을 적용하자 놀라운 결과가 나왔습니다.

• 물리 법칙 테스트 (PhysicsIQ): AI 가 만든 영상이 물리 법칙을 얼마나 잘 지키는지 평가하는 대회에서 **1 위 (점수 62.64%)**를 차지했습니다. 기존 최고 기록보다 7% 이상이나 더 높았습니다.
• 사람의 눈: 사람들이 직접 보고 평가한 결과에서도, "이게 더 현실적으로 보이네?"라는 반응이 훨씬 많았습니다.

5. 요약: 왜 이것이 중요한가요?

기존에는 AI 가 물리 법칙을 배우게 하려면 **처음부터 다시 학습 (재훈련)**시켜야 했습니다. 하지만 이 연구는 이미 만들어진 AI 가 영상을 만들 때, 실시간으로 전문가의 도움을 받아 수정하는 방식을 제안했습니다.

• 핵심 메시지: AI 가 영상을 만들 때, **"현실 세계의 법칙을 아는 교감 (미식가)"**을 곁들여 실시간으로 점검하면, 훨씬 더 신뢰할 수 있고 자연스러운 비디오를 만들 수 있다는 것을 증명했습니다.

이제 AI 가 만든 영상은 단순히 "예쁜 그림"을 넘어, 우리가 사는 현실 세계와 같은 법칙을 따르는 진정한 "영화"가 될 수 있는 길을 열었습니다. 🎬✨

기술 요약

1. 문제 정의 (Problem)

• 현재의 한계: 최첨단 비디오 생성 모델 (Sora, MAGI-1 등) 은 시각적으로 매력적인 콘텐츠를 생성하지만, 중력, 관성, 유체 역학 등 기본적인 물리 법칙을 위반하는 경우가 많습니다.
• 기존 접근법의 부족: 이러한 물리 불일치는 주로 모델의 사전 학습 (Pre-training) 단계에서 물리 이해가 부족하기 때문이라고 여겨져 왔습니다. 이에 따라 많은 연구가 사전 학습 데이터에 물리 정보를 주입하거나 모델 구조를 수정하는 데 집중했습니다.
• 새로운 관점: 저자들은 물리 불합리성이 **비최적의 추론 전략 (Suboptimal inference strategies)**에서도 기인한다고 주장합니다. 즉, 생성 모델이 학습한 매니폴드 (Manifold) 내에 물리적으로 타당한 비디오가 존재함에도 불구하고, 이를 찾는 데 실패한다는 것입니다.

2. 방법론: WMReward (Methodology)

저자는 WMReward라는 새로운 프레임워크를 제안하여, 비디오 생성을 추론 시간 정렬 (Inference-time Alignment) 문제로 재정의합니다.

• 핵심 아이디어: 강력한 물리 사전 지식을 가진 **잠재 세계 모델 (Latent World Model, 예: VJEPA-2)**을 보상 모델 (Reward Model) 로 활용합니다.
• 보상 신호 (Reward Signal) 설계:
  • VJEPA-2 는 마스킹된 비디오 영역을 잠재 공간 (Latent Space) 에서 예측하는 자기지도 학습 모델입니다.
  • 생성된 비디오의 맥락 (Context) 프레임을 입력받아 미래 프레임을 예측한 후, 실제 생성된 미래 프레임과 예측된 잠재 표현 (Latent Representation) 간의 **코사인 유사도 (Cosine Similarity)**를 계산합니다.
  • 예측과 실제 생성물의 차이가 클수록 (Surprise Score 가 높을수록) 물리적으로 불합리하다고 판단하여 낮은 보상을 부여합니다. 반대로 예측과 일치하면 높은 보상을 받습니다.
• 샘플링 전략 (Sampling Schemes):
  생성된 비디오 분포를 물리적으로 타당한 방향으로 기울어진 분포 (Tilted Distribution) 로 조정하기 위해 세 가지 전략을 사용합니다.
  1. Guidance (∇): 보상 함수의 기울기 (Gradient) 를 사용하여 디노이징 (Denoising) 과정에서 샘플을 유도합니다.
  2. Best-of-N (BoN): N 개의 독립적인 샘플을 생성한 후, WMReward 점수가 가장 높은 샘플을 선택합니다.
  3. ∇+ BoN (Combined): Guidance 를 사용하여 N 개의 샘플을 생성한 후, 그중에서 가장 높은 보상을 받은 샘플을 선택합니다. 이는 근사 오차를 줄이고 더 강력한 타일팅 (Tilting) 효과를 냅니다.

3. 주요 기여 (Key Contributions)

1. 잠재 세계 모델을 활용한 물리 정렬: VJEPA-2 의 'Surprise Score'를 재사용하여 물리 타당성 보상 모델 (WMReward) 을 개발했습니다. 이는 픽셀 기반 재구성 오류나 VLM(비전 - 언어 모델) 기반 판단보다 물리 이해에 더 효과적입니다.
2. 스케일링 법칙 (Scaling Behavior) 입증: 탐색 공간 (Search Space, 즉 N 의 크기) 을 늘릴수록 물리 점수가 꾸준히 향상됨을 증명했습니다. 특히 Guidance 와 BoN 을 결합한 방식이 가장 큰 스케일링 효과를 보였습니다.
3. 광범위한 검증: 텍스트-비디오 (T2V), 이미지-비디오 (I2V), 비디오-비디오 (V2V) 등 다양한 생성 설정과 MAGI-1, Sora2, vLDM 등 다양한 아키텍처에서 효과를 입증했습니다.

4. 실험 결과 (Results)

• PhysicsIQ 벤치마크 기록 경신:
  • ICCV 2025 Perception Test PhysicsIQ 챌린지에서 **최종 점수 62.64%**를 기록하여 1 위를 차지했습니다.
  • 이전 최첨단 (SOTA) 모델 대비 7.42%p 향상되었으며, MAGI-1 기반 실험에서는 V2V 설정에서 62.0% (기존 대비 6.78%p 향상) 를 달성했습니다.
• 다른 보상 모델과의 비교:
  • VideoMAE(픽셀 재구성 기반) 나 Qwen-VL(비전 - 언어 모델 기반) 과 같은 다른 보상 신호보다 WMReward 가 물리 점수에서 압도적으로 우수했습니다. 이는 잠재 공간에서의 예측 불일치가 물리 법칙 위반을 더 잘 포착함을 의미합니다.
• 인간 평가 (Human Preference):
  • 물리 타당성 (Physics Plausibility), 시각적 품질 (Visual Quality), 프롬프트 일치도 (Prompt Alignment) 세 가지 기준에서 WMReward 를 적용한 비디오가 베이스라인 대비 승률 (Win Rate) 11.4%p 향상되었습니다.
• 시각적 품질 유지:
  • 물리 법칙 준수를 위해 시각적 품질이 떨어질 것이라는 우려와 달리, VBench 평가를 통해 주제 일관성, 모션 부드러움, 시간적 안정성 등이 오히려 개선되거나 유지됨을 확인했습니다.

5. 의의 및 결론 (Significance)

• 재학습 없는 성능 향상: 생성 모델 자체를 재학습 (Retraining) 시키지 않고, 추론 단계에서 잠재 세계 모델을 보상 모델로 활용함으로써 물리 법칙을 준수하는 비디오를 생성할 수 있음을 증명했습니다.
• 신뢰할 수 있는 세계 모델링: 로봇공학, 자율주행 등 물리 법칙이 중요한 하위 작업에 비디오 생성 모델을 적용할 수 있는 가능성을 열었습니다.
• 향후 방향: 잠재 세계 모델의 물리 이해 범위를 확장하고 (마찰력, 무게 등), 더 효율적인 탐색 알고리즘을 개발하는 것이 향후 연구 과제로 제시되었습니다.

요약하자면, 이 논문은 "비디오 생성 모델이 물리 법칙을 위반하는 문제는 학습 데이터의 부족이 아니라, 생성 과정에서 물리적으로 타당한 경로를 찾지 못하기 때문"이라는 통찰을 바탕으로, 잠재 세계 모델의 예측 능력을 보상 신호로 활용하여 추론 단계에서 물리 정합성을 극대화하는 WMReward를 제안하고, 이를 통해 벤치마크에서 SOTA 를 달성한 획기적인 연구입니다.