Learning to Generate Rigid Body Interactions with Video Diffusion Models

이 논문은 단일 이미지와 물체 속도 정보를 기반으로 현실적인 강체 상호작용을 생성할 수 있도록 마스크 기반의 2 단계 학습 전략과 저수준 운동 제어 및 고수준 텍스트 조건을 통합한 새로운 비디오 생성 모델 'KineMask'를 제안합니다.

핵심

이 논문은 **"KineMask(키네마스크)"**라는 새로운 기술을 소개합니다. 쉽게 말해, **"영상을 만드는 인공지능 (AI) 이 물리 법칙을 제대로 이해하도록 가르치는 방법"**입니다.

기존의 AI 영상 생성 기술은 그림을 그리는 데는 훌륭하지만, 물체가 움직일 때의 '현실감'이 떨어졌습니다. 예를 들어, 컵이 다른 컵에 부딪히면 튕겨 나가야 하는데, AI 는 마치 유령처럼 컵이 통과해 가거나, 부딪혔는데도 아무 일도 없는 것처럼 만들곤 했습니다.

이 문제를 해결하기 위해 연구팀이 개발한 KineMask의 원리를 일상적인 비유로 설명해 드릴게요.

---

🎬 1. 문제: "마법 같은 영상" vs "현실적인 영상"

기존 AI 는 마치 마법사처럼 작동합니다. "이 컵이 오른쪽으로 가"라고 하면 컵이 오른쪽으로 이동합니다. 하지만 물리 법칙을 모릅니다.

• 현실: 공을 벽에 던지면 튕겨 나옵니다.
• 기존 AI: 공이 벽을 뚫고 지나가거나, 벽에 닿자마자 사라지거나, 벽을 밀고 가버립니다.

이런 AI 를 로봇이나 시뮬레이션에 쓰려면 안 됩니다. 로봇이 물건을 들 때 물리 법칙을 모르면 물건을 떨어뜨리거나 부술 테니까요.

🛠️ 2. 해결책: KineMask (키네마스크) 의 두 가지 비법

연구팀은 AI 에게 물리 법칙을 가르치기 위해 두 가지 단계로 훈련을 시켰습니다.

① 첫 번째 비법: "초고속 운전 면허" (1 단계 훈련)

AI 에게 완벽한 시뮬레이션 데이터를 보여줍니다.

• 비유: 마치 운전 학원에서 강사가 차를 완벽하게 조종하며 "이렇게 핸들을 돌리면 차가 이렇게 돌아갑니다"라고 가르치는 것과 같습니다.
• 방법: 컴퓨터로 만든 가상의 장면 (블렌더) 에서 물체들이 부딪히는 영상을 만들고, **"어떤 속도로, 어느 방향으로 움직였는지"**를 AI 에게 정밀하게 가르칩니다. 이때 AI 는 물체가 어떻게 움직여야 하는지 완벽하게 기억합니다.

② 두 번째 비법: "운전 시험" (2 단계 훈련)

이제 AI 가 스스로 판단하게 합니다.

• 비유: 학원을 졸업한 학생이 실제 도로에 나가는 것입니다. 강사는 처음 몇 초만 "이쪽으로 가"라고 알려주고, 그 뒤는 스스로 부딪히고 튕겨 나가는 상황을 예측하게 합니다.
• 방법: AI 가 처음 프레임 (시작 화면) 에서 물체의 속도만 알려주면, 나머지 영상은 AI 가 스스로 만들어내야 합니다. AI 는 "아, 이 물체가 저 물체에 부딪히면 저렇게 튕겨 나가겠구나"라고 **인과관계 (원인과 결과)**를 스스로 학습하게 됩니다.

🎨 3. 추가 기능: "나레이션"과 "지시"의 조화

KineMask 는 두 가지 정보를 동시에 사용합니다.

1. 저수준 제어 (손가락으로 가리키기): 사용자가 "이 컵을 오른쪽으로 밀어"라고 화살표로 지시하면, AI 는 그 방향과 속도를 정확히 따릅니다.
2. 고수준 지시 (나레이션): AI 는 "컵이 부딪히면 깨져야 해"나 "물이 튀어야 해"라는 텍스트 설명도 함께 읽습니다.
   • 비유: 감독이 배우에게 "이제 오른쪽으로 달려가서 (지시), 벽에 부딪혀서 넘어져라 (나레이션)"라고 말하는 것과 같습니다. 덕분에 AI 는 컵이 깨지거나 물이 튀는 복잡한 현상까지 자연스럽게 만들어냅니다.

🌟 4. 왜 이것이 중요한가요? (결과)

이 기술을 적용한 AI 는 다음과 같은 놀라운 능력을 갖게 되었습니다.

• 현실적인 충돌: 컵이 다른 컵에 부딪히면 튕겨 나가고, 무거운 물체는 가볍게 움직입니다.
• 복잡한 효과: 컵이 떨어지면 깨지고, 물이 튀고, 연기가 피어오르는 등 부수적인 효과까지 자연스럽게 표현합니다.
• 일반화: 컴퓨터로 만든 가상의 장면에서 배운 지식을 실제 사진 (실제 커피잔, 장난감 등) 에 적용해도 잘 작동합니다.

💡 요약

KineMask는 AI 에게 **"물리 법칙"**이라는 무언가를 주입한 것입니다.
기존의 AI 가 마법으로 영상을 만들었다면, KineMask 는 물리학자처럼 영상을 만듭니다.

• 기존 AI: "컵이 벽을 통과했어? 어, 그래. (현실 무시)"
• KineMask: "컵이 벽에 부딪혔으니 튕겨 나가야지. 그리고 깨지면 조각이 날아가야 해. (물리 법칙 준수)"

이 기술은 앞으로 로봇이 물건을 다루는 법을 배우거나, 영화 제작자가 현실적인 특수효과를 쉽게 만들거나, 자율주행차가 사고 상황을 예측하는 데 큰 도움을 줄 것으로 기대됩니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 최근 비디오 생성 모델 (Video Diffusion Models, VDMs) 은 영화, 광고 등 창의적인 분야에서 뛰어난 성과를 보이며, 로봇 공학 및 embodied AI 를 위한 '세계 모델 (World Simulator)'로서의 가능성도 제시하고 있습니다.
• 문제점:
  • 현재 VDM 들은 물리적으로 타당한 객체 상호작용 (충돌, 인과관계, 운동량 보존 등) 을 생성하는 데 어려움을 겪습니다.
  • 기존 제어 방법들 (드래그 기반, 키프레임 기반 등) 은 미리 정의된 궤적이나 목표 지점을 필요로 하여, 초기 조건만으로 운동의 인과적 결과 (예: 충돌 후 다른 물체가 밀려나는 현상) 를 추론하지 못합니다.
  • 물리 시뮬레이터와 결합한 기존 방법들은 3D 재구성과 같은 복잡한 엔지니어링 작업이 필요하여 유연성이 떨어집니다.
• 핵심 질문: 초기 운동 조건 (속도, 방향) 만 주어졌을 때, 비디오 확산 모델이 강체 간의 현실적인 상호작용을 생성할 수 있는가? 그리고 데이터와 텍스트 조건부 학습이 이러한 인과적 물리 효과의 발현에 어떤 영향을 미치는가?

2. 제안 방법: KineMask (Methodology)

저자들은 KineMask라는 새로운 프레임워크를 제안하여, 단일 이미지와 객체의 속도 정보를 입력으로 받아 현실적인 강체 상호작용이 포함된 비디오를 생성합니다.

2.1. 핵심 구성 요소

• 저수준 운동 제어 (Low-level Motion Control):
  • 사용자가 지정한 객체의 **속도 벡터 (방향 및 크기)**를 인코딩한 **마스크 (Velocity Mask)**를 사용합니다.
  • 이 마스크는 RGB 채널을 사용하여 x, y, z 축 방향의 속도 성분을 픽셀 단위로 표현합니다.
  • ControlNet 아키텍처를 통해 이 마스크 신호를 비디오 확산 모델에 주입합니다.
• 고수준 텍스트 조건부 (High-level Textual Conditioning):
  • 객체 운동의 결과 (충돌, 액체 튀김, 파손 등) 를 설명하는 텍스트 설명을 예측하여 모델에 제공합니다.
  • 이는 VLM(Vision-Language Model) 이나 LLM 을 사용하여 생성된 장면 설명을 활용합니다.

2.2. 두 단계 학습 전략 (Two-Stage Training Strategy)

모델이 초기 조건만으로 미래 운동을 추론할 수 있도록 하기 위해 두 단계의 학습을 수행합니다.

1. 1 단계 (전체 프레임 학습):
   • 합성 데이터 (Blender 렌더링) 의 모든 프레임에 대해 객체의 속도 마스크를 제공하여 학습합니다.
   • 이 단계에서 모델은 물리적으로 타당한 운동 패턴과 상호작용을 학습합니다.
2. 2 단계 (마스크 드롭아웃 학습):
   • 핵심 기법: 학습 중 비디오의 후반부 프레임에 대한 속도 마스크를 무작위로 제거 (Dropout) 합니다.
   • 목표: 모델이 첫 번째 프레임의 초기 속도 정보 (m0) 만을 입력으로 받아, 이후 프레임의 운동과 상호작용을 스스로 추론하도록 강제합니다.
   • 이를 통해 모델은 명시적인 픽셀 제어 없이도 인과관계에 기반한 운동을 생성할 수 있게 됩니다.

2.3. 데이터 생성

• 실제 데이터에 대한 정밀한 물리 주석 (속도, 충돌 등) 수집은 불가능하므로, Blender를 사용하여 박스, 원통 등의 객체가 상호작용하는 합성 비디오 데이터를 대량으로 생성합니다.
• 생성된 데이터는 Tarsier(VLM) 를 통해 상세한 텍스트 설명 (캡션) 으로 라벨링됩니다.

3. 주요 기여 (Key Contributions)

1. KineMask 프레임워크 도입: 강체 상호작용을 생성하기 위해 저수준 속도 마스크와 고수준 텍스트 조건부를 결합한 새로운 비디오 생성 메커니즘을 제안했습니다.
2. 혁신적인 학습 전략: 전체 프레임의 운동 정보를 제공하는 대신, 후반부 마스크를 드롭아웃하는 두 단계 학습 전략을 통해 모델이 초기 조건만으로 인과적 상호작용을 추론하도록 훈련시켰습니다.
3. 실제 장면으로의 일반화: 합성 데이터로만 훈련되었음에도 불구하고, 실제 세계의 복잡한 장면 (Real World) 에서 강체 및 손 - 객체 상호작용을 현실적으로 생성하는 것을 입증했습니다.
4. 범용성 검증: CogVideoX, Wan2.2, Cosmos2.5 등 다양한 비디오 확산 모델 백본에 적용하여 성능을 향상시킬 수 있음을 보였습니다.

4. 실험 결과 (Results)

• 비교 대상: CogVideoX, Wan2.2, TORA(드래그 기반), MotionI2V, Force Prompting 등 최신 모델들과 비교했습니다.
• 정성적 평가:
  • 기존 모델들은 물체가 사라지거나, 비현실적으로 날아다니는 등 물리 법칙을 위반하는 경우가 많았습니다.
  • KineMask 는 충돌 시 다른 물체가 밀려나는 현상, 액체 튀김, 유리 파손 등 복잡한 물리 효과를 정확하게 구현했습니다.
  • 특히 손 - 도구 - 객체 상호작용과 같은 고차원적인 시나리오에서도 성공적인 결과를 보였습니다.
• 정량적 평가:
  • FVD (Fréchet Video Distance): 비디오 품질이 기존 모델 대비 크게 향상되었습니다.
  • FVMD (Motion Distance): 운동의 일관성과 정확도가 우수했습니다.
  • IoU (Intersection over Union): 생성된 객체 마스크와 정답 간의 겹침 비율이 높아 기하학적 일관성이 입증되었습니다.
  • 사용자 연구: 30 명의 참가자를 대상으로 한 비교 실험에서 운동 충실도, 상호작용의 현실성, 물리적 일관성 모든 항목에서 기존 모델들을 압도적으로 능가했습니다.
• 데이터 영향 분석:
  • 단순 운동 (Simple Motion) 데이터만 학습한 모델은 충돌을 생성하지 못했으나, 상호작용 (Interactions) 데이터로 학습한 모델은 정확한 충돌을 생성했습니다. 이는 훈련 데이터의 중요성을 보여줍니다.
• 텍스트 조건부 효과: 풍부한 텍스트 설명 (캡션) 으로 학습한 모델은 훈련 데이터에 없던 복잡한 효과 (예: 깨진 도자기, 물결) 를 생성하는 능력이 향상되었습니다.

5. 의의 및 결론 (Significance)

• 물리 기반 세계 모델의 진전: KineMask 는 비디오 생성 모델이 단순한 시각적 합성을 넘어, 물리 법칙과 인과관계를 이해하는 '세계 모델'로 발전할 수 있음을 입증했습니다.
• 로봇 공학 및 계획 수립: 초기 조건만으로 미래의 물리적 상호작용을 예측할 수 있는 능력은 로봇 조작 (Manipulation), 계획 (Planning), embodied AI 의사결정에 직접적으로 활용될 수 있습니다.
• 한계 및 향후 과제: 현재는 속도 제어에 국한되어 있으며, 마찰, 질량, 공기 저항 등 더 정교한 물리 파라미터를 제어할 수 있도록 확장하고, 연체 (Soft-body) 상호작용을 다루는 것이 향후 연구 방향입니다.

요약하자면, KineMask는 합성 데이터를 기반으로 한 두 단계 학습 전략을 통해 비디오 확산 모델이 초기 운동 조건만으로 현실적인 강체 상호작용과 인과적 물리 현상을 생성할 수 있게 한 획기적인 연구입니다.