1. 연구 배경 및 문제 정의 (Problem)

최근 텍스트 - 비디오 (T2V) 생성 모델의 발전으로 장면의 사실성이 크게 향상되었으나, 복잡한 객체 간 상호작용 (Object Interactions) 을 정확하게 제어하고 생성하는 데에는 여전히 한계가 존재합니다.

• 텍스트의 모호성: 텍스트 프롬프트는 객체의 배치나 전체적인 흐름은 설명할 수 있으나, 시간적 순서나 정밀한 상호작용 (충돌, 낙하, 교차 등) 을 설명하는 데 한계가 있습니다.
• 시간적 추론 부족: 기존 T2V 모델에 사용되는 텍스트 인코더 (T5, CLIP 등) 는 주로 이미지 기반 훈련을 거쳤기 때문에, "처음에는 A 가 왼쪽에 있다가 B 와 충돌한다"와 같은 시간적 변화나 인과관계를 이해하는 능력이 부족합니다.
• 기존 제어 신호의 한계: 기존 연구들은 광학 흐름 (Optical Flow) 이나 스파스 포즈를 제어 신호로 사용했으나, 이는 정지된 객체 (Static objects) 나 객체 간의 고유한 식별 (Object Identity) 을 명확히 구분하지 못해, 객체가 모양이 변하거나 (shape-shifting) 의도치 않은 외관 변화가 발생하는 문제가 있었습니다.

2. 제안 방법론 (Methodology)

저자들은 위 문제들을 해결하기 위해 InTraGen이라는 새로운 파이프라인을 제안했습니다. 이는 입력된 궤적 (Trajectory) 을 기반으로 객체 간 상호작용이 풍부한 비디오를 생성하는 데 중점을 둡니다.

A. 다중 모달 상호작용 인코딩 (Multi-modal Interaction Encoding)

객체의 운동 정보를 동적 (Dynamic), 정적 (Static), 상호작용 (Interactive) 세 가지 요소로 나누어 통합적으로 인코딩합니다.

1. 스파스 포즈 인코딩 (Sparse Pose Encoding): 입력된 궤적의 인접 점 간 차이 (속도와 방향) 를 계산하여 스파스 광학 흐름 (Sparse Optical Flow) 으로 변환합니다. 이는 움직이는 객체의 동적 정보를 표현합니다.
2. 객체 ID 인코딩 (Object ID Encoding): 정지된 객체와 객체 간의 상호작용을 식별하기 위해 객체 ID 맵을 도입합니다. 각 객체에 고유한 색상 (ID) 을 부여하여 궤적이 겹치더라도 모델이 객체를 구분할 수 있게 합니다. 정지된 객체의 경우에도 ID 맵을 통해 위치와 존재를 인식하게 합니다.
3. 퓨전 네트워크 (Fusion Network): VAE 를 통해 인코딩된 스파스 포즈와 객체 ID 맵 정보를 잠재 공간 (Latent Space) 으로 변환한 후, 융합 네트워크를 통해 결합하여 Diffusion Transformer (DiT) 에게 상호작용 조건 (Interaction Condition) 으로 제공합니다.

B. 아키텍처 (Architecture)

• Backbone: 최근 비디오 생성 모델의 표준인 Diffusion Transformer (DiT) 를 기반으로 합니다.
• 조건부 생성: 텍스트 조건은 공간적 트랜스포머 (Spatial Transformer) 를 통해 통합되지만, 궤적 및 상호작용 정보는 별도의 인코딩 파이프라인을 통해 DiT 에 주입되어 시간적 일관성을 유지합니다.

C. 데이터셋 및 평가 지표 (Dataset & Metric)

• ViN (Video Interaction) Dataset: 객체 상호작용 평가를 위해 Blender 와 Unity 를 활용하여 생성한 4 가지 하위 데이터셋 (Pool, Dominoes, Football, MOVi-Extended) 으로 구성되었습니다. 총 5 만 개의 비디오를 포함하며, 각 프레임별 객체 좌표 (Ground Truth) 를 제공합니다.
• MTEM (Matching Trajectory Evaluation Metric): 생성된 비디오에서 추출된 궤적과 입력된 Ground Truth 궤적 간의 유사도를 정량적으로 평가하기 위해 제안된 새로운 지표입니다. 할당 알고리즘 (Hungarian matching) 을 사용하여 객체 ID 를 매칭하고 궤적 거리를 계산합니다.

3. 주요 기여 (Key Contributions)

1. InTraGen 프레임워크: 궤적 기반의 정밀한 제어를 통해 객체 간 상호작용 (충돌, 교차, 낙하 등) 이 풍부한 고품질 비디오를 생성하는 새로운 모델.
2. 다중 모달 인코딩: 스파스 포즈 (동적) 와 객체 ID 맵 (정적 및 상호작용) 을 결합하여 객체 식별성과 상호작용의 사실성을 동시에 향상시키는 메커니즘.
3. 새로운 데이터셋 및 평가 지표: 4 가지 시나리오로 구성된 대규모 합성 데이터셋 (ViN) 과 객체 상호작용의 정확도를 측정하는 MTEM 지표를 제안.
4. 성능 입증: 기존 오픈소스 모델 (Open-Sora-Plan 등) 및 상용 모델 대비 시각적 충실도와 정량적 성능 (MTEM, FID 등) 에서 우수한 결과를 입증.

4. 실험 결과 (Results)

• 정량적 평가 (Quantitative):
  • MTEM (궤적 일치도): InTraGen(9.40%) 은 스파스 포즈만 사용한 모델 (10.38%) 과 기존 Open-Sora-Plan(22.17%) 보다 훨씬 낮은 오차를 보이며 궤적 추적을 정확히 수행했습니다.
  • 화질 지표: SSIM, PSNR, LPIPS, FID 모든 지표에서 객체 ID 를 추가한 InTraGen 이 가장 우수한 성능을 보였습니다. 특히 FID 는 26.37 로 기존 모델 (40.65) 대비 현저히 개선되었습니다.
• 정성적 평가 (Qualitative):
  • 당구 (Pool), 도미노 (Dominoes), 축구 (Football) 등 복잡한 상호작용 시나리오에서 객체의 모양이 변하지 않고 (Identity Consistency), 물리 법칙에 따른 자연스러운 충돌과 움직임이 구현되었습니다.
  • 기존 모델들 (I2VGen-XL, LUMA, SEINE 등) 이 도미노 상호작용 장면에서 실패한 반면, InTraGen 은 가장 사실적인 결과를 생성했습니다.
• 사용자 연구 (User Study):
  • 객체 간 상호작용의 사실성 (Realism) 과 주어진 궤적 준수율 (Control) 에서 사용자 평가가 가장 높게 나타났습니다. 특히 객체 ID 인코딩이 도입된 모델이 상호작용의 사실성을 크게 향상시켰음을 확인했습니다.

5. 의의 및 결론 (Significance)

InTraGen 은 텍스트 기반 생성 모델의 한계를 넘어, 사용자가 정의한 궤적을 통해 복잡한 물리 상호작용을 정밀하게 제어할 수 있는 세계 시뮬레이터로서의 가능성을 제시했습니다.

• 기술적 의의: 객체 ID 를 명시적으로 모델링하여 객체 식별성 문제를 해결하고, 정적/동적/상호작용 정보를 통합함으로써 시간적 추론 능력을 획기적으로 개선했습니다.
• 응용 가능성: 게임 개발, 영화 제작, 로봇 시뮬레이션 등 정밀한 물리 상호작용이 필요한 분야에서 실제 데이터 수집 없이 고품질 훈련 데이터 생성 및 시나리오 테스트에 활용될 수 있습니다.

이 연구는 단순한 비디오 생성을 넘어, 제어 가능한 객체 상호작용을 구현하는 데 있어 중요한 이정표가 되었습니다.