Matrix-Game 2.0: 기술 요약

1. 문제 정의 (Problem)

기존의 상호작용형 비디오 생성 모델 (Interactive World Models) 은 다음과 같은 한계로 인해 실시간 성능을 내는 데 어려움을 겪고 있습니다.

• 실시간성 부재: 기존의 양방향 어텐션 (bidirectional attention) 모델은 프레임 하나를 생성할 때 전체 비디오를 처리해야 하므로 지연 시간이 길어 실시간 스트리밍이 불가능합니다.
• 계산 비용: 프레임 길이에 비례하여 계산량과 메모리 사용량이 2 차 함수적으로 증가하여 긴 비디오 생성이 비효율적입니다.
• 오류 누적: 기존 자가 회귀 (auto-regressive) 모델은 이전 프레임에 기반하여 다음 프레임을 생성하는 과정에서 시간이 지남에 따라 오류가 누적되어 화질이 급격히 저하됩니다.
• 데이터 부족: 정밀한 액션 (키보드, 마우스 입력) 과 카메라 동역학이 레이블링된 대규모 고품질 상호작용 비디오 데이터셋이 부재합니다.

2. 방법론 (Methodology)

Matrix-Game 2.0 은 위 문제들을 해결하기 위해 데이터 파이프라인, 모델 아키텍처, 증류 (Distillation) 전략의 세 가지 핵심 요소를 도입했습니다.

A. 대규모 데이터 생산 파이프라인

• Unreal Engine & GTA5 기반: 약 1,200 시간 분량의 고품질 비디오 데이터를 생성하기 위해 두 가지 환경을 활용했습니다.
  • Unreal Engine: 네비게이션 메쉬 (NavMesh) 기반 경로 계획 시스템과 강화 학습 (RL) 에이전트를 도입하여 NPC 의 이동과 상호작용을 자연스럽게 시뮬레이션했습니다. 정밀한 카메라 제어 (쿼터니언 정밀도 최적화) 를 통해 0.2% 의 회전 오차를 제거했습니다.
  • GTA5: Script Hook V 를 활용하여 마우스/키보드 입력과 비디오 프레임을 프레임 단위 (frame-level) 로 동기화하는 기록 시스템을 구축했습니다.
• 데이터 정제: OpenCV 기반의 필터링 알고리즘을 통해 불필요한 정지 프레임을 제거하고, 속도 검증 메커니즘을 통해 물리적으로 불가능한 움직임을 배제했습니다.

B. 모델 아키텍처 (Foundation Model)

• 비언어적 (De-semanticized) 접근: 텍스트 입력을 배제하고 이미지와 액션 (키보드/마우스) 만을 입력으로 받아 물리 법칙과 공간 구조를 학습합니다.
• Action Injection Module:
  • 마우스 (연속): 잠재 공간 (latent) 에 직접 연결하여 MLP 와 시간적 자기 어텐션 (temporal self-attention) 을 통과시킵니다.
  • 키보드 (이산): 융합된 특징 (fused features) 을 통해 크로스 어텐션 (cross-attention) 레이어에서 쿼리되어 정밀한 제어를 가능하게 합니다.
  • RoPE 적용: 긴 비디오 생성을 위해 Rotary Positional Encoding 을 도입하여 키보드 입력의 위치 인코딩을 개선했습니다.

C. 실시간 자가 회귀 증류 (Real-time Auto-regressive Distillation)

• Self-Forcing 기반 증류: 기존 양방향 모델을 Self-Forcing 기술을 통해 소수의 단계 (few-step) 로 자가 회귀 모델로 증류했습니다. 이는 Teacher Forcing 의 오류 누적 문제를 해결하고, 모델이 스스로 생성한 이전 프레임을 조건으로 다음 프레임을 예측하도록 훈련시킵니다.
• KV Caching: 효율적인 순차 생성을 위해 최근 잠재 변수와 액션 임베딩을 캐싱하는 KV-Cache 메커니즘을 도입했습니다. 이는 무한한 길이의 비디오 생성을 지원하면서도 메모리를 관리합니다.
• 결과: 단일 H100 GPU 에서 **초당 25 프레임 (25 FPS)**의 생성 속도를 달성하여 실시간 상호작용이 가능해졌습니다.

3. 주요 기여 (Key Contributions)

1. 실시간 스트리밍 상호작용 세계 모델: 기존 모델들의 지연 문제를 해결하고, 사용자 입력에 즉각 반응하여 고품질의 긴 비디오를 생성하는 최초의 오픈소스 모델 중 하나입니다.
2. 고정밀 데이터 파이프라인: Unreal Engine 과 GTA5 를 활용한 대규모, 정밀하게 레이블링된 상호작용 데이터셋 생산 체계를 구축하여 학습 데이터의 품질과 양을 획기적으로 개선했습니다.
3. 효율적인 증류 프레임워크: Self-Forcing 과 KV-Caching 을 결합하여 긴 비디오 생성 시 발생하는 오류 누적과 계산 비용을 동시에 해결했습니다.
4. 오픈소스 공개: 모델 가중치와 코드베이스를 공개하여 상호작용형 세계 모델 연구의 발전을 촉진합니다.

4. 실험 결과 (Results)

• 성능: Minecraft 및 자연스러운 야외 장면 (Wild Scenes) 에서 25 FPS의 실시간 생성 속도를 달성했습니다.
• 품질 비교 (Minecraft): 기존 모델인 Oasis 와 비교했을 때, 수백 프레임 이상 생성 시에도 화질 저하가 없으며, 시각적 품질, 시간적 일관성, 액션 제어 정확도에서 모두 우위를 보였습니다. (예: 시각적 품질 0.61 vs Oasis 0.27)
• 일반화 능력: GTA5 운전 장면, TempleRun 게임 등 훈련 데이터 분포를 벗어난 (Out-of-Domain) 복잡한 장면에서도 안정적인 생성과 정확한 상호작용 반응을 보였습니다.
• Ablation Study: KV-Cache 크기를 6 프레임으로 설정했을 때 장기 생성 품질과 오류 보정 능력 사이의 최적 균형을 이루는 것을 확인했습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의: Matrix-Game 2.0 은 게임 엔진, 자율 주행, 공간 지능 등 다양한 분야에서 실시간 시뮬레이션과 상호작용을 가능하게 하는 강력한 기반 모델로 자리 잡았습니다. 특히 텍스트에 의존하지 않고 시각적/물리적 법칙을 직접 학습하는 접근법은 세계 모델 연구의 새로운 방향을 제시합니다.
• 한계:
  • OOD 일반화: 훈련되지 않은 매우 특이한 카메라 이동 (예: 장시간 상향 이동) 시 과포화 또는 화질 저하가 발생할 수 있습니다.
  • 해상도: 현재 352x640 해상도로 출력되어 최첨단 비디오 생성 모델들의 고해상도 출력에는 미치지 못합니다.
  • 장기 일관성: 명시적인 기억 메커니즘이 없어 매우 긴 비디오 생성 시 콘텐츠 일관성을 유지하는 데 어려움이 있습니다.

이 모델은 실시간 상호작용형 비디오 생성의 새로운 기준을 제시하며, 향후 더 넓은 도메인과 고해상도, 장기 기억 메커니즘을 통해 실용성을 높여 나갈 것으로 기대됩니다.