기술 요약: WBENCH - 상호작용형 비디오 월드 모델 평가를 위한 포괄적인 멀티턴 벤치마크

1. 문제 제기

상호작용형 비디오 월드 모델은 게임, 자율 주행, 신체적 상호작용 등 다양한 분야에서 사용자의 행동에 반응하여 제어 가능한 비디오 시퀀스를 생성할 수 있도록 빠르게 발전하고 있습니다. 그러나 이 분야에는 체계적인 평가를 위한 통합된 표준이 부재합니다. 기존 벤치마크는 단편적입니다: 일부는 상호작용적 제어를 테스트하지 않고 지각적 비디오 품질 (예: VBench) 만 중점적으로 평가하는 반면, 다른 일부는 내비게이션이나 메모리 등 특정 월드 모델링 측면을 평가하지만 개방형 도메인의 장면, 관점, 상호작용 유형의 전체 스펙트럼을 포괄하지는 못합니다. 결과적으로 텍스트, 카메라 포즈, 이산적 행동 등 서로 다른 네이티브 인터페이스를 가진 모델을 공정하게 비교하거나, 장기 생성, 일관성, 물리 준수에서의 특정 실패 모드를 진단하기 어렵습니다.

2. 방법론

2.1 데이터셋 구축 (WBENCH)

저자들은 289 개의 테스트 사례와 1,058 개의 상호작용 턴으로 구성된 포괄적인 멀티턴 벤치마크인 WBENCH를 소개합니다. 데이터셋은'설정 우선 (setting-first)'원칙에 따라 구축되었습니다:

• 월드 설정: 각 사례는 네 가지 속성으로 구성된 초기 월드 상태 $W$를 정의합니다: 장면(6 가지 카테고리: 자연, 도시, 실내, 작업 공간, 판타지, 스포츠), 스타일(사진 사실주의에서 스타일화까지), 관점(1 인칭 또는 3 인칭), 그리고 주체(인간, 동물, 차량, 로봇, 기타).
• 상호작용 시퀀스: 각 사례는 네 가지 상호작용 유형에서 추출된 멀티턴 사용자 제어 시퀀스를 포함합니다:
  1. 내비게이션: WASD(이동) 및 화살표 키(회전) 를 사용한 카메라 또는 자기 에이전트 운동.
  2. 주체 행동: 주요 주체가 수행하는 행동 (조작, 이동, 도구 사용, 전투, 제스처).
  3. 이벤트 편집: 외부에서 부과된 환경 변화 (날씨, 시간대, 객체 등장).
  4. 관점 전환: 1 인칭과 3 인칭 뷰 간의 전환.
• 통합 제어: 패러다임 간 공정한 비교를 가능하게 하기 위해 내비게이션 상호작용은 텍스트 프롬프트, 6-DoF 카메라 포즈, 이산적 키보드 행동이라는 세 가지 정렬된 형태로 표현됩니다.

2.2 평가 스위트

WBENCH 는 인간 판단을 검증한 22 개의 세분화된 자동 서브-지표를 사용하여 모델을 5 가지 상호보완적 차원에 걸쳐 평가합니다:

1. 비디오 품질: 조건부 설정과 무관하게 지각적 품질 (미적, 영상, 깜빡임, 동적 정도, 부드러움, HPSv3-Norm) 을 측정합니다.
2. 설정 준수: 초기 월드 설정에 대한 충실도를 평가하며, 장면 준수(가시적 요소 유지 및 오프스크린 요소 드러내기) 와 주체 준수(외관 및 운동 스타일) 를 포함합니다.
3. 상호작용 준수: 사용자 요청의 정확한 실행을 평가합니다.
   • 내비게이션: 합성 기준에 대비하여 정규화된 절대 궤적 오차 (nATE) 를 계산하기 위해 포즈 추정을 위한 MegaSaM 을 사용합니다.
   • 의미 상호작용 (이벤트 편집, 주체 행동, 관점 전환): 구조화된 이진 확인 (예: 이벤트 발생, 완료, 이상 부재) 을 수행하는 비전 - 언어 모델 (VLM) 을 사용합니다.
4. 일관성: 시간에 따른 기하학, 외관, 관점의 안정성을 측정합니다. 공간 일관성 (왕복 궤적), 세그먼트 연속성 (컷 감지), 관점 일관성 (주체 추적), 재구성 일관성 (기하학적 및 광학 재투영) 을 위한 지표를 포함합니다.
5. 물리 준수: 인과적 충실도(렌더링 물리 및 인과 논리에 대한 VLM 기반 평가) 와 시적 타당성(저수준 아티팩트에 대한 미세 조정된 Qwen3-VL 점수) 을 통해 물리 규칙 준수를 평가합니다.

2.3 실험 프로토콜

이 벤치마크는 세 가지 패러다임에 걸친 20 개의 최첨단 모델에 적용되었습니다:

• 텍스트 기반 (9 개 모델): 예: Kling 3.0, Wan 2.7, Seedance 1.5. 반복적 마지막 프레임 전달을 통해 전체 289 개 사례에 대해 평가되었습니다.
• 카메라 제어 (5 개 모델): 예: HY-World 1.5, LingBot-World. 네이티브 포즈 입력을 사용하여 공유 내비게이션 하위 집합 (158 개 사례) 에 대해 평가되었습니다.
• 행동 조건부 (6 개 모델): 예: Genie 3, Matrix-Game 3.0. 이산적 행동 입력을 사용하여 내비게이션 하위 집합에 대해 평가되었습니다.
• 인간 정렬: 400 명의 주석자가 수행한 블라인드 쌍별 비교 연구는 자동화된 지표가 인간 선호도와 스피어만 상관관계 ($\rho \ge 0.94$) 를 달성함을 확인했습니다.

3. 주요 결과

• 지배적 모델 부재: 단일 모델이 모든 5 가지 차원에서 강력하게 수행하지는 않습니다. 성능은 모델의 패러다임과 학습 데이터에 따라 매우 전문화되어 있습니다.
• 내비게이션 독립성: 내비게이션 능력은 다른 차원들과 largely 분리되어 있습니다. 강력한 렌더링이나 물리 성능이 제어 가능한 이동을 보장하지는 않습니다. 반대로, 물리적 정확도는 제어 능력보다 비디오 품질 및 일관성과 더 강하게 상관관계가 있습니다.
• 제어 대 일관성: 카메라 제어가 관점 일관성을 보장하지는 않습니다. 네이티브 카메라 제어를 가진 모델 (예: HY-World 1.5) 은 내비게이션에서 뛰어나지만, 텍스트 기반 모델에 비해 3 인칭 뷰에서 일관된 주체 운동을 유지하는 데 종종 어려움을 겪습니다.
• 턴에 따른 저하: 포즈 오차가 누적됨에 따라 내비게이션 성능은 멀티턴 시퀀스 전반에 걸쳐 크게 저하됩니다 (1 턴에서 4 턴 이상으로 약 33 점 하락). 의미 상호작용 (이벤트 편집, 주체 행동) 은 더 완만하게 저하됩니다. 관점 전환은 전반적으로 가장 어려운 작업으로 남습니다 (평균 점수 약 30.7).
• 오픈소스 경쟁력: 오픈소스 모델 (예: HY-World 1.5, LingBot-World, Matrix-Game 3.0) 은 특정 차원 (내비게이션, 일관성, 행동 조건부 제어) 에서 선도적인 점수를 달성하여 폐쇄형 소스 대안을 맞먹거나 능가합니다.
• 구조화된 난이도: 벤치마크 난이도는 설정에 따라 다릅니다. 1 인칭 내비게이션은 3 인칭보다 쉽습니다. 스포츠/게임 장면과 동물 주체는 복잡한 역동성으로 인해 가장 높은 난이도를 보이며, 작업 공간 장면과 로봇은 정적 기하학으로 인해 더 쉽습니다.

4. 주요 기여

1. 통합 벤치마크: 기존 벤치마크가 부분적 역량만 다루는 격차를 해소하는 5 가지 평가 차원과 22 개의 세분화된 서브-지표를 아우르는 포괄적인 프레임워크.
2. 멀티턴 데이터셋: 두 가지 관점, 네 가지 상호작용 유형, 통합 내비게이션 인터페이스를 모두 포괄하는 데이터셋으로, 공정한 패러다임 간 비교를 가능하게 함.
3. 진단 파이프라인: 20 개 모델에 적용된 완전 자동 평가 파이프라인으로, 진단 기준을 확립하고 향후 모델 개발을 위한 실행 가능한 통찰 (예: 다른 능력으로부터의 내비게이션 분리) 을 도출함.

5. 중요성 및 주장

이 논문은 WBENCH 가 개방형 도메인 장면, 두 가지 관점, 그리고 모든 주요 상호작용 유형에 걸쳐 상호작용형 월드 모델을 평가하는 최초의 통합 프로토콜을 제공한다고 주장합니다. 현재 모델이 고품질 렌더링을 신뢰할 수 있는 제어 가능성, 일관성, 물리와 통합하지 못했음을 드러냄으로써, 이 벤치마크는 해당 분야의 특정 격차를 부각시킵니다. 저자들은 특히 내비게이션과 다른 능력의 분리 및 장면/주체 유형에 따른 구조화된 난이도라는 발견이 더 견고한 월드 모델 개발을 위한 로드맵을 제공한다고 주장합니다. 이 작업은 근본적인 생성 문제의 해결책이 아니라 향후 연구를 안내하는 진단 도구로 위치 지어집니다.

인정된 한계: 현재 테스트 세트는 연속 제어보다는 이산적 행동 시퀀스에 중점을 두며, 물리 차원은 부분적으로 LLM 기반 평가에 의존하는데, 이는 미묘한 효과에 대해 신뢰성 한계가 있을 수 있습니다.