1. 문제 제기 (Problem)

최근 텍스트 - 비디오 (T2V) 생성 기술의 급격한 발전으로 인해 모델들이 단순한 텍스트 매칭을 넘어 '세계 모델 (World Model)'과 같은 능력을 갖추기 시작했습니다. 그러나 기존 벤치마크 (VBench, EvalCrafter 등) 는 다음과 같은 한계로 인해 최신 모델을 평가하는 데 부적합해졌습니다.

• 평가 지표의 포화 (Saturation): 기존 벤치마크는 프레임 수준의 미적 품질 (Aesthetic Quality) 이나 단순한 시맨틱 일치도 (Semantic Alignment) 를 평가합니다. 최신 모델들은 이러한 지표에서 거의 구별되지 않는 점수를 기록하여 성능 차이를 구별하기 어렵습니다.
• 암시적 의미 (Hidden Semantics) 의 부재: 기존 프롬프트는 물리적 현상이나 결과를 명시적으로 포함하는 경우가 많습니다 (예: "공이 튀어 오르는 모습"). 반면, 진정한 세계 모델은 프롬프트에 명시되지 않은 결과 (예: "공을 바닥에 던지면 튀어 오를 것"이라는 물리 법칙) 를 추론하여 생성해야 합니다.
• 시간적 인과관계 (Temporal Causality) 와 세계 지식의 평가 부족: 비디오의 핵심인 사건 간의 인과관계와 자연 법칙, 상식 등을 체계적으로 평가하는 도구가 부족합니다.

2. 방법론 (Methodology)

저자들은 VideoVerse라는 새로운 종합 벤치마크를 제안했습니다. 이는 T2V 모델이 복잡한 시간적 인과관계와 세계 지식을 이해하여 비디오를 생성할 수 있는 능력을 평가하는 것을 목표로 합니다.

가. 데이터 구성 (Prompt Construction)

• 도메인: 일상생활 (ActivityNet), 과학 실험 (웹 수집), 과학 소설 (VidProM) 의 세 가지 도메인에서 데이터를 수집했습니다.
• Hidden Semantics (숨겨진 의미) 설계: 프롬프트에 명시적으로 결과를 언급하지 않고, 모델이 세계 지식과 물리 법칙을 기반으로 결과를 추론하도록 설계했습니다.
  • 예시: "소다와 식초를 섞는다"는 프롬프트만 주어지고, "거품이 생긴다"는 결과는 프롬프트에 포함되지 않음. 모델은 화학 반응을 이해하여 거품을 생성해야 함.
• 프로세스: GPT-4o 를 사용하여 사건 간 인과관계를 추출한 후, 독립적인 인간 어노테이터가 평가 차원을 반영하여 프롬프트를 정제했습니다.

나. 평가 차원 (Evaluation Dimensions)

VideoVerse 는 **정적 (Static)**과 동적 (Dynamic) 두 가지 관점에서 총 10 가지 평가 차원을 정의했습니다.

1. 세계 모델 수준 (World Model Level):
   • 동적: 이벤트 팔로잉 (Event Following, 시간적 인과관계), 역학 (Mechanics), 상호작용 (Interaction), 물질의 성질 (Material Properties).
   • 정적: 자연 제약 (Natural Constraints, 물리/화학 법칙), 상식 (Common Sense, 문화적 지식).
2. 기본 수준 (Basic Level):
   • 동적: 카메라 제어 (Camera Control).
   • 정적: 속성 정확성 (Attribution Correctness), 2D 레이아웃, 3D 깊이.

다. 평가 프로토콜 (Evaluation Protocol)

• 질문 기반 평가 (QA-based): 생성된 비디오를 Vision-Language Model (VLM, Gemini 2.5 Pro) 에 입력하여 이진 질문 (Yes/No) 에 답하게 합니다.
• 할루시네이션 방지: VLM 에 전체 프롬프트를 노출하는 대신, 특정 차원에 대한 질문만 제공하여 VLM 이 프롬프트 내용을 비디오에 있는 것처럼 착각하는 것을 방지합니다.
• 점수 산정:
  • 이벤트 팔로잉: 정답 이벤트 시퀀스와 생성된 시퀀스의 최장 공통 부분 수열 (LCS) 길이를 점수로 계산.
  • 기타 차원: 각 이진 질문에 대한 정답 수를 누적하여 점수화.
• 세부 평가 (Sub-question): 상호작용, 역학, 물질 성질 등 복잡한 차원의 경우, 전체 질문을 하위 단계 (Sub-events) 로 분해하여 더 세밀한 평가를 수행합니다.

3. 주요 기여 (Key Contributions)

1. VideoVerse 벤치마크 도입: 300 개의 고품질 프롬프트, 815 개의 사건, 793 개의 평가 질문 (및 556 개의 세부 질문) 으로 구성된 포괄적인 벤치마크를 공개했습니다.
2. 세계 모델 능력 평가 체계: 단순한 시각적 품질을 넘어, 물리 법칙, 인과관계, 상식 등을 내재화한 '세계 모델' 능력을 평가하는 새로운 패러다임을 제시했습니다.
3. 오픈소스 vs 클로즈드소스 비교 분석: 기존 벤치마크에서는 성능 차이가 없었던 모델들이 VideoVerse 에서는 뚜렷한 차이를 보임을 입증했습니다.

4. 실험 결과 (Results)

Gemini 2.5 Pro 를 평가자로 사용하여 다양한 오픈소스 (Wan2.2, Hunyuan, OpenSora 등) 와 클로즈드소스 (Sora-2, Veo-3, Hailuo) 모델을 평가했습니다.

• 성능 격차: 오픈소스 모델은 기본 능력 (Basic Level) 에서 클로즈드소스 모델과 유사한 성능을 보였으나, 세계 모델 능력 (World Model Level) 에서 큰 격차를 보였습니다.
  • 예시: Veo-3 는 기본 능력에서 80.3%, 세계 모델 능력에서 72.4% 의 점수를 기록했으나, 오픈소스 모델들은 세계 모델 능력에서 현저히 낮은 점수를 보였습니다.
• 최고 성능: Sora-2 와 Veo-3 가 가장 높은 점수를 기록했으나, 여전히 완벽한 세계 모델 능력에는 도달하지 못했습니다 (전체 점수 1608 점 중 Sora-2 는 1299 점).
• 구체적 실패 사례:
  • 상호작용 (Interaction): 면도기를 사용하는 장면에서 수염이 짧아지지 않음.
  • 자연 제약 (Natural Constraints): 드라이아이스가 방온에서 승화하여 수증기가 발생하지 않음.
  • 상식 (Common Sense): "당산장의 말"을 묘사하라고 했을 때 흰 말이 아닌 다른 색의 말을 생성함.
• 영상 길이 영향: 영상 길이 (5 초 vs 10 초) 가 이벤트 팔로잉 성능에 결정적인 영향을 미치지 않으며, 모델의 추론 능력이 더 중요함을 확인했습니다.

5. 의의 (Significance)

• 차별화된 벤치마크: 기존 벤치마크가 포화 상태인 상황에서, 모델의 진정한 이해도 (이해와 추론) 를 측정할 수 있는 새로운 기준을 제시했습니다.
• 향후 연구 방향 제시: 현재 T2V 모델이 여전히 물리 법칙과 세계 지식에 대한 깊은 이해가 부족함을 보여주었으며, 향후 모델 개발이 단순한 생성 품질 향상을 넘어 세계 시뮬레이션 능력 강화에 초점을 맞춰야 함을 시사합니다.
• 효율적 평가: 짧은 프롬프트 수 (300 개) 로도 다양한 차원을 포괄적으로 평가할 수 있어, 대규모 모델의 효율적인 벤치마킹을 가능하게 합니다.

이 논문은 T2V 기술이 다음 단계인 '세계 모델'로 도약하기 위해 필요한 평가 기준과 현재 기술적 한계를 명확히 규명했다는 점에서 의의가 큽니다.