기술 요약: WORLDJEN – 생성형 비디오 모델을 위한 엔드투엔드 다차원 벤치마크

1. 문제 제기

기존 지표와 벤치마크의 한계로 인해 생성형 비디오 모델 평가는 여전히 열린 과제로 남아 있습니다. SSIM 및 PSNR 과 같은 전통적인 참조 기반 지표는 픽셀 충실도를 의미론적 정확성보다 우선시하는 반면, Frechet Video Distance(FVD) 와 같은 분포 기반 지표는 물리적 타당성보다 질감 유사성을 선호합니다.

VBench 2.0 과 같은 현재 벤치마크는 비전 - 언어 모델 (VLM) 이 수행하는 이진 시각적 질문 응답 (VQA) 에 의존합니다. 저자들은 이 접근 방식에서 네 가지 치명적인 결함을 확인했습니다:

1. 해상도 손실: DINO, CLIP, RAFT 와 같은 기반 지표가 프레임을 224×224 픽셀로 리사이즈하여 미세한 시간적 아티팩트와 물리 법칙 위반을 평균화해 버립니다.
2. 이진 편향: 이진 VQA 는 "예 편향 (yes-bias)"에 시달립니다. VLM 은 실패가 치명적인 경우가 아니면 기본적으로 "예"라고 응답하며, 미묘한 품질 차이를 감지하거나 실패 정도를 구분할 세밀함이 부족합니다.
3. 프롬프트의 협소성: 프롬프트는 종종 단일 차원을 위해 설계되어, 여러 품질 축이 중첩되는 현실 세계의 복잡한 쿼리를 반영하지 못합니다.
4. 확장성 비용: 포괄적인 평가에는 수천 개의 비디오 생성이 필요합니다 (예: VBench 2.0 은 약 3,200 개의 비디오 필요). 이는 빠른 반복 개발을 위한 금지적인 장벽을 조성합니다.

2. 방법론: WORLDJEN 프레임워크

WORLDJEN 은 비디오 생성 비용을 줄이면서 평가의 세밀함과 신뢰성을 높이기 위해 설계된 두 단계 파이프라인을 통해 이러한 한계를 해결합니다.

단계 A: 프롬프트 선별

• 출처: VidProM 코퍼스 (~170 만 개의 인간 작성 프롬프트) 에서 프롬프트를 필터링하여 사전 필터링 후 약 5,000 개를 유지합니다.
• 다차원 평가: 네 가지 그룹에 걸쳐 16 가지 품질 차원을 정의합니다:
  • 운동 및 안정성: 주제/장면 일관성, 운동 매끄러움, 시간적 깜빡임, 관성 일관성.
  • 논리 및 물리: 물리 역학, 물체 영속성, 인간 충실도, 동적 정도.
  • 지시 준수: 의미론적 준수, 공간적 관계, 의미론적 드리프트.
  • 미적 품질: 구성, 조명, 색상 조화, 구조적 게슈탈트.
• 강화: 프롬프트는 적합성과 난이도에 따라 점수를 매기고, 안전/저작권 문제를 수정하며, 핵심 테마를 변경하지 않고 복잡성을 높이기 위해 LLM 으로 강화됩니다. 최종 선별된 세트에는 3,754 개의 고유한 프롬프트가 포함됩니다.

단계 B: 평가 엔진

• 프롬프트별 질문 생성: 각 프롬프트와 적용 가능한 차원에 대해 구조화된 LLM 파이프라인이 10 개의 리커트 척도 질문 (1~5 척도) 을 생성합니다. 이러한 질문은 예상되는 사건, 실패 모드, 성공 모드, 그리고 적대적 탐지를 다루며, 프롬프트에 구체적이고 일반적이지 않도록 보장합니다.
• 비디오 생성: (모델, 프롬프트) 쌍당 하나의 비디오가 생성됩니다. 본 연구는 50 개의 선별된 프롬프트에 걸쳐 6 개의 최첨단 모델 (Veo 3.1 Fast, Kling v2.6 Pro, LTX-2, Wan v2.2 A14B, Hunyuan v1.5, Wan 2.1 1.3B) 을 평가하여 300 개의 비디오를 산출했습니다.
• VLM 을 심판으로 활용: 비디오는 네이티브 해상도에서 VLM(Gemini 3 Flash) 에 의해 평가됩니다. 프레임워크는 차원 인식 프레임 샘플링을 사용합니다:
  • 전체 모드 (32 프레임): 전역 미적 및 의미론적 차원용.
  • 샘플링 모드 (16 프레임): 일관성 차원용.
  • 마이크로 모드 (~12 프레임): 운동 및 물리 차원을 위해 처음 약 2 초의 밀집 샘플링.
• 점수 매기기: VLM 은 정수 리커트 점수 (1~5) 와 근거를 출력합니다. 이러한 점수는 집계되어 최대 우도 추정 (MLE) 을 통해 브래들리 - 테리 (BT) 평점으로 변환되어 순위 리더보드를 생성합니다.

3. 주요 기여

1. 프롬프트 선별: 16 가지 차원에서 필터링되고 평가된 3,754 개의 인간 작성 및 LLM 강화 프롬프트 코퍼스로, 광범위한 커버리지와 복잡한 차원 간 상호작용을 보장합니다.
2. 인간 기준 진실: 50 개의 프롬프트에 걸쳐 750 개의 모델 쌍 (2,696 표) 을 평가한 7 명의 주석자 (전문가 4 명, 외부 3 명) 가 참여한 블라인드 쌍별 선호도 연구입니다. 이는 명확한 3 단계 구조와 66.9% 의 주석자 간 일치를 가진 인간 BT 평점을 확립했습니다.
3. 프롬프트별 리커트 설문지: 각 프롬프트당 10 개의 차원별 질문을 생성하는 시스템으로, 이진 VQA 를 대신하여 미묘한 품질 차이를 포착하는 세밀한 1~5 점 척도를 도입했습니다.
4. VLM 평가 엔진: 네이티브 해상도에서 VLM 심판을 사용하는 자동화 파이프라인으로, 인간이 확립한 3 단계 순위 구조를 완벽한 순위 일치 (Spearman $\hat{\rho}=1.000$) 로 재현합니다.
5. 예측 인간 정렬 점수 (PHAS): 비음수 릿지 로지스틱 회귀를 사용하여 인간 선호도에 대해 보정된 차원 점수의 가중 평균으로, 해석 가능한 집계 지표를 제공합니다.

4. 결과

인간 평가

인간 연구는 여섯 모델 사이에 뚜렷한 3 단계 위계를 드러냈습니다:

• 상위 티어: Veo 3.1 Fast 와 Kling v2.6 Pro (티어 내에서는 통계적으로 구별되지 않지만 중위 티어와 명확히 분리됨).
• 중위 티어: Wan v2.2 A14B, LTX-2, Hunyuan v1.5 (통계적으로 구별되지 않는 군집).
• 하위 티어: Wan 2.1 1.3B (다른 모델보다 현저히 뒤처짐).

VLM 평가

Gemini 3 Flash 를 사용하는 WORLDJEN VLM 엔진은 인간 기준 진실과 정확히 일치했습니다:

• 순위 일치: 인간 BT 순위 대비 Spearman $\hat{\rho}=1.000$ ($p=0.0014$) 및 Kendall $\tau=1.000$.
• 티어 안정성: 1,000 번의 부트스트랩 리샘플링에서 3 단계 구조가 불변으로 유지되었습니다.
• 차원별 통찰:
  • 물리 격차: 모든 모델이 물리 역학과 관성 일관성에서 가장 낮은 점수 (평균 약 3.0/5) 를 기록하여 물리적 타당성 분야에서 산업 전반의 상당한 격차를 나타냈습니다.
  • 미적 수렴: 색상 조화와 의미론적 드리프트와 같은 차원은 높은 점수 (>4.5) 와 낮은 분산을 보여 모델들이 미적 품질에서 수렴했음을 시사합니다.
  • 인간 충실도: 주요 차별 요소로, Veo 3.1 Fast 가 선도 (4.15) 하고 Wan 2.1 1.3B 가 뒤처졌습니다 (2.94).

제거 연구

• 감사자 독립성: Claude Sonnet 4.6 으로 재평가 시 3 단계 구조와 순위 순서가 유지되었으나, 체계적인 엄격성 오프셋 (낮은 절대 점수) 이 있었습니다.
• 오픈소스 실현 가능성: Gemma 4(31B) 는 티어 구조를 유지했으나 폐쇄형 Gemini 에 비해 세밀한 시간적 및 물리 차원에서 상관관계가 약했습니다.
• VBench 와의 비교: 동일한 50 개 프롬프트에서 VBench 는 인간 순위와 Spearman 상관관계 0.60 만을 달성하여 티어를 올바르게 구분하지 못했습니다. WORLDJEN 은 네이티브 해상도 처리와 리커트 척도 세밀성으로 인해 VBench 의 지표가 천장 값 근처에서 포화되는 것과 대조적으로 1~12 배 더 큰 구별 능력을 보여주었습니다.

5. 중요성과 주장

본 논문은 WORLDJEN 이 생성형 비디오 모델을 평가하는 신뢰할 수 있고 확장 가능하며 인간과 정렬된 프록시를 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

• 이진 편향 극복: 이진 VQA 를 리커트 척도 설문지로 대체함으로써, 이진 심판에게는 구별되지 않는 모델을 순위 매기는 데 필요한 미묘함을 포착합니다.
• 해상도 충실도: 네이티브 해상도에서 비디오를 처리함으로써, 다른 벤치마크의 224×224 다운샘플링으로 평균화되는 시간적 아티팩트와 물리 법칙 위반을 감지할 수 있습니다.
• 효율성: 최대 16 개의 차원을 동시에 테스트하는 적대적으로 선별된 프롬프트를 사용하여, 차원별 벤치마크에 비해 통계적 유의성을 위한 필요한 비디오 수를 줄입니다.
• 산업 통찰: 벤치마크는 미적 품질은 개선되었으나 물리적 타당성이 최첨단 모델, 심지어 상위 티어 수행자에게도 여전히 중요한 병목 현상임을 드러냅니다.

저자들은 프레임워크가 "게이밍 (Goodhart 의 법칙)"에 저항하도록 설계되었으며, 모든 코드, 프롬프트, 데이터셋이 재현성을 위해 공개되어 미래 모델 개발을 위한 견고한 기반을 제공한다고 강조합니다.