기술 요약: VGI-Bench: 비디오 생성 모델의 시각적 지능 탐색

1. 문제 정의

최근 연구들은 비디오 생성 모델이 단순한 수동적 시각 시뮬레이터를 넘어, 생성된 프레임 시퀀스를 통해 제로샷 추론(zero-shot reasoning)이 가능한 잠재적 "시각적 추론기(visual reasoner)"로 진화하고 있음을 시사합니다. 그러나 기존 벤치마크는 다음과 같은 세 가지 결정적인 격차로 인해 이러한 능력을 평가하는 데 어려움이 있습니다:

1. 분포 불일치(Distribution Mismatch): 많은 벤치마크가 추상적인 형태나 선화(line-art) 입력을 사용하는데, 이는 현대적 비디오 모델의 자연 이미지 사전 학습 데이터(natural-image priors)와 괴리가 있어, 추론 능력의 한계가 아닌 시각적 도메인 불일치로 인한 실패를 유발합니다.
2. 과정 민감도 부족(Lack of Process Sensitivity): 기존의 시각적 추론 과업들은 모델이 입력으로부터 직접 답을 내거나 최종 상태에만 집중하는 경우가 많아, 모델이 유효한 중간 궤적과 진화하는 과정을 시뮬레이션할 수 있는지 테스트하지 못합니다.
3. 통제되지 않은 난이도(Uncontrolled Difficulty): 현재의 벤치마크에는 너무 쉬워 별다른 변별력이 없거나, 혹은 현재 모델이 도달 불가능한 수준(예: 비시각적 전문 지식을 요구하거나 실질적인 비디오 길이를 초과하는 경우)의 과업이 포함되어 있어 진단적 평가를 어렵게 만듭니다.

2. 방법론: VGI-Bench

이러한 격차를 해결하기 위해 저자들은 비디오 생성 모델의 현재 역량 경계에서 시각적 지능을 평가하도록 설계된 27개의 과업과 810개의 인스턴스로 구성된 VGI-Bench를 소개합니다.

2.1 분류 체계 및 과업 설계

본 벤치마크는 두 단계의 분류 체계를 채택합니다:

• 과업 도메인 (상호 배타적):
  • 시각적 조직화(Visual Organization): 시각적 속성에 따라 객체를 배치, 그룹화 또는 선택함.
  • 물리적 조작(Physical Manipulation): 타당한 물리적 상호작용을 요구하는 객체 수준의 동작(이동, 쌓기, 도구 사용 등).
  • 구조적 퍼즐(Structured Puzzles): 초기 상태를 목표 상태로 변환하기 위해 명시적인 제약 조건을 요구하는 규칙 기반 퍼즐.
  • 시공간 역학(Spatiotemporal Dynamics): 상태의 진화, 순서 및 시간적 의존성에 대한 추론.
• 기술 태그 (비배타적): 과업은 공간(Spatial), 시간(Temporal), 계획(Planning), 속성 접지(Attribute Grounding), 물리(Physics), 위상(Topology), 어포던스(Affordance)와 같은 태그로 주석이 달립니다.

2.2 데이터 구축 및 품질 관리

• 입력: 모델의 사전 학습 데이터와 정렬하기 위해 실사 스타일의 입력(웹 이미지 또는 GPT-Image-2와 같은 이미지 모델로 생성)을 사용하여 추상적인 선화 사용을 피합니다.
• 과정 민감도: 성공 여부는 단순히 최종 상태뿐만 아니라 유효한 중간 궤적과 규칙을 보존하는 진화 과정에 달려 있습니다.
• 난이도 캘리브레이션: 생성 전 단계에서 SOTA 모델들을 대상으로 과업을 테스트합니다. 과업은 적어도 하나의 모델은 해결할 수 있지만, 적어도 하나의 모델은 실패하는 경우에만 채택되어, 도전적이면서도 실행 가능한 수준을 유지하도록 합니다.
• 평가 지표:
  • 완결성(Completeness, Comp.): 목표를 향한 진행 정도를 평가하는 전역 지표 (완료, 부분 완료, 실패).
  • 루브릭 점수(Rubric Score, Rub.): 미세한 규칙 및 제약 조건 체크리스트에 따라 과정의 유효성을 측정하는 지역 지표. 이는 일시적인 위반을 감지하기 위해 적응형 조-세(coarse-to-fine) 프레임 샘플링 전략(4fps ~ 8fps)과 슬라이딩 포커스 윈도우를 사용합니다.
  • 최종 점수(Final Score): 완결성과 루브릭 점수의 곱으로, 목표 달성 실패나 규칙 위반 중 하나라도 발생할 경우 감점됩니다.

2.3 평가 설정

본 벤치마크는 광범위한 상용 모델(예: Seedance 2.0, Sora 2, Veo 3.1)과 오픈 소스 모델(예: Wan 2.7, HunyuanVideo 1.5)을 평가합니다. 자동화된 VLM 기반 판독기(Gemini-3-Flash)가 사용되며, 그 신뢰성은 인간의 주석과 비교하여 검증되었습니다. 또한 일부 과업은 정적 목표 상태 추론과 절차적 비디오 생성을 비교하기 위해 이미지 생성 모델용으로도 변형되었습니다.

3. 주요 결과

• 전반적 성능: 현재 모델들은 창발적인 추론 능력을 보이지만, 신뢰할 수 있는 범용 시각 지능에는 미치지 못합니다. 가장 강력한 모델인 Seedance 2.0조차 평가 기준 하에서 **51.0%**의 성적을 거두는 데 그쳤습니다.
• 도메인 및 기술 분석:
  • 구조적 퍼즐(Structured Puzzles) 도메인이 가장 까다로운 것으로 나타났으며, 이는 다단계 규칙 준수 및 상태 추적에서의 실패를 드러냅니다.
  • 위상(Topology) 및 시간(Temporal) 기술이 가장 취약한 차원으로 나타나, 연결성 보존 및 다단계 상태 추적의 어려움을 보여줍니다.
  • 상용 모델이 오픈 소스 모델보다 일관되게 우수한 성능을 보였으나, 모두 일관된 다단계 실행을 유지하는 데 어려움을 겪었습니다.
• 실패 모드: 주요 실패 유형은 다음과 같습니다:
  • 물리적 붕괴(Physical Collapse): 비현식적인 변형 또는 중력 법칙 위반 (예: 기울어진 표면에서 물체가 굴러 내려가지 않음).
  • 규칙 위반(Rule Violation): 시각적으로 그럴듯한 최종 상태에 도달하면서도 금지된 행동을 수행하거나 필수 단계를 건너뜀.
  • 객체/상태 불일치(Object/State Inconsistency): 객체의 정체성이나 위치를 시간에 따라 유지하지 못함 (예: 객체가 사라지거나 복제됨).
• 입력 민감도: 성능은 입력 시각 스타일에 매우 민감합니다. 오픈 소스 모델은 실사 스타일에서 선화 스타일로 전환될 때 성능이 크게 하락하며, 이는 다른 벤치마크의 추상적 입력이 추론의 한계와 시각적 도메인 불일치를 혼동할 수 있음을 시사합니다.
• **합성 미세 조정 전이(Synthetic Fine-Tuning Transfer): 대규모 합성 추상 데이터(VBVR)로 미세 조정을 수행하면 구조적으로 겹치는 과업의 성능은 향상되지만, 겹치지 않는 과업에 대해서는 제한적인 이득만을 제공합니다. 개선 효과는 대개 훈련 분포의 구조적 커버리지에 의해 제한됩니다.
• 디노이징 역학(Denoising Dynamics): 중간 디노이징 단계 분석 결과, 자기 수정(self-correction) 능력이 제한적임이 밝혀졌습니다. 모델은 추론 오류를 수정하기보다는 초기 가설을 정교화하는 경향이 있습니다. "자기 수정"(오류 $\to$ 정답)은 1% 미만의 전이에서만 발생하며, 모델은 주로 초기(종종 틀린) 가설을 고착시키고 정교화하는 경향을 보입니다.

4. 의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. VGI-Bench: 실사 입력을 특징으로 하며, 과정 민감형 과업과 캘리브레이션된 난이도 수준을 갖추어 비디오 모델의 현재 역량 경계에 맞춤 설계된 진단적 벤치마크입니다.
2. 광범위한 평가: 현대적 생성 모델(이미지 및 비디오 모두)에 대한 종합적인 평가를 통해, 이들의 창발적인 추론 능력을 강조하는 동시에 범용 시각 지능의 상당한 한계를 노출합니다.
3. 다각적 분석: 실패 모드, 입력 민감도, 합성 미세 조정의 전이 한계, 그리고 디노이징 궤적의 내부 역학을 아우르는 상세한 비디오 추론 행동 진단을 제공합니다.

저자들은 VGI-Bench가 시각적 충실도(fidelity)와 진정한 시각적 추론을 구분할 수 있는 엄격한 프레임워크를 제공함으로써, 물리적 일관성, 규칙 준수, 자기 수정 메커니즘과 같은 구체적인 병목 현상을 식별하고 차세대 비디오 생성 모델의 발전을 자극할 것이라고 상정합니다.