UniVBench: Towards Unified Evaluation for Video Foundation Models

이 논문은 비디오 이해, 생성, 편집 및 재구성을 포함한 비디오 기반 모델의 통합 능력을 평가하기 위해 고화질 다중 샷 비디오와 인간 중심의 평가 시스템 (UniV-Eval) 을 갖춘 새로운 벤치마크인 UniVBench 를 제안합니다.

핵심

🎬 유니브벤치 (UniVBench): 영상 AI 의 '올인원' 실력 측정기

이 논문은 **"영상 기반 모델 (Video Foundation Models)"**이라는 최신 AI 기술들을 평가하기 위해 만든 새로운 기준, UniVBench에 대해 설명합니다.

기존의 평가 방식이 왜 부족했고, UniVBench 가 어떻게 더 똑똑하고 공정한 평가를 가능하게 하는지, 쉬운 비유와 함께 설명해 드릴게요.

---

1. 왜 새로운 평가 기준이 필요했을까요? (기존의 문제점)

지금까지 영상 AI 를 평가할 때는 마치 특정 종목만 보는 운동 선수를 평가하는 것과 비슷했습니다.

• 이해 (Understanding) 전용: "이 영상에서 개가 무엇을 하고 있나요?"라고 물어보면 잘 대답하는 모델은 있지만, 영상을 직접 만들 수는 없습니다.
• 생성 (Generation) 전용: "눈이 내리는 밤거리를 만들어줘"라고 하면 멋진 영상을 만들지만, 만든 영상을 보고 "어떤 감정이 느껴지나요?"라고 물어보면 대답을 못 합니다.
• 편집 (Editing) 전용: "주인공 옷을 빨간색으로 바꿔줘"는 잘하지만, 다른 기능은 서툴러요.

문제점:
이제 AI 는 이 모든 기능 (이해, 생성, 편집) 을 하나로 통합하려는 시도를 하고 있습니다. 하지만 기존 평가 기준들은 각자 따로 놀고 있어서, "이 통합 AI 가 정말로 모든 것을 잘하는가?"를 제대로 측정할 수 없었습니다. 마치 축구 선수에게 수영 실력을 물어보고, 수영 선수에게 농구 실력을 물어보는 것과 같죠.

또한, 기존 데이터는 저작권 문제가 있거나 너무 짧고 단순해서, 실제 영화처럼 복잡한 이야기를 다루는 AI 의 실력을 제대로 테스트하기 어려웠습니다.

---

2. UniVBench 는 무엇인가요? (해결책)

UniVBench는 영상 AI 의 **모든 능력을 한 번에 측정하는 '올인원 종합 운동회'**입니다.

🎥 200 개의 '완벽한' 영상 테스트지

이벤트에는 200 개의 고품질 영상이 준비되어 있습니다.

• 저작권 걱정 없음: 모두 사람이 직접 만든 원본이라 법적 문제가 없습니다.
• 복잡한 스토리: 단순히 개가 뛰는 게 아니라, 여러 장면이 이어지는 영화 같은 스토리를 담고 있습니다.
• 세부 정보: 각 영상에는 "주인공의 표정", "조명", "카메라 각도", "배경의 분위기" 등 21 가지의 세부 항목에 대한 상세한 설명이 달려 있습니다.

🎯 6 가지 주요 미션 (테스트 항목)

AI 는 다음 6 가지 임무를 수행해야 합니다.

1. 영상 설명 (V2T): 영상을 보고 내용을 글로 설명하기.
2. 텍스트로 영상 만들기 (T2V): 글자를 보고 영상을 만들기.
3. 참고 이미지로 영상 만들기 (R2V): 사진 하나를 보고 영상을 만들기.
4. 영상 편집 (TV2V): 기존 영상을 보고 지시사항에 따라 수정하기.
5. 참고 이미지로 편집하기 (RV2V): 사진과 지시사항을 보고 영상을 수정하기.
6. 영상 재구성 (V2V): ⭐ 새로운 미션! 영상을 보고 내용을 글로 적은 뒤, 그 글로 다시 영상을 만들어 원본과 얼마나 똑같은지 비교하기.

---

3. 어떻게 평가하나요? (UniV-Eval 시스템)

단순히 "좋다/나쁘다" 점수만 매기는 게 아닙니다. **AI 심판 (UniV-Eval)**이 등장합니다.

• 조별 평가: 긴 영상을 작은 장면 (Shot) 단위로 잘게 쪼개어 하나하나 꼼꼼히 봅니다.
• 체크리스트 방식: "주인공 옷 색깔이 맞나요?", "조명이 어두운가요?", "카메라가 흔들리나요?"처럼 21 가지 세부 항목을 체크리스트로 확인합니다.
• 구체적인 피드백: "전체 점수 60 점"이 아니라, "주인공의 표정이 원래와 다릅니다 (Action Consistency 문제)"처럼 어디가 잘못되었는지 정확히 알려줍니다.

비유: 기존 평가는 "시험 점수 70 점"만 알려주었다면, UniVBench 는 **"수학은 90 점인데, 국어 작문에서 문법 실수가 3 개 있습니다"**라고 구체적으로 알려주는 상세한 성적표를 줍니다.

---

4. 실험 결과: AI 들은 아직 갈 길이 멀다

이 벤치마크로 다양한 최신 AI 모델들을 테스트한 결과, 흥미로운 점들이 드러났습니다.

• 전천후 영웅은 아직 없다: 이해는 잘하지만 생성은 못 하거나, 생성은 잘하지만 편집은 못하는 등 각자 특화되어 있는 모델들이 대부분이었습니다.
• 가장 어려운 것: AI 들은 **주인공의 '행동 (Action)'**을 이해하고 만들어내는 데 가장 어려움을 겪었습니다. (예: "개가 손을 흔들며 걸어온다"는 복잡한 동작을 구현하는 것)
• 재구성의 한계: 영상을 보고 내용을 설명한 뒤 다시 영상을 만들 때, 정보 전달 과정에서 많은 정보가 손실되는 것을 확인했습니다.

---

🌟 결론: 왜 이 연구가 중요한가요?

UniVBench 는 영상 AI 가 단순한 장난감을 넘어 진짜 영화 제작자나 편집자가 될 수 있는지, 그 진짜 실력을 가려내는 최고의 시험지가 되었습니다.

이 평가를 통해 AI 개발자들은 "어디가 약한지" 정확히 알게 되고, 더 똑똑하고 통합된 차세대 영상 AI를 만드는 데 큰 도움이 될 것입니다.

한 줄 요약:

"이제부터는 영상 AI 들에게 '한 가지 일'만 시키지 말고, '영화 한 편'을 통째로 이해하고 만들고 편집하는 능력을 시험해 보자!"

기술 요약

1. 문제 제기 (Problem Statement)

비디오 기초 모델 (Video Foundation Models) 은 비디오 이해, 생성, 편집, 지시 따르기 등을 단일 프레임워크 내에서 통합하는 차세대 멀티모달 시스템의 핵심 방향으로 부상하고 있습니다. 그러나 현재 존재하는 평가 벤치마크는 다음과 같은 근본적인 한계로 인해 이러한 통합 모델의 능력을 제대로 평가하지 못합니다.

• 분열된 평가 범위: 기존 벤치마크는 비디오 이해, 생성, 편집 등 특정 단일 작업에만 초점을 맞추고 있어, 통합 모델의 종합적인 능력을 평가할 수 없습니다.
• 단일 샷 (Single-shot) 의 제한: 대부분의 벤치마크가 짧은 클립이나 단일 샷을 사용하며, 실제 영화적 서사를 가진 멀티샷 (Multi-shot) 비디오를 다루지 못합니다.
• 저작권 및 데이터 오염: 이해 (Understanding) 벤치마크의 경우 웹에서 크롤링된 저작권이 있는 비디오를 사용하여, 생성 및 편집 작업 평가 시 데이터 오염 (Data Contamination) 우려가 있습니다.
• 파편화된 평가 지표: 각 작업마다 다른 평가 지표 (BLEU, FVD, CLIPScore 등) 를 사용하며, 단일 스칼라 점수만 제공하여 모델의 강점과 약점에 대한 세부적인 통찰을 제공하지 못합니다. 또한, 영화적 요소 (스타일, 조명, 카메라 앵글 등) 에 대한 체계적인 평가가 부재합니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 UniVBench라는 통합 벤치마크와 UniV-Eval이라는 에이전트 기반 평가 시스템을 제안했습니다.

A. UniVBench 데이터셋 구성

• 규모 및 구성: 총 200 개의 고품질 비디오로 구성되며, 이 중 100 개는 단일 샷, 100 개는 평균 3.72 개의 샷으로 이루어진 멀티샷 비디오입니다.
• 콘텐츠 특성: 모든 비디오는 인간이 직접 제작하여 저작권 문제가 없으며, 저작권 침해 우려가 없습니다.
• 세부 주석 (Annotations): 각 비디오에는 다음이 포함됩니다:
  • 상세한 캡션: 8 가지 주요 차원 (스타일, 주제, 행동, 배경, 카메라, 조명, 색상, 공간적 관계) 과 21 가지 세부 하위 차원을 모두 아우르는 설명.
  • 편집 지시: 텍스트 기반 및 참조 이미지 기반의 다양한 편집 명령.
  • 참조 이미지: 참조 이미지 기반 생성 (R2V) 및 편집 (RV2V) 작업을 위한 고품질 이미지 864 개.
• 새로운 작업: 비디오 재구성 (Video Reconstruction, V2V): 모델이 비디오를 이해하여 상세한 캡션을 생성한 후, 해당 캡션을 기반으로 원본 비디오를 재구성하는 작업입니다. 이는 모델의 '이해'와 '생성' 능력 간의 결합 정도를 직접 진단합니다.

B. UniV-Eval (통합 에이전트 평가 시스템)

기존의 고정된 점수 방식 대신, 동적으로 적응하는 에이전트 시스템을 도입했습니다.

• 작동 원리:
  1. 분해 및 계획 (Decomposing & Planning): 긴 비디오를 샷 (Shot) 단위로 분할하고, 참조 이미지와 지시를 각 샷에 매칭합니다.
  2. 샷 단위 정밀 평가 (Shot-level Fine-grained Evaluation): 생성된 비디오를 9 가지 주요 카테고리 (주제, 상대적 위치, 행동, 배경, 색상, 조명, 스타일, 분위기, 카메라 정보) 와 21 개의 세부 하위 항목에 대해 평가합니다.
  3. 약점 체크리스트 생성: 모델의 오류를 구체적인 항목 (예: "손동작 불일치", "조명 강도 차이") 으로 식별하고 수정 제안 (Suggested Fix) 을 포함하는 체크리스트를 생성합니다.
  4. 다차원 점수화: 진단 신호를 집계하여 6 가지 평가 차원 (Subject, Background, Action, Camera, Color, Lighting, Video Style, Relative Position) 에 대한 정량 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 멀티샷 비디오 데이터셋: 저작권 문제가 없고, 이해/생성/편집/재구성을 모두 포괄하는 200 개의 고품질 멀티샷 비디오를 제공합니다.
2. 통합 에이전트 평가 시스템 (UniV-Eval): 모든 작업에 걸쳐 프롬프팅, 지시 파싱, 다차원 점수화를 표준화하여 공평하고 확장 가능한 비교를 가능하게 합니다.
3. 원인 분석 프레임워크: 모델의 실패를 '지각 (Perception)' 부분과 '생성 (Generation)' 부분으로 명확히 귀속 (Attribution) 하여, 어떤 단계에서 문제가 발생했는지 파악할 수 있는 체계를 마련했습니다.

4. 실험 결과 (Results)

UniVBench 를 통해 다양한 상용 및 오픈소스 비디오 모델 (Gemini 2.5 Pro, Seedance, Wan2.1, Omni-Video 등) 을 평가한 결과는 다음과 같습니다.

• 작업별 특화 현상: 현재 모델들은 특정 작업에 특화되어 있습니다.
  • 이해 (V2T): Gemini 2.5 Pro 가 가장 높은 성능을 보였으나, 통합 모델 (Showo-2 등) 은 상대적으로 낮은 점수를 기록하여 지각 추론 능력이 부족함을 드러냈습니다.
  • 생성 (T2V): Seedance-1.0-Pro 가 가장 높은 점수를 기록했습니다.
  • 재구성 (V2V): Wan2.1-VACE-14B 가 가장 강력한 성능을 보였으나, 여전히 원본과의 불일치가 존재했습니다.
• 통합의 격차 (Unification Gap): 단일 모델이 이해, 생성, 편집 전 영역에서 탁월한 성능을 보이는 경우는 없었습니다.
• 약점 발견: 모든 작업에서 '행동 (Action)' 차원의 점수가 가장 낮게 나왔으며, 복잡한 시간적 역동성을 정확하게 이해하고 합성하는 것이 여전히 주요 난제임을 확인했습니다. 반면, 생성 모델들은 '색상', '조명', '스타일'과 같은 스타일적 속성 제어에는 상대적으로 강점을 보였습니다.
• 재구성 분석: V2V (재구성) 작업에서 T2V (텍스트 기반 생성) 에 비해 불일치가 더 크게 나타났으며, 이는 이해 (V2T) 단계에서의 정보 손실이 생성 단계로 전파됨을 의미합니다.

5. 의의 및 결론 (Significance)

• 표준화된 평가 프레임워크: UniVBench 는 비디오 기초 모델의 발전 방향을 '단일 작업 최적화'에서 '통합 지능'으로 전환하는 데 필요한 기준을 제시합니다.
• 해석 가능한 피드백: 단일 점수가 아닌 세부적인 체크리스트와 원인 분석을 통해 연구자들이 모델의 구체적인 약점을 파악하고 훈련을 최적화할 수 있도록 돕습니다.
• 미래 지향성: 저작권이 없는 고품질 데이터와 체계적인 평가 체계는 차세대 범용 지시 기반 비디오 지능 (General-purpose, instruction-following video intelligence) 개발의 토대를 마련합니다.

이 논문은 비디오 AI 연구 분야에서 분열되어 있던 평가 체계를 통합하고, 모델의 실제 능력을 다각도로 진단할 수 있는 새로운 패러다임을 제시했다는 점에서 중요한 의의를 가집니다.