A Survey of AI-Generated Video Evaluation

1. 문제 정의 (Problem Definition)

• 배경: ChatGPT, Sora, LLaMA 등 대규모 생성 모델의 급속한 발전으로 텍스트, 이미지, 비디오 등 AI 생성 콘텐츠 (AIGC) 의 생산과 소비가 폭발적으로 증가했습니다.
• 핵심 문제: 텍스트나 정적 이미지와 달리, 비디오는 복잡한 공간적 (Spatial) 구조와 시간적 (Temporal) 동역학을 동시에 포함합니다. 기존 텍스트/이미지 평가 방법론이 비디오에 직접 적용되기 어렵습니다.
• 현재의 한계:
  • 기존 비디오 품질 평가 (VQA) 는 주로 압축 아티팩트, 전송 품질 등 기술적 측면에 집중했으나, AI 생성 콘텐츠의 경우 사용자 의도 (Instruction) 와의 정합성과 인간 지각 (Perception) 의 일치도를 평가하는 체계가 부족합니다.
  • 연구가 파편화되어 있어 통합된 프레임워크가 부재하며, 새로운 모델과 평가 지표가 산발적으로 등장하고 있습니다.
  • AI 생성 비디오에서 발생하는 오류 유형 (기술적, 물리적, 일관성, 정렬 오류 등) 을 포괄적으로 진단할 수 있는 자동화된 평가 체계가 미흡합니다.

2. 방법론 및 체계 (Methodology & Framework)

이 논문은 AI 생성 비디오 평가 (AIGVE) 를 두 가지 핵심 차원으로 정의하고, 이를 기반으로 기존 연구들을 체계적으로 분류했습니다.

A. 평가의 두 가지 핵심 차원

1. 인간 지각 정렬 (Alignment with Human Perception):
   • 생성된 비디오가 인간이 보는 시각적 품질, 시간적 일관성, 물리적 현실성을 얼마나 잘 반영하는지 평가.
   • 기존 VQA(Video Quality Assessment) 연구와 연결됨.
2. 인간 지시 정렬 (Alignment with Human Instructions):
   • 생성된 비디오가 텍스트 프롬프트 (지시) 를 얼마나 정확하게 따르는지 평가.
   • 의미론적 정합성, 객체/행동의 정확성, 시간적 순서 준수 등을 포함.

B. 오류 유형 분류 (Error Taxonomy)

AI 생성 비디오에서 발생하는 6 가지 주요 오류를 정의했습니다:

1. 기술적 오류 (Technical Error): 해상도 저하, 블러, 프레임率低 등.
2. 동적 오류 (Dynamic Error): 의미 있는 움직임이 없거나 정지된 이미지처럼 보임.
3. 물리적 오류 (Physical Error): 중력, 충돌 등 물리 법칙 위반.
4. 일관성 오류 (Consistency Error): 프레임 간 객체의 색상, 모양, 정체성 불일치.
5. 품질 오류 (Quality Error): 구조 왜곡, 세부 사항 누락.
6. 정렬 오류 (Alignment Error): 텍스트 프롬프트와 콘텐츠 불일치.

C. 평가 방법론 분류 (Taxonomy of Evaluation Methods)

논문은 기존 연구들을 다음과 같이 분류하여 분석했습니다.

• 1. 벤치마크 데이터셋:

  • 일반 대규모 데이터셋: T2VQA-DB, AIGC-VQA 등 (전체 품질 평가).
  • 다차원 데이터셋: VBench, EvalCrafter 등 (시각 품질, 시간 일관성, 모션 등 세부 차원 분리).
  • 시간/운동 중심 데이터셋: T2VBench, DEVIL (동역학, 시간적 구성성 평가).
  • 실세계 지향 데이터셋: VIDEOPHY (물리 법칙), T2VSafetyBench (안전성), GEOATTRACTION (지리적 지식).
  • 데이터 수집 프로세스: 프롬프트 수집 $\rightarrow$ 비디오 생성 $\rightarrow$ 인간 평가 (Video-Instruction-Opinion triplet 구조).

• 2. 평가 기법 (Evaluation Methods):

  • 지표 수집 평가 (Metric Collection): 기존 지표 (CLIP Score, FID 등) 를 조합하여 다차원 평가 (VBench, EvalCrafter).
  • 모델링 기반 평가 (Modeling-Based):
    • 전체적 평가 (Holistic): T2VQA, AIGC-VQA (단일 점수 예측).
    • 다차원 및 주석 인식 (Multi-aspect & Comment-aware): VideoScore, AIGVE-MACS (점수뿐만 아니라 자연어 설명 생성).
    • 시간적 평가 (Temporal): DEVIL, FVMD (운동 패턴, 시간적 일관성 특화).
    • 실세계 능력 평가: 안전성, 물리 법칙 준수 여부 평가.
  • 기술적 진화: 통계 기반 $\rightarrow$ CNN 기반 $\rightarrow$ Transformer 기반 $\rightarrow$ CLIP 기반 $\rightarrow$ 대규모 멀티모달 모델 (LMM/LLM) 기반. 최근 LLM 을 활용한 지시 기반 평가 (Instruction-tuned) 가 주류로 부상.

3. 주요 기여 (Key Contributions)

1. 새로운 연구 분야 (AIGVE) 의 정립: AI 생성 비디오 평가를 독립된 연구 영역으로 제안하고, 인간 지각과 인간 지시라는 두 가지 핵심 축을 정의했습니다.
2. 체계적인 문헌 고찰: 비디오 품질 평가 (VQA), 멀티모달 정렬, 최신 AIGVE 방법론을 아우르는 포괄적인 리뷰를 제공했습니다.
3. 분류 체계 (Taxonomy) 제시: 다양한 벤치마크 데이터셋과 평가 모델들을 오류 유형, 데이터 특성, 모델 아키텍처 (CNN, Transformer, LLM 등) 에 따라 체계적으로 분류했습니다.
4. 미래 연구 방향 제시:
   • VLM(비전 - 언어 모델) 의 심층 통합: 단순 정합성 점수를 넘어 추론과 맥락 이해를 통한 평가.
   • 점수 해석 가능성 (Interpretability) 강화: 블랙박스 점수가 아닌, 자연어 설명과 시각적 근거를 제공하는 진단형 평가.
   • 윤리 및 안전성 고려: 편향성, 해로운 콘텐츠 생성, 사회적 영향 평가 체계 도입.
   • 통합 및 확장 가능한 프레임워크: 파편화된 벤치마크를 통합한 표준화된 평가 프로토콜 필요성 강조.

4. 결과 및 통찰 (Results & Insights)

• 현재 상태: AIGVE 는 초기 단계이나 빠르게 성장 중입니다. 단순한 화질 평가를 넘어 '프롬프트 준수'와 '물리적 현실성'을 평가하는 방향으로 진화하고 있습니다.
• 데이터셋 경향: 단순한 비디오 - 점수 쌍 ($V, S$) 에서 비디오 - 지시 - 점수 3 중자 ($V, I, S$) 구조로 변화하며, 세부 차원별 (aspect-wise) 주석과 자연어 설명이 포함된 데이터셋이 증가하고 있습니다.
• 모델 경향: 고정된 수학적 지표에서 학습된 모델 (CNN, Transformer) 로 이동했고, 최근에는 LLM 기반의 추론 및 생성형 평가가 가장 유망한 방향으로 부각되고 있습니다. LLM 은 복잡한 지시 사항과 맥락을 이해하여 더 인간적인 평가를 가능하게 합니다.
• 한계: 계산 비용이 높고, 할루시네이션 (Hallucination) 위험이 있으며, 편향된 데이터로 인한 윤리적 문제가 해결되지 않았습니다.

5. 의의 (Significance)

• 학술적/산업적 가이드: AI 생성 비디오 기술의 발전 속도에 맞춰, 연구자와 실무자가 필수적인 기초 지식을 습득하고 적절한 평가 도구를 선택할 수 있는 포괄적인 로드맵을 제공합니다.
• 표준화 촉진: 파편화된 평가 방법론을 통합하여 향후 표준 벤치마크와 평가 프로토콜 수립의 기초를 마련합니다.
• 신뢰성 확보: AI 생성 콘텐츠의 질적 향상과 안전한 배포를 위해, 인간 지각과 의도에 부합하는 신뢰할 수 있는 평가 시스템의 필요성을 강조함으로써, AI 기술의 사회적 수용성을 높이는 데 기여합니다.

이 논문은 AI 생성 비디오 평가가 단순한 기술적 품질 검사를 넘어, 인간의 인지, 물리 법칙, 윤리적 안전까지 포괄하는 종합적인 평가 체계로 발전해야 함을 역설하며, 이 분야의 미래 방향성을 제시합니다.