Q-Save: Towards Scoring and Attribution for Generated Video Evaluation

이 논문은 생성된 비디오의 시각적 품질, 동적 품질, 텍스트 - 비디오 정합성이라는 세 가지 핵심 차원을 체계적으로 정의하고 통합적으로 평가하기 위해 약 10,000 개의 비디오 샘플과 세부적 귀속 설명이 포함된 Q-Save 데이터셋과 이를 기반으로 점수 예측과 해석 가능한 설명 생성을 동시에 수행하는 통합 모델을 제안합니다.

핵심

1. 왜 이 시스템이 필요할까요? (문제 상황)

지금 AI 가 만들어내는 동영상은 엄청나게 많아졌습니다. 하지만 AI 가 만든 영상에는 가끔씩 이상한 점들이 생깁니다.

• 예시: 사람이 달리는 영상인데 다리가 비틀거리거나, "개"라고 했는데 "고양이"가 나오거나, 물체가 갑자기 사라지거나 하는 식이죠.

기존의 평가 프로그램들은 **"영상의 점수는 3 점이다"**라고 숫자만 알려주었습니다. 하지만 **"왜 3 점인가?"**에 대한 이유는 알려주지 못했습니다. 마치 시험을 치고 점수만 받아보고, 어떤 문제를 틀렸는지, 왜 틀렸는지에 대한 해설이 없는 것과 같습니다. 개발자들은 "어디를 고쳐야 할지" 모르게 되는 거죠.

2. Q-Save 는 무엇을 하나요? (해결책)

Q-Save 는 세 가지 핵심 영역을 평가합니다. 이를 **'세 가지 눈'**이라고 상상해 보세요.

1. 화질 눈 (Visual Quality): 영상이 선명한지, 흐릿하거나 깨진 부분은 없는지 봅니다. (예: 사진이 흐릿하면 안 됨)
2. 움직임 눈 (Dynamic Quality): 움직임이 자연스러운지 봅니다. (예: 사람이 걷는데 다리가 뒤로 날아가면 안 됨)
3. 대본 확인 눈 (Text-Video Alignment): AI 가 시킨 대로 했는지 봅니다. (예: "비 오는 날"이라고 했는데 해가 떠 있으면 안 됨)

가장 중요한 차이점: Q-Save 는 점수만 주는 게 아니라, **"이 영상은 다리가 비틀거려서 3 점입니다"**라고 **이유 (해설)**까지 친절하게 설명해 줍니다.

3. 어떻게 이렇게 똑똑해졌나요? (기술의 비밀)

이 시스템은 세 가지 비밀 무기를 가지고 있습니다.

① 정성적인 '감수성' 훈련 (데이터)

연구팀은 약 10,000 개의 AI 동영상을 모았습니다. 그리고 인간 전문가들에게 이 영상들을 보여주고, **"이건 왜 나쁜가?"**에 대해 상세한 글을 쓰게 했습니다.

• 비유: 요리 학교에서 쉐프들이 "이 국은 소금이 너무 짜고, 고기가 질겨서 3 점이다"라고 구체적인 피드백을 남긴 레시피북을 만든 것과 같습니다. Q-Save 는 이 레시피북을 공부해서 똑같은 방식으로 평가합니다.

② '느린 눈'과 '빠른 눈' (SlowFast 전략)

동영상은 프레임이 계속 이어지는데, 모든 프레임을 자세히 보면 컴퓨터가 너무 지쳐버립니다.

• 비유: 영화를 볼 때, **대사나 중요한 장면 (Slow)**은 고화질로 천천히 자세히 보고, **장면 전환이나 배경 (Fast)**은 빠르게 훑어보는 방식입니다.
• Q-Save 는 중요한 순간은 자세히 보고, 단순한 부분은 빠르게 처리해서 정확하면서도 빠르도록 설계되었습니다.

③ 3 단계 훈련 과정 (학습법)

이 AI 비평가는 단순히 책만 읽는 게 아니라 3 단계를 거쳐 성장합니다.

1. 1 단계 (SFT): 기본 문법과 평가 기준을 배우는 '입문 과정'.
2. 2 단계 (RL): 실제 평가 결과를 보며 "이렇게 평가하면 더 좋은 점수를 받는다"를 깨닫는 '실전 연수'.
3. 3 단계 (SFT): 실전에서 배운 것을 정리하고, 평가가 너무 들쑥날쑥하지 않도록 다듬는 '최종 점검'.

4. 이 시스템이 가져오는 변화

이 시스템이 나오면 다음과 같은 변화가 일어납니다.

• 개발자: "내 AI 모델이 왜 나쁜 영상을 만드는지" 바로 알 수 있어 수정이 빨라집니다. (예: "아, 다리가 비틀거리는 문제가 있구나!")
• 사용자: 더 좋은 품질의 AI 동영상을 볼 수 있게 됩니다.
• 비용: 사람이 일일이 영상을 다 보고 평가할 필요가 줄어들어 시간과 돈이 절약됩니다.

요약

Q-Save는 **"AI 동영상을 평가할 때, 단순히 점수만 매기는 게 아니라, '왜' 그 점수가 나왔는지 구체적인 이유까지 설명해주는 똑똑한 AI 비평가"**입니다. 마치 영화 평론가가 영화의 장단점을 분석해 주는 것처럼, AI 영상 개발자들에게 "어디를 고쳐야 더 좋은 영상이 되는지" 알려주는 나침반 역할을 합니다.

기술 요약

Q-Save: 생성형 비디오 평가를 위한 점수 부여 및 귀속 (Attribution) 연구

1. 연구 배경 및 문제 정의 (Problem)

최근 텍스트-비디오 (T2V) 생성 모델의 급격한 발전으로 AI 생성 비디오 (AIGV) 의 품질 평가에 대한 수요가 증가하고 있습니다. 그러나 기존 평가 방법론은 다음과 같은 한계를 가지고 있습니다:

• 평가 차원의 부재: 시각적 품질, 동적 품질, 텍스트 - 비디오 정합성 (Alignment) 등 핵심 평가 차원에 대한 체계적인 정의가 부족합니다.
• 분리된 평가: 세 가지 차원을 별도의 모델로 개별적으로 평가하여 통합적인 이해가 어렵습니다.
• 데이터의 한계: 많은 기존 데이터셋이 공개 소스에서 추출된 저품질 프롬프트를 사용하거나, 단순한 점수 (Scalar Score) 만 제공하여 '왜' 비디오가 좋은지/나쁜지에 대한 귀속 설명 (Attribution) 이 결여되어 있습니다.
• 기술적 제약: 기존 VLM(비전 - 언어 모델) 기반 평가는 비디오를 너무 희소하게 샘플링 (예: 초당 2 프레임) 하여 인간의 시간적 판단을 반영하지 못하며, 단일 단계 지도 학습만 사용하여 모델의 잠재력을 충분히 활용하지 못합니다.

2. 방법론 (Methodology)

가. Q-Save 데이터셋 구축

• 규모 및 구성: 약 10,000 개의 비디오 샘플로 구성된 대규모 데이터셋입니다.
• 프롬프트: 6 가지 최신 T2V 모델 (Kling, Hunyuan, Veo2 등) 을 사용하여 생성되었으며, 다양한 카테고리, 동작, 스타일, 장면 복잡도를 균형 있게 포함하도록 수동으로 정제된 프롬프트를 사용합니다.
• 주관적 평가 및 귀속:
  • 3 차원 평가: 시각적 품질 (Visual Quality), 동적 품질 (Dynamic Quality), 텍스트 - 비디오 정합성 (Alignment) 에 대해 Mean Opinion Score (MOS) 를 부여합니다.
  • 세밀한 귀속 (Attribution): 낮은 점수를 받은 비디오에 대해서는 품질 저하의 원인을 세 가지 차원별로 상세히 설명하는 자연어 주석을 추가합니다. 이는 평가 모델의 정확도와 해석 가능성을 높이는 데이터 증강 역할을 합니다.
  • 품질 관리: 다수의 평가자 (훈련용 3 명, 테스트용 12 명 이상) 를 동원하여 엄격한 교정 및 감사 절차를 거쳤습니다.

나. Q-Save 평가 모델 아키텍처

• 백본 모델: Qwen3-VL-8B-Instruct 를 기반으로 합니다.
• SlowFast 전처리 전략: 비디오의 시간적 중복성을 해결하기 위해 'SlowFast' 방식을 도입했습니다.
  • Slow Pathway: 급격히 변화하는 중요한 프레임 (고해상도) 을 처리하여 공간적 디테일을 포착합니다.
  • Fast Pathway: 상대적으로 정적인 프레임을 더 많이 샘플링하여 (저해상도) 시간적 맥락을 추적합니다.
  • 이는 고정된 토큰 예산 내에서 정확도와 효율성을 균형 있게 맞춥니다.
• 점수 부여 방식: 5 단계 등급 (Bad, Poor, Fair, Good, Excellent) 을 예측하고, Softmax 확률 분포를 통해 가중 평균을 계산하여 연속적인 점수를 도출합니다.

다. 3 단계 하이브리드 학습 파이프라인
모델의 성능과 안정성을 극대화하기 위해 3 단계 학습 전략을 채택했습니다:

1. SFT (Cold Start): 지도 미세 조정 (Supervised Fine-Tuning) 을 통해 모델이 기본 형식과 평가 기준을 학습하도록 합니다.
2. RL (Warm Up): 그룹 상대 정책 최적화 (GRPO) 를 활용한 강화 학습을 수행하여 평가 목표와의 정렬을 강화하고, 단편적인 학습 (Shortcut learning) 을 방지합니다.
   • Reward: 정확도 (Accuracy) 와 형식 준수 (Format) 를 기반으로 합니다.
3. SFT (Cool Off): RL 로 인한 불안정성을 완화하고 점수 예측의 분산을 줄이기 위해 최종 SFT 단계를 거칩니다.

3. 주요 기여 (Key Contributions)

1. 고품질 평가 데이터셋: 엄격한 품질 관리와 세밀한 귀속 설명 (Attribution) 을 포함한 대규모 T2V 평가 데이터셋 (Q-Save) 을 구축했습니다.
2. SlowFast 기반 전처리: VLM 기반 평가에 맞춰 시간적 증거 (Temporal Evidence) 를 효율적으로 활용하는 비디오 전처리 전략을 제안했습니다.
3. 3 단계 학습 파이프라인: SFT → RL → SFT 전략을 통해 VLM 의 능력을 최대한 끌어올려, AIGV 평가에서 SOTA(State-of-the-Art) 성능을 달성했습니다.
4. 해석 가능한 평가: 단순 점수뿐만 아니라 품질 저하 원인에 대한 자연어 설명을 생성하여 평가의 투명성과 신뢰성을 높였습니다.

4. 실험 결과 (Results)

• 내부 성능 (In-domain): Q-Save 테스트셋에서 시각적, 동적, 정합성 모든 차원에서 기존 모델 (FastVQA, Q-Align, VideoScore-v2 등) 보다 우수한 상관관계 (SRCC, PLCC) 를 보였습니다. 특히 동적 품질 평가에서 큰 개선을 이루었습니다.
• 외부 일반화 (Cross-dataset): VideoGen-RewardBench, T2VQA-DB, VideoPhy2 등 다른 벤치마크에서도 높은 선호도 정확도와 MOS 상관관계를 유지하여 우수한 일반화 능력을 입증했습니다.
• 생성 모델 최적화: Q-Save 모델을 보상 모델 (Reward Model) 로 사용하여 T2V 생성 모델을 강화 학습 (RL) 시켰을 때, 기존 보상 모델 (HPSv3) 보다 인간 평가 점수가 더 크게 향상되었습니다. 이는 Q-Save 가 생성 모델 최적화에 효과적인 신호를 제공함을 의미합니다.

5. 의의 및 결론 (Significance)

Q-Save 는 AI 생성 비디오의 품질을 평가하는 데 있어 정량적 점수와 정성적 설명을 통합한 최초의 통합 프레임워크 중 하나입니다.

• 효율성: SlowFast 전략을 통해 계산 비용과 정확도 사이의 균형을 달성했습니다.
• 신뢰성: 귀속 설명을 통해 모델의 판단 근거를 제공하여 '블랙박스' 문제를 해결하고 인간 평가자와의 정렬을 강화했습니다.
• 활용성: 단순한 평가 도구를 넘어, T2V 생성 모델의 성능을 개선하기 위한 강력한 보상 모델로 직접 활용될 수 있음을 입증했습니다.

이 연구는 생성형 AI 의 품질 관리와 모델 최적화를 위한 새로운 표준을 제시하며, 향후 더 정교하고 해석 가능한 멀티모달 평가 시스템 개발의 기초가 될 것으로 기대됩니다.