Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring

1. 문제 정의 (Problem)

기존의 비디오 품질 평가 (VQA, Video Quality Assessment) 방법은 주로 인간의 주관적 평가를 모방하여 비디오의 전반적인 품질을 단일 수치 점수로 출력하는 데 중점을 두었습니다. 그러나 이러한 방식에는 다음과 같은 한계가 존재합니다.

• 복잡한 품질 차원의 부재: 단일 점수는 비디오 내의 다양한 품질 문제 (예: 노이즈, 모션 블러, 초점, 색상 등) 를 구체적으로 설명하지 못합니다.
• 데이터 확장성의 부족: 기존 연구들은 주로 이미지 영역에 국한되었으며, 비디오 품질에 대한 지시 데이터 (Instruction Data) 생성이 인간 전문가의 주관적 주석 (Annotation) 이나 비공개 시스템 (예: GPT-4) 에 크게 의존하고 있어 데이터 규모 확장과 효율성이 제한되었습니다.
• 이해와 설명의 분리: 비디오 대형 멀티모달 모델 (LMM) 이 품질 점수를 예측하거나, 그 이유를 언어로 설명 (Justification) 하는 능력을 동시에 향상시키는 데 어려움이 있었습니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 자동화된 차점수 기반 지시 생성 (Score-based Instruction Generation, SIG) 파이프라인을 제안했습니다. 이 파이프라인은 인간의 주석 없이 대규모 비디오 품질 지시 데이터를 생성하는 것을 목표로 합니다.

가. SIG 파이프라인의 3 단계

1. 비디오 소스 수집 (Video Source Collection):
   • 기존 VQA 데이터베이스의 제한된 규모를 극복하기 위해, 라벨이 있는 VQA 데이터 (Maxwell 등) 와 라벨이 없는 일반 비디오 데이터베이스 (InternVid 등) 를 혼합하여 수집합니다.
   • 수집 기준은 '주석된 차원의 수 (Quality Richness)'와 '균형 잡힌 품질 분포'입니다. 이를 통해 약 10 만 개의 비디오를 확보했습니다.
2. 자동화된 품질 차점수 평가 (Automated Quality Dimension Scoring):
   • 수집된 비디오에 대해 14 가지 품질 차원 (초점, 선명도, 노출, 노이즈, 압축 아티팩트, 모션 블러, 플리커, 카메라 궤적, 대비, 콘텐츠 복잡도, 구성, 컬러풀함 등) 을 자동으로 평가합니다.
   • 전문가 모델 (Expert Models) 을 사용하여 0~1 점의 연속적인 점수를 산출한 후, ITU 표준에 정의된 5 단계 텍스트 레벨 (Bad, Poor, Fair, Good, Excellent) 로 매핑합니다.
3. 계층적 CoT (Chain-of-Thought) 집계 (Hierarchical CoT Aggregation):
   • 인간의 시각 시스템 (HVS) 의 추론 과정을 모방하여, 14 가지 차원의 평가를 왜곡 (Distortion) 과 미학 (Aesthetic) 그룹으로 나누어 중간 평가를 수행하고, 이를 종합하여 최종 품질 정당화 (Justification) 텍스트를 생성합니다.
   • 생성된 텍스트는 오픈소스 LLM 을 통해 자연스러운 언어로 재구성 (Rephrasing) 되며, 비디오 캡션과 결합하여 고수준의 콘텐츠 정보를 포함시킵니다.
   • 최종적으로 Score2Instruct (S2I) 데이터셋이 생성되며, 이는 104 만 개의 상세 정당화 텍스트와 216 만 개의 질문 - 답변 (QA) 쌍을 포함합니다.

나. 점진적 튜닝 전략 (Progressive Tuning Strategy)

S2I 데이터셋을 활용하여 비디오 LMM 의 능력을 극대화하기 위해 2 단계 튜닝 전략을 도입했습니다.

• Stage 1 (Pretraining): 10 만 개의 차원별 설명 데이터를 사용하여 모델이 비디오의 품질 차원을 예측하는 기본 능력 (Scoring Ability) 을 학습시킵니다.
• Stage 2 (Instruction Tuning): 22 만 개의 QA 쌍과 정당화 데이터를 사용하여 모델의 품질 점수 예측 정확도와 이유 설명 능력 (Justification Ability) 을 동시에 향상시킵니다.

다. S2I-Bench (벤치마크)

기존 벤치마크의 한계 (지표의 불완전성, Ground Truth 작성 비용) 를 극복하기 위해 SIG 를 기반으로 구축된 S2I-Bench를 제안했습니다.

• 400 개의 오픈엔드 질문으로 구성됩니다.
• 평가 지표로 정확도, 완전성, 관련성 외에 비디오 특화 지표인 정보의 정확성 (CI), 세부 사항 (DO), 문맥 이해 (CU), 시간적 이해 (TU) 를 포함하는 VCG 점수를 사용합니다.

3. 주요 기여 (Key Contributions)

1. SIG 파이프라인: 인간 전문가 주석이나 비공개 API 없이, 자동화된 차점수 평가를 통해 대규모 비디오 품질 지시 데이터를 생성하는 확장 가능하고 효율적인 파이프라인을 제안했습니다.
2. Score2Instruct (S2I) 데이터셋: 32 만 개 이상의 다양한 지시 - 응답 쌍을 포함하는 대규모 데이터셋을 구축하여 비디오 LMM 의 품질 평가 및 설명 능력을 학습할 수 있는 기반을 마련했습니다.
3. S2I-Bench: 비디오 LMM 의 품질 정당화 능력을 종합적으로 평가하기 위한 새로운 오픈엔드 벤치마크를 구축했습니다.
4. 성능 향상: 제안된 점진적 튜닝 전략을 통해 오픈소스 및 클로즈드 소스 모델 모두에서 품질 점수 예측 및 이유 설명 능력이 기존 모델 대비 크게 향상됨을 실험을 통해 입증했습니다.

4. 실험 결과 (Results)

• 품질 정당화 (Justification): S2I-Bench 에서 6 가지 주요 비디오 LMM (LLaVA-OneVision, InternVL-Chat 등) 을 평가한 결과, 평균 VCG 점수가 1.39 포인트 상승했습니다. 특히 정보의 정확성 (CI) 과 시간적 이해 (TU) 에서 큰 향상을 보였습니다.
• 품질 점수 예측 (Scoring): 5 개의 다양한 VQA 데이터셋 (Maxwell, LSVQ, LIVE-VQC 등) 에서 Spearman 상관계수 (SRCC) 와 Pearson 선형 상관계수 (PLCC) 가 크게 개선되었습니다.
  • 예: LLaVA-OneVision 모델의 Maxwell 데이터셋 SRCC는 0.474 에서 0.795로, LIVE-VQC 는 0.397 에서 0.738로 향상되었습니다.
• 일반화 능력: 훈련 데이터와 다른 도메인 (Cross-dataset) 에서도 성능이 크게 개선되어, SIG 파이프라인이 다양한 품질 요인을 학습하여 모델의 일반화 능력을 높였음을 보여줍니다.
• Ablation Study: 자동화된 차점수 데이터의 양을 줄였을 때 성능이 저하되는 것을 확인하여 데이터 확장성의 중요성을 입증했습니다. 또한, 계층적 CoT 와 고수준 캡션이 정당화 능력에 필수적임을 확인했습니다.

5. 의의 (Significance)

이 논문은 비디오 품질 평가 분야에서 데이터 중심 (Data-centric) 접근법의 중요성을 부각시켰습니다.

• 비용 효율성: 고비용의 인간 주석과 비공개 모델 의존성을 탈피하여, 자동화된 시스템을 통해 대규모 고품질 데이터를 생성하는 방법을 제시했습니다.
• 해석 가능성: 단순한 점수 예측을 넘어, 비디오의 어떤 부분이 왜 나쁜지 구체적인 차원 (차점수) 을 기반으로 언어로 설명하는 능력을 부여함으로써, 비디오 품질 평가의 실용성과 투명성을 높였습니다.
• 미래 방향: 제안된 SIG 파이프라인과 S2I 데이터셋은 향후 비디오 LMM 의 발전과 다양한 멀티모달 태스크에 적용될 수 있는 강력한 기반을 제공합니다.

요약하자면, Score2Instruct는 자동화된 차점수 평가를 통해 대규모 학습 데이터를 생성하고, 이를 통해 비디오 LMM 이 정밀한 품질 점수와 상세한 이유 설명을 동시에 수행할 수 있도록 한 획기적인 연구입니다.