DPC-VQA: Decoupling Quality Perception and Residual Calibration for Video Quality Assessment

기술 요약: DPC-VQA

문제 정의
멀티모달 거대 언어 모델(MLLM)은 비디오 품질 평가(VQA)에서 유망한 능력을 보여주었으나, 실제 배포 과정에서 상당한 장애물에 직면해 있습니다. 이러한 대규모 모델을 새로운 비디오 도메인이나 스코어링 프로토콜에 적응시키려면 일반적으로 비용이 많이 드는 엔드 투 엔드(end-to-end) 재학습과 대규모 평균 의견 점수(MOS) 주석이 필요하며, 이는 반복적인 인간 주관적 평가로 인해 수집 비용이 매우 높습니다. 기존의 MLLM 기반 VQA 방법들은 시나리오별 미세 조정(fine-tuning)이 필요하거나 출력값을 특정 벤치마크의 MOS 척도와 정렬하는 데 실패하는 등, 교차 데이터셋 적응 문제로 어려움을 겪고 있습니다. 또한, 현재의 퓨샷(few-shot) VQA 접근 방식은 표현 학습과 데이터셋 특화 캘리브레이션(calibration)을 서로 얽히게 만들어 일반화 효율성을 제한합니다.

방법론: DPC-VQA
저자들은 품질 인지와 점수 캘리브레이션 작업을 분리하는 프레임워크인 DPC-VQA(Decoupling Perception and Calibration for Video Quality Assessment)를 제안합니다. 핵심 가설은 사전 학습된 MLLM이 이미 유용한 범용적 지각 사전 지식(generic perceptual prior)을 인코딩하고 있다는 것이며, 과제는 품질 인식을 다시 학습하는 것이 아니라 이 사전 지식을 타겟 MOS 공간으로 효율적으로 캘리브레이션하는 데 있다는 것입니다.

이 프레임워크는 두 가지 주요 구성 요소로 이루어집니다:

1. 동결된 품질 인지 (기본 사전 지식):

   • 동결된 MLLM(실험에서는 구체적으로 Qwen3-VL-8B 사용)이 고정된 품질 프롬프트와 함께 입력 비디오 프레임을 처리합니다.
   • 모델은 "품질 언어화(quality verbalizer)" 분포(예: "bad", "poor", "fair", "good", "excellent"와 같은 토큰을 스칼라 앵커에 매핑)로부터 유도된 **기본 품질 점수($q_b$)**를 출력합니다.
   • 또한 모델은 언어화 분포의 엔트로피와 마지막 레이어의 시각적 은닉 상태($H_{vis}$)를 기반으로 **신뢰도 점수($u_b$)**를 출력합니다.
   • 결정적으로, MLLM 파라미터는 학습 중 동결되어 유지되므로 사전 학습된 지각 지식을 보존합니다.

2. 경량 잔차 캘리브레이션 (Lightweight Residual Calibration):

   • 학습 가능한 브랜치가 기본 점수를 타겟 MOS 공간으로 조정하기 위한 **잔차 보정값($\Delta$)**을 예측합니다.
   • 입력 특징: 캘리브레이션 브랜치는 동결된 시각적 토큰($H_{vis}$), 별도의 사전 학습된 인코더(SlowFast)에서 추출한 보조 비디오 특징($H_{aux}$), 기본 점수($q_b$), 그리고 신뢰도 점수($u_b$)를 활용합니다.
   • 메커니즘:
     • 특징들은 공유 잠재 공간으로 투영된 후 확장된 토큰 뱅크(token bank)로 결합됩니다.
     • 학습 가능한 **캘리브레이션 쿼리(calibration queries)**가 이 토큰 뱅크에 대해 크로스 어텐션(cross-attention)을 수행하여 캘리브레이션 인지 토큰을 추출합니다.
     • 이 토큰들은 특징별 리스케일링(rescaling) 및 시프팅(shifting)을 통해 기본 조건($q_b, u_b$)에 의해 변조됩니다.
     • 각 변조된 토큰은 국소적인 잔차 제안(크기와 방향)을 예측하며, 이들은 중요도 가중치를 통해 집계되어 최종 잔차 $\Delta$를 생성합니다.
   • 최종 예측: 예측된 점수는 $\hat{y} = q_b + \Delta$입니다.

학습 목적 함수
학습은 경량 캘리브레이션 브랜치에 국한됩니다. 목적 함수는 다음을 결합합니다:

• Smooth L1 Loss: 최종 예측값을 실제 ground-truth MOS에 맞도록 감독합니다.
• 잔차 정규화 (Residual Regularization): 잔차의 크기($\sum |\Delta|$)에 페널티를 주는 항을 추가하여, 보정이 전체 재추정이 아닌 유계된(bounded) 조정으로 유지되도록 함으로써 학습을 안정화하고 사전 지식을 보존합니다.

주요 기여

1. 분리된 프레임워크: 품질 인지(동결된 MLLM)와 점수 캘리브레이션(경량 브랜치)을 분리하여 비용이 많이 드는 엔드 투 엔드 재학습을 피하는 DPC-VQA를 제안했습니다.
2. 잔차 캘리브레이션 메커니즘: 기본 점수와 신뢰도를 조건으로 하는 새로운 토큰 단위 유계 잔차 추정 및 적응형 집계 전략을 통해 미세한 적응을 가능하게 합니다.
3. 효율성: MLLM 기반 VQA 방법의 전체 미세 조정과 비교했을 때 학습 가능한 파라미터가 2% 미만이며, MOS 레이블이 20%만 있는 상황에서도 효과적입니다.

실험 결과
저자들은 다섯 가지 벤치마크(UGC 데이터셋 3개: KoNViD-1k, YouTube-UGC, LIVE-VQC; AIGC 데이터셋 2개: T2VQA, Human-AGVQA)에서 DPC-VQA를 평가했습니다.

• 퓨샷 성능: 5-fold 퓨샷 분할(데이터의 20%만 학습에 사용) 조건에서, DPC-VQA는 다섯 가지 데이터셋 모두에서 모든 퓨샷 베이스라인보다 우수한 성능을 달 기록했습니다.
  • UGC 데이터셋에서, DPC-VQA는 베스트 퓨샷 베이스라인 대비 SRCC 기준 각각 0.032, 0.036, 0.026의 상승을 보였습니다.
  • AIGC 데이터셋에서는 퓨샷 베이스라인 대비 상당한 개선(SRCC 상승폭 0.106 및 0.114)을 보였으며, 최소한의 레이블을 사용했음에도 전용 지도 학습 AIGC 방법들과 경쟁할 만한 수준을 유지했습니다.
• 절제 연구 (Ablation Studies):
  • 잔차 vs 직접 회귀: 잔차 공식이 직접 회귀 및 점수 조건부 회귀보다 우수한 성능을 보여, 점수를 다시 학습하는 것보다 보정을 학습하는 것이 더 효과적임을 입증했습니다.
  • 정보 소스: 동결된 MLLM 토큰, 보조 특징, 기본 점수, 신뢰도를 결ộng했을 때 최상의 결과를 얻었으며, 동결된 MLLM이 주요 지각 기반 역할을 수행함을 확인했습니다.
  • 쿼리 집계: 학습 가능한 캘리브레이션 쿼리가 평균 풀링(mean pooling) 및 셀프 어텐션 집계보다 우수한 성능을 보였습니다.
• 데이터 효율성: 학습 비율이 10~20% 정도로 낮아도 우수한 성능을 유지하여 저데이터 환경에서의 강력한 견고성을 입증했습니다.
• 파라미터 효율성: 학습 가능한 파라미터 수는 약 155M으로, 전체 8.2B 모델의 약 1.9%에 불과하여 최적화 비용을 크게 줄였습니다.

의의 및 주장
본 논문은 MLLM을 VQA에 적응시키는 데 있어 주요 병목 현상은 모델의 지각 능력 부족이 아니라, 출력값을 특정 타겟 스코어링 프로토콜에 정렬하는 어려움에 있다고 주장합니다. MLLM을 고정된 지각 사전 지식으로 취급하고 적응 과정을 경량 잔차 캘리브레이션 작업으로 공식화함으로써, DPC-VQA는 더 실용적이고 확장 가능한 VQA 배포 경로를 제공합니다. 저자들은 이 접근 방식이 시나리오별 재학습에서 효율적인 캘리브레이션으로 초점을 전환하여, MOS 주석이 부족하거나 비용이 많이 드는 상황에서도 고품질 VQA를 가능하게 한다고 주장합니다. 실험 결과는 향후 VQA 시스템이 매번 새로운 도메인을 위해 엔드 투 엔드 학습에 의존하기보다, 동결된 지각 사전 지식을 활용함으로써 이득을 얻을 수 있음을 시사합니다.