기술 요약: 순위 기반 자기지도 학습을 통한 주석 장벽 극복

1. 문제 제기

비디오 품질 평가 (VQA) 는 현대 비디오 처리 워크플로우에서 사용자 경험 (QoE) 을 최적화하는 데 필수적입니다. 지도 학습 기반의 딥러닝 모델은 상당한 진전을 이루었지만, 일반화라는 근본적인 한계에 직면해 있습니다. 현재 최첨단 (SOTA) 모델들은 수동으로 주석이 달린 데이터셋에 크게 의존하는데, 이는 노동 집약적이고 비용이 많이 들며 확장하기 어렵습니다. 그 결과, 이러한 모델들은 종종 분포 외 (OOD) 데이터에서 성능이 저하되어, 보지 못한 비디오 콘텐츠, 왜곡, 또는 미디어 형식 (예: 게임 영상, 고프레임레이트 콘텐츠, AI 생성 콘텐츠 등) 에 일반화되지 못합니다.

기존의 자기지도 학습 접근법들은 주석 비용을 완화하려 시도하지만, 일반적으로 지도 학습 방법보다 뒤처집니다. 이들은 종종 왜곡 분류와 같은 합성 프록시 작업을 활용한 대비 학습에 의존하는데, 이는 복잡한 지각적 특성이나 실제 세계의 실제 왜곡 패턴을 포착하지 못합니다.

2. 방법론

저자들은 VQA 를 절대적 회귀가 아닌 쌍별 순위 문제로 재정의하는 자기지도 학습 프레임워크인 LMM-PVQA를 제안합니다. 방법론의 핵심 구성 요소는 다음과 같습니다:

A. 대규모 쌍별 주석 데이터셋 (PLVD)

저자들은 TikTok, YouTube, Youku, Bilibili 등 주요 소셜 미디어 플랫폼 4 개에서 추출한 300 만 개의 소스 비디오에서 샘플링된 70 만 개의 비디오 쌍으로 구성된 방대한 데이터셋을 구축했습니다. 이 데이터셋은 20 개 이상의 콘텐츠 카테고리 및 다양한 왜곡 시나리오를 포괄합니다.

• 샘플링 전략: 9 가지 저수준 지표 (블록화, 흐림, 대비, 노이즈, 깜빡임, 채도, 휘도, 공간 정보, 시간 정보) 의 분포가 주류 UGC 벤치마크와 일치하도록 보장하기 위해, 438k 개의 비디오를 선택하기 위해 혼합 정수 프로그래밍 접근법이 사용되었습니다.
• 주석 전략: 인간의 개입 없이 상대적 품질 라벨을 생성하기 위해 두 가지 방법이 동원되었습니다:
  1. VQA 모델을 통한 의사 라벨링: 다섯 가지 SOTA VQA 모델 (Minimalistic-VQA, FAST-VQA, DOVER, Q-Align) 이 '심사관' 역할을 하여 비디오 쌍에 점수를 매깁니다. 앙상블 접근법을 통해 상대적 품질을 결정합니다. 라벨은 점수 차이의 통계적 유의성에 기반하여 하드 순위(더 좋음/더 나쁨) 와 소프트 순위(매우 좋음/더 좋음/유사/더 나쁨/매우 나쁨) 로 분류됩니다.
  2. 합성 왜곡 시뮬레이션: 제어된 왜곡 (공간: 흐림, 노이즈, 크기 조절; 시간: 지터, 끊김; 스트리밍: H.264/H.265 압축) 을 다양한 심각도 수준으로 적용하여 데이터의 일부 (PLVD-DS) 를 생성합니다. 심각도 수준은 상대적 순위를 위한 기준 (Ground Truth) 으로 작용합니다.

B. 모델 아키텍처 (LMM-PVQA)

이 모델은 Qwen-2를 기반으로 한 대규모 멀티모달 모델 (LMM) 위에 구축되었으며, 이중 분기 시각 특징 추출기와 통합되었습니다:

• 공간 분기: 키 프레임을 처리하기 위해 사전 훈련된 이미지 인코더 (SigLIP) 를 사용합니다.
• 시간 분기: 프레임 시퀀스를 분석하여 운동 관련 왜곡을 파악하기 위해 사전 훈련된 모션 인코더 (SlowFast) 를 사용합니다.
• 융합: 시각 특징은 언어 공간으로 투영되어 텍스트 프롬프트와 연결됩니다. 모델은 Supervised Fine-Tuning (SFT) 을 통해 텍스트 판단 (예: "두 번째 비디오가 첫 번째 비디오보다 더 좋습니다") 을 출력하도록 훈련됩니다.

C. 반복적 자기 개선 전략

모델이 자체 훈련 데이터를 반복적으로 정제하는 새로운 훈련 파이프라인이 도입되었습니다:

1. 1 단계: 초기 50 만 쌍 (PLVD-Part1) 으로 기본 모델을 훈련합니다.
2. 2 단계: 훈련된 1 단계 모델을 향상된 '심사관'으로 사용하여 다음 10 만 쌍 (PLVD-Part2) 을 재주석하고, 이를 원본 데이터와 결합하여 2 단계를 훈련합니다.
3. 3 단계: 최종 10 만 쌍 (PLVD-Part3) 에 대해 이 과정을 반복합니다.
   이 전략을 통해 모델은 점진적으로 지식을 정제하고 자체 주석 품질을 향상시켜 일반화 능력을 강화할 수 있습니다.

D. 추론 메커니즘

모델이 상대적 순위를 예측하므로, 절대 점수를 도출하기 위해 적응형 소프트 비교 방법이 사용됩니다. 테스트 비디오는 서로 다른 품질 구간을 나타내는 5 개의 앵커 비디오 세트와 비교됩니다. 그 결과로 얻은 확률 분포는 Thurstone 의 Case V 모델 하에서 최대 사후 확률 (MAP) 추정을 사용하여 보정된 품질 점수로 변환됩니다.

3. 주요 기여

1. 대규모 데이터셋: 실제 및 합성 왜곡을 모두 포함하며, 앙상블 VQA 모델과 왜곡 시뮬레이션을 통해 자동으로 주석이 달린 70 만 개의 비디오 쌍을 가진 PLVD 데이터셋 구축.
2. 자기지도 학습 프레임워크: 사전 훈련 중 인간이 라벨링한 회귀 타겟의 필요성을 제거하고 쌍별 비교를 통해 품질 평가를 학습하는 새로운 프레임워크.
3. 반복적 자기 개선: 모델이 후속 반복을 위한 향상된 주석가로 작용하여 지속적으로 성능을 정제하는 훈련 전략.
4. 최첨단 성능: 다양한 벤치마크에서 강력한 제로샷 성능을 달성하며, 인간이 라벨링한 데이터로 미세 조정 시 새로운 기록을 수립함.

4. 실험 결과

모델은 도메인 내 (UGC 비디오) 와 도메인 외 (OOD, 게임, 고프레임레이트, 4K 압축) 데이터셋으로 구성된 10 개의 벤치마크에서 평가되었습니다.

• 제로샷 성능: LMM-PVQA 는 도메인 내 벤치마크에서 기존 지도 학습 SOTA 모델 (예: Minimalistic-VQA, FAST-VQA, DOVER) 과 비교할 수 있거나 능가하는 제로샷 성능을 달성합니다.
• 도메인 외 일반화: 이 모델은 OOD 데이터셋에서 우수한 일반화를 보여주며, 경쟁 접근법 대비 SRCC 에서 24.7% 향상을 달성했습니다. LIVE-YT-HFR(고프레임레이트), Waterloo-IVC-4K(4K 압축), KVQ(향상된 UGC) 와 같은 까다로운 데이터셋에서 주목할 만한 향상이 관찰되었습니다.
• 지도 미세 조정: 인간이 라벨링한 데이터셋으로 미세 조정 시, 모델은 모든 경쟁 지도 학습 베이스라인보다 SRCC 에서 3.5% 더 높은 성능을 보입니다.
• 애블레이션 연구:
  • 소프트 순위: '품질 거리' 정보를 통합함으로써 하드 순위보다 우수한 성능을 발휘합니다.
  • 반복 전략: 성능 향상이 단순히 데이터 양 증가가 아닌 자기 개선 루프에서 비롯됨을 확인했습니다.
  • 모션 인코더: 시간적 왜곡에 필수적이며, 고프레임레이트 벤치마크 (LIVE-YT-HFR) 에서 SRCC 33.5% 향상을 가져옵니다.

5. 중요성 및 주장

이 논문은 비싼 인간 주석에 대한 의존성을 깨고 대규모 자동 주석 비디오 쌍을 활용함으로써 우수한 일반화 능력을 갖춘 VQA 모델을 훈련할 수 있다고 주장합니다.

• 확장성: 이 접근법은 '쉬운 데이터셋' 문제와 주관적 실험의 prohibitive 한 비용을 해결하여, 수백만 개의 레이블이 없는 웹 비디오를 훈련에 활용할 수 있게 합니다.
• 강건성: 반복적 자기 개선 전략과 합성 왜곡의 포함을 통해 모델은 기존 지도 학습 모델이 처리하지 못하는 보지 못한 왜곡 유형 (예: 특정 압축 아티팩트 또는 프레임 레이트 불일치) 에 적응할 수 있습니다.
• 미래 연구의 토대: 저자들은 이 프레임워크가 도메인별 재훈련 없이 다양한 실제 시나리오에서 품질을 평가할 수 있는 모델로 가는 길을 제시하며, 일반화된 VQA 에 대한 새로운 표준을 설정한다고 주장합니다.

저자들은 한계를 인정합니다: 추론 과정은 비디오를 여러 앵커와 비교해야 하므로 직접적인 회귀 모델에 비해 추론 시간이 증가합니다. 향후 작업은 더 자동화된 주석 전략을 탐구하고 프레임워크를 멀티모달 품질 평가 (음성 및 텍스트 포함) 로 확장하는 것을 목표로 합니다.