QPT V2: Masked Image Modeling Advances Visual Scoring

1. 문제 정의 (Problem)

시각 콘텐츠의 품질 (Quality) 과 미학 (Aesthetics) 을 평가하는 작업 (IQA, VQA, IAA) 은 비디오 향상, 트랜스코딩 등 다양한 비전 애플리케이션에서 핵심적인 역할을 합니다. 그러나 기존 학습 기반 방법론은 다음과 같은 심각한 한계를 겪고 있습니다.

• 레이블 데이터의 부족: 인간 시각 시스템 (HVS) 과 일치하는 점수를 얻기 위해 필요한 주관적 평가 데이터 (MOS) 는 수집 비용이 매우 비싸고, 기존 고수준 시각 작업 (분류 등) 에 비해 데이터 규모가 극히 작습니다.
• 일반화 능력의 부재: 데이터 부족으로 인해 학습된 모델은 새로운 도메인이나 복잡한 왜곡에 대해 일반화 성능이 떨어집니다.
• 기존 자기지도 학습 (SSL) 의 한계: 기존에 사용된 대비 학습 (Contrastive Learning) 은 '샘플 수준'의 구분에 초점을 맞추어, 국소적인 왜곡 (local distortions) 이나 세부적인 시각 속성을 포착하는 데 한계가 있습니다.

2. 방법론 (Methodology)

저자들은 **마스크 이미지 모델링 (Masked Image Modeling, MIM)**을 시각 점수 (Visual Scoring) 작업에 적용하기 위해, 데이터, 왜곡 (Degradation), 모델 구조의 세 가지 측면에서 기존 MIM 을 개선한 QPT V2를 제안합니다.

가. 데이터 (Data): 고해상도 및 고전경 영역 (HR & HFC)

• 고해상도 (HR): 기존 ImageNet 과 같은 저해상도 데이터 대신, SA-1B 데이터셋을 기반으로 평균 해상도가 약 1600x2100 인 고해상도 이미지를 사용합니다.
• 고전경 영역 (HFC): 이미지 내 전경 (Foreground) 비율이 높은 이미지를 선별합니다. 전경은 배경보다 더 풍부한 의미론적 정보와 텍스처를 포함하므로, 모델이 미세한 품질 및 미학 정보를 학습하는 데 필수적입니다.
• 결과: 128 만 개의 HR & HFC 이미지로 구성된 사전 학습 데이터셋을 구축했습니다.

나. 왜곡 (Degradation): 품질 및 미학 인식 왜곡

• MIM 의 재구성 타겟에 다양한 왜곡을 적용하여 실제 시나리오를 모사합니다.
• 왜곡 유형: 기하학적 (리사이징), 주파수 기반 (블러, 샤프닝, 노이즈), 색상 기반 (컬러 지터링, 컬러 스페이스 변환 - CST).
• 핵심 발견: **컬러 스페이스 변환 (CST)**이 품질 및 미학 인식에 가장 효과적인 왜곡임을 발견했습니다. 이는 다양한 색상 공간의 정보가 상호 보완적임을 보여줍니다.
• 주의: 기존 대비 학습과 달리, 복잡한 왜곡 조합 (Sequential/Advanced) 은 오히려 성능을 저하시켰으며, 단일 또는 간단한 조합이 더 효과적이었습니다.

다. 모델 (Model): 멀티스케일 특징 융합

• 인코더: 계층적 백본 (Hierarchical Backbone) 인 HiViT를 선택하여 다중 스케일 특징 학습을 용이하게 합니다.
• 특징 융합 (Feature Fusion): 사전 학습 단계에서만 적용되는 모듈을 도입하여, 인코더의 여러 단계 (Stage) 에서 추출된 특징을 적응적으로 융합합니다.
• 효과: 저수준의 세부 정보 (Shallow layers) 와 고수준의 의미론적 정보 (Deep layers) 를 모두 포착하여 인간 시각 시스템의 다중 스케일 평가 방식을 모방합니다.

3. 주요 기여 (Key Contributions)

1. MIM 기반 시각 점수 프레임워크의 최초 제안: MIM 이 시각 점수 (IQA, VQA, IAA) 작업을 통합적으로 해결할 수 있음을 최초로 검증했습니다.
2. QPT V2 아키텍처 개발: 데이터 (HR & HFC), 왜곡 (CST 중심), 모델 (멀티스케일 융합) 의 세 가지 핵심 요소를 최적화한 최초의 MIM 기반 사전 학습 프레임워크를 제시했습니다.
3. 광범위한 실험 및 검증: 11 개의 벤치마크에서 기존 SOTA 방법론 및 다른 사전 학습 패러다임 (Contrastive Learning 등) 을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

QPT V2 는 이미지 품질 평가 (IQA), 비디오 품질 평가 (VQA), 이미지 미학 평가 (IAA) 의 3 가지 분야에서 11 개의 벤치마크에서 State-of-the-Art (SOTA) 성능을 달성했습니다.

• IQA (이미지 품질): LIVE, TID2013, KonIQ10K 등 6 개 데이터셋에서 기존 SOTA (HyperIQA, QPT 등) 를 능가하거나 경쟁력 있는 성능을 보였습니다. 특히 실제 세계 왜곡 (Real-world distortions) 이 포함된 FLIVE, CLIVE 에서 우수한 성능을 발휘했습니다.
• VQA (비디오 품질): LIVE-VQC, KoNViD-1k 등 4 개 데이터셋에서 기존 방법론을 상회하며, 특히 교차 도메인 (Cross-dataset) 설정에서 뛰어난 일반화 능력을 입증했습니다.
• IAA (이미지 미학): AVA 데이터셋에서 SRCC 0.865, PLCC 0.875 를 기록하여 기존 SOTA (Q-Align 등) 를 크게 앞섰습니다.
  • 특이사항: Q-Align 은 대규모 멀티모달 모델 (LMM) 을 사용하지만, QPT V2 는 텍스트 모달리티 없이 순수 이미지 기반으로도 더 높은 성능을 내며 계산 비용과 모델 크기를 줄였습니다.
• 데이터 효율성: 사전 학습 데이터의 50% 만 사용해도 IAA 작업에서 기존 SOTA 와 유사한 성능을 내어 높은 데이터 효율성을 보였습니다.

5. 의의 및 결론 (Significance)

• 새로운 패러다임 제시: 시각 점수 작업에 있어 대비 학습 (Contrastive Learning) 중심의 기존 접근법에서, 픽셀 수준의 재구성을 통해 세부 왜곡과 의미론적 정보를 동시에 학습하는 MIM 기반 접근법의 유효성을 입증했습니다.
• 실용적 가치: 레이블 데이터가 부족한 시각 평가 분야에서, 고해상도 및 전경 중심 데이터를 활용한 자기지도 학습을 통해 데이터 부족 문제를 해결하고 일반화 성능을 극대화하는 길을 제시했습니다.
• 향후 연구 방향: 다양한 전사 학습 (Pretraining) 패러다임이 시각 평가 (Visual Scoring) 분야에 미칠 수 있는 가능성을 열어주었으며, 향후 더 다양한 데이터 소스와 모델 구조에 대한 탐구를 촉진할 것으로 기대됩니다.

이 논문은 QPT V2를 통해 시각 콘텐츠의 품질과 미학을 평가하는 데 있어 MIM 이 강력한 사전 학습 도구임을 증명하고, 이를 통해 데이터 부족이라는 근본적인 문제를 해결할 수 있음을 보여줍니다.