Seeing Beyond 8bits: Subjective and Objective Quality Assessment of HDR-UGC Videos

이 논문은 HDR-UGC 비디오의 품질 평가를 위해 대규모 주관적 데이터셋 'Beyond8Bits'를 구축하고, HDR 인지 비전 인코더와 강화학습 기반의 HAPO 프레임워크를 도입한 최초의 멀티모달 대형 언어 모델 'HDR-Q'를 제안하여 기존 SDR 모델의 한계를 극복하고 최첨단 성능을 달성했습니다.

핵심

이 논문은 **"고화질 (HDR) 동영상이 얼마나 아름다운지, 그리고 얼마나 고장 났는지를 사람이 아닌 AI 가 어떻게 더 잘 판단할 수 있을까?"**라는 질문에 대한 답을 제시합니다.

기존의 영상 평가 시스템은 마치 흑백 TV 시대에 맞춰진 안경을 쓰고 있어서, 요즘의 화려한 고화질 (HDR) 영상을 제대로 보지 못했습니다. 이 논문은 그 문제를 해결하기 위해 **새로운 안경 (HDR-Q)**과 **엄청난 양의 새로운 교재 (Beyond8Bits 데이터셋)**를 만들었습니다.

핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제점: "흑백 안경"을 쓴 AI

과거의 영상 품질 평가 AI 들은 표준 화질 (SDR) 로 훈련되었습니다. 마치 어두운 방에서 그림을 그리는 화가에게 갑자기 태양 아래서 그림을 그리라고 하는 것과 같습니다.

• 실제 상황: 요즘 유튜브나 틱톡에 올라오는 HDR 영상은 빛의 밝기 차이가 매우 크고 색상이 풍부합니다.
• AI 의 오해: 기존 AI 는 이 영상에서 "검은 부분이 너무 어둡게 뭉개졌다"거나 "밝은 부분이 하얗게 날아갔다"는 미세한 결함을 보지 못합니다. 마치 안개 낀 날에 멀리 있는 산을 보려고 하는 것처럼, 중요한 디테일을 놓쳐버립니다.

2. 해결책 1: "Beyond8Bits"라는 거대한 교실 (데이터셋)

AI 를 가르치기 위해서는 먼저 좋은 예제와 나쁜 예제를 많이 보여줘야 합니다. 연구팀은 약 44,000 개의 HDR 동영상을 모았습니다.

• 비유: 이전에는 작은 도서관에 있는 책 (소수의 전문 영상) 만으로 공부했지만, 이제는 거대한 백화점처럼 다양한 상황 (야외, 실내, 밤, 낮, 다양한 카메라) 을 담은 150 만 명 이상의 사람들이 평가한 점수를 모았습니다.
• 이 데이터를 통해 AI 는 "실제 사람들이 어떤 영상을 좋아하고 싫어하는지"를 생생하게 배울 수 있게 되었습니다.

3. 해결책 2: "HDR-Q"라는 천재 학생 (모델)

이제 이 데이터를 바탕으로 만든 새로운 AI, HDR-Q를 소개합니다. 이 AI 는 두 가지 특별한 능력을 갖췄습니다.

A. HDR 전용 안경 (HDR-Aware Vision Encoder)

• 비유: 이 AI 는 영상 속의 빛과 색의 미세한 차이를 포착하는 특수 안경을 끼고 있습니다.
• 기존 AI 가 "이건 그냥 어두운 그림이야"라고 넘겼다면, 이 AI 는 "아, 이 검은색 부분이 너무 억지로 어둡게 처리되어서 디테일이 사라졌네"라고 정확히 지적합니다.

B. "HAPO"라는 현명한 멘토 (강화 학습)

• 비유: AI 가 영상을 볼 때, 텍스트만 보고 점수를 매기는 나쁜 습관을 고쳐주는 멘토입니다.
• 문제: AI 가 영상을 보지 않고도 "이건 자연스러운 풍경이니까 점수 높게 줘"라고 텍스트만 보고 추측하는 경우가 많습니다 (모달리티 방치).
• 해결 (HAPO): 멘토가 "잠깐! 텍스트만 보지 말고 **실제 영상 (빛과 색)**을 다시 봐! SDR(일반 화질) 으로 봤을 때와 HDR(고화질) 로 봤을 때 생각이 달라야 해!"라고 혼을 내며 훈련시킵니다.
• 결과: AI 는 이제 영상을 꼼꼼히 분석하고, "이 부분은 빛이 날아갔고, 저 부분은 색이 번졌네"라고 이유를 대면서 점수를 매길 수 있게 되었습니다.

4. 성과: 왜 이것이 중요한가요?

이 새로운 시스템 (HDR-Q) 은 기존 어떤 AI 보다 사람의 눈과 가장 비슷하게 영상을 평가합니다.

• 비유: 예전에는 가짜 미러처럼 영상을 왜곡해서 보거나, 대충 눈으로 훑고 점수를 매겼다면, 이제는 정밀한 현미경으로 영상을 뜯어보고 사람의 감정을 정확히 읽어냅니다.
• 이 기술은 앞으로 유튜브, 넷플릭스 같은 플랫폼에서 **"어떤 영상이 진짜로 잘 만들어진 영상인지"**를 자동으로 판단하는 데 쓰일 수 있습니다.

요약

이 논문은 **"고화질 (HDR) 영상의 아름다움과 결함을 사람이 느끼는 그대로 AI 가 이해하게 만들기 위해, 거대한 데이터 교실 (Beyond8Bits) 을 만들고, AI 에게 특수 안경과 현명한 멘토 (HDR-Q & HAPO) 를 붙여주었다"**는 이야기입니다. 그 결과, AI 는 이제 영상 품질 평가 분야에서 최고의 전문가가 되었습니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 유튜브, 틱톡 등 소셜 플랫폼에서 고동적 범위 (HDR) 사용자 생성 콘텐츠 (UGC) 가 급증하고 있으나, 기존의 영상 화질 평가 (VQA) 시스템은 표준 동적 범위 (SDR) 에 맞춰 설계되어 있습니다.
• 한계: HDR 은 더 높은 비트 심도, 넓은 색역, 높은 휘도 범위를 가지지만, 이로 인해 SDR 에서는 덜 두드러지던 왜곡 (어두운 영역의 crushing, 하이라이트 클리핑, 밴딩, 노출 플리커 등) 이 UGC 의 압축 및 캡처 아티팩트와 결합하여 심하게 나타납니다.
• 기존 연구의 부족:
  • 기존 VQA 모델들은 전문 제작 HDR 데이터나 SDR-UGC 데이터로 훈련되어, 실제 UGC 의 이질적인 캡처 조건과 왜곡에 일반화되지 못합니다.
  • 기존 HDR 주관적 데이터셋은 규모가 작거나 합성 왜곡에 치중되어 있어, 실제 세계의 HDR-UGC 를 반영하는 모델 개발을 저해합니다.
  • 멀티모달 대규모 언어 모델 (MLLM) 을 적용할 때, 표준 비전 인코더가 SDR 데이터로 사전 훈련되어 HDR 고유의 신호를 포착하지 못하며, 텍스트 사전 지식에 의존하여 시각적 입력 (HDR) 을 무시하는 '모달리티 소홀 (Modality Neglect)' 현상이 발생합니다.

2. 주요 기여 (Key Contributions)

이 논문은 다음과 같은 세 가지 핵심 기여를 제시합니다.

1. Beyond8Bits 데이터셋 구축:
   • 규모: 약 44,000 개의 HDR-UGC 비디오, 6,861 개의 소스, 150 만 건 이상의 크라우드 소싱 평가 (MOS) 를 포함하는 대규모 주관적 데이터셋입니다.
   • 특징: 다양한 장면, 캡처 조건 (다양한 스마트폰), 압축 설정을 포괄하며, 실제 HDR-UGC 의 왜곡을 반영하도록 설계되었습니다.
2. HDR-Q 모델 제안:
   • HDR-UGC 화질 평가를 위해 설계된 최초의 멀티모달 대규모 언어 모델 (MLLM) 입니다.
   • HDR 인지 비전 인코더 (HDR-aware Vision Encoder): 10-bit PQ 신호를 손실 없이 처리하고, SDR 대비 컨트라스트 학습을 통해 HDR 에 민감한 임베딩을 생성합니다.
3. HAPO (HDR-Aware Policy Optimization) 프레임워크:
   • 강화 학습 (RL) 기반 미세 조정 기법으로, 모델이 텍스트가 아닌 HDR 시각적 신호에 근거하도록 강제합니다.
   • 핵심 메커니즘:
     • HDR-SDR Contrastive KL: HDR 입력이 있을 때와 없을 때의 정책 분포 차이를 최대화하여 HDR 정보 의존성을 강화합니다.
     • Dual-Entropy Regularization: 정책의 엔트로피를 제어하여 과도한 불확실성이나 Reward Hacking 을 방지합니다.
     • High-Entropy Weighting (HEW): 정보량이 많은 토큰 (예: 왜곡 식별 단계) 에 학습 가중치를 집중시켜 추론의 정확도를 높입니다.

3. 방법론 (Methodology)

• 데이터 수집 및 처리:

  • 크라우드 소싱 (사용자 기기 촬영) 과 크리에이티브 커먼즈 라이선스 공개 영상을 수집했습니다.
  • 모든 비디오는 10-bit HEVC, BT.2020 색역, PQ 트랜스퍼 함수를 유지하며, 다양한 비트레이트와 해상도로 트랜스코딩되어 스트리밍 환경을 시뮬레이션했습니다.
  • AMT(아마존 메커니컬 터크) 를 통해 HDR 디스플레이가 가능한 사용자를 대상으로 0~100 점의 연속적인 MOS 평가를 수행했습니다.

• HDR-Q 아키텍처:

  • 비전 인코더: SigLIP-2 를 기반으로 하여, HDR 프레임과 캡션 쌍을 학습합니다. SDR 버전의 프레임과 대비되는 학습 (Contrastive Supervision) 을 통해 HDR 고유의 휘도 및 색역 정보를 분리해냅니다.
  • HAPO 학습 파이프라인:
    1. 모달리티 정렬 (Stage 1): HDR 토큰과 프로젝션 레이어를 정렬합니다.
    2. 전체 RL 미세 조정 (Stage 2): HAPO 목적 함수를 사용하여 전체 코퍼스로 학습합니다.
    3. 보상 신호: 포맷 정확도, 회귀 정확도 (가우시안 가중치 적용), 자기 일관성 (Self-rewarding) 을 결합합니다.

4. 실험 결과 (Results)

• Beyond8Bits 벤치마크 (Table 1):
  • HDR-Q(전체) 는 기존 DL 기반 모델, HDR 전용 모델, 그리고 다른 MLLM 기반 VQA 모델들보다 모든 지표 (SRCC, PLCC, RMSE, KRCC) 에서 최상위 성능을 기록했습니다.
  • 특히 RMSE(오차) 가 5.1594 로, 기존 최상위 모델 (HIDRO-VQA: 6.0875) 보다 정밀도가 크게 향상되었습니다.
• 제너럴라이제이션 (Table 2):
  • 공개 HDR 데이터셋 (LIVE-HDR, SFV+HDR) 에서 제로샷 (Zero-shot) 전이 학습 시에도 높은 상관관계를 유지하며, 다양한 HDR-UGC 도메인에 강건함을 입증했습니다.
• 추론 품질 (Figure 6):
  • 기존 모델 (Ovis 2.5 등) 이 HDR 특유의 왜곡 (예: 하이라이트 클리핑, 색 번짐) 을 간과하고 잘못된 점수를 매기는 반면, HDR-Q 는 HDR 기반의 구체적인 근거 (Rationale) 를 제시하며 정확한 점수를 산출했습니다.
• 성분 분석 (Table 3):
  • HAPO 의 각 구성 요소 (HDR-Enc, Contrastive KL, Entropy Reg, HEW 등) 를 제거했을 때 성능이 저하되어, 각 모듈이 모델의 정확성과 안정성에 필수적임을 확인했습니다.

5. 의의 및 결론 (Significance)

• 데이터의 혁신: 실제 세계 HDR-UGC 의 복잡성을 포괄하는 최초의 대규모 주관적 데이터셋을 공개하여, 향후 HDR 인식 및 평가 연구의 표준 벤치마크를 마련했습니다.
• 모델의 진보: MLLM 을 영상 화질 평가에 적용할 때 발생하는 '시각적 정보 무시' 문제를 해결하고, 강화 학습을 통해 모델이 HDR 물리적 특성 (휘도, 색역) 에 기반한 추론을 하도록 유도한 새로운 패러다임을 제시했습니다.
• 미래 전망: 이 연구는 HDR 콘텐츠의 품질 관리, 스트리밍 최적화, 그리고 생성형 AI 모델의 HDR 출력 품질 평가 등 다양한 분야에 기여할 것으로 기대됩니다.

요약하자면, 이 논문은 Beyond8Bits라는 대규모 데이터셋과 HDR-Q라는 새로운 MLLM 기반 평가 모델을 통해, 기존 SDR 중심의 평가 시스템이 놓치고 있던 HDR-UGC 의 고유한 왜곡과 품질 문제를 해결하고 인간 지각과 일치하는 정밀한 평가를 가능하게 했습니다.