기술 요약: GameScope

문제 제기

비디오 게임 스트리밍의 급속한 확장은 다양한 코덱과 콘텐츠 유형에서 일관되게 작동할 수 있는 견고한 비디오 품질 평가 (VQA) 모델에 대한 시급한 필요성을 창출했습니다. 범용 VQA 지수들은 존재하지만, 이전 연구에 따르면 게임 콘텐츠는 표준 비디오와 구별되는 통계적 특성을 지니고 있어 기존 비게임용 지수들은 적합하지 않습니다. 또한, 현재 게임 전용 데이터셋은 다음과 같은 중대한 한계를 겪고 있습니다: 코덱 다양성 부족 (일반적으로 H.264 로 제한됨), 게임 장르 다양성 제한, 사용자 생성 콘텐츠 (UGC) 또는 모바일 게임 중 하나에만 집중, 또는 딥러닝 모델 훈련을 위한 불충분한 샘플 크기. UGC 와 전문가 생성 콘텐츠 (PGC) 간의 간극을 메우면서 여러 현대적 코덱을 포괄하고 세분화된 지각적 속성을 제공하는 포괄적이고 대규모의 데이터셋이 부재합니다.

방법론

이러한 격차를 해소하기 위해 저자들은 GameScope라는 다속성, 다코덱 벤치마크 데이터셋을 구축하고 대규모 주관적 평가를 수행했습니다.

1. 데이터셋 구축:

• 소스 자료: 데이터셋은 74 개의 서로 다른 게임에서 유래된 424 개의 원본 클립으로 구성되며, 다양한 장르 (액션, RPG, 스포츠 등) 를 포괄합니다. 소스는 유튜브의 크리에이티브 커먼즈 라이선스로 제공되어 오버레이와 편집이 포함된 UGC 와 플레이스테이션 5 하드웨어를 통해 직접 캡처된 원시 렌더링을 나타내는 PGC 로 나뉩니다.
• 인코딩: 소스 클립은 널리 사용되는 세 가지 코덱인 H.264, H.265, AV1로 인코딩되었습니다.
• 비트레이트 사다리: 지각적으로 구별되는 품질 수준을 보장하기 위해 맞춤형 비트레이트 - 해상도 사다리가 적용되었습니다. 표준 권장사항과 달리, 360p 에서 2160p 까지 다양한 해상도에서 품질 계층 간의 분리를 보장하기 위해 특정 비트레이트가 수동으로 결정되었습니다.
• 규모: 최종 데이터셋에는 4,048 개의 비디오 샘플이 포함되어 있습니다.

2. 주관적 연구:

• 플랫폼: 아마존 메커니컬 터크 (AMT) 를 통해 온라인 주관적 연구가 수행되었습니다.
• 프로토콜: 콘텐츠 편향을 최소화하기 위해 자극 자료는 단일 소스 시퀀스와 그 인코딩 변형으로 구성된 배치로 구성되었습니다. 참가자는 표준화된 시청 환경을 보장하기 위해 PC/랩톱 폼 팩터로 제한되었습니다.
• 데이터 수집: 이 연구는 150,874 개의 평가를 수집했으며, 비디오당 평균 **37 개의 평균 의견 점수 (MOS)**를 기록했습니다.
• 속성: 전체 품질 외에도 참가자들은 거시적 지각 속성을 평가했습니다: 명확성 (흐림, 모션 아티팩트), 픽셀화/블록성, 그리고 몰입형 게임 경험.
• 품질 관리: 엄격한 선별이 적용되었으며, 여기에는 평가자 내 일관성 검사 (반복 비디오), 기준 진실에 대한 '골든 비디오' 검증, 그리고 부자연스러운 행동 (예: 직선 응답) 탐지가 포함되었습니다. 과도한 버퍼링이나 일관성 없는 평가를 보인 피험자의 데이터는 폐기되었습니다.

3. 벤치마킹:
저자들은 다음과 같은 최신 VQA 방법론 세트를 평가했습니다:

• 전통적인 NR-VQA 모델 (TLVQM, RAPIQUE, VIDEVAL).
• 게임 전용 모델 (GAME-VQP, GAMIVAL).
• 딥러닝 기반 모델 (VSFA, FAST-VQA, DOVER).
• 비전 - 언어 모델 (LLMs) 및 대규모 멀티모달 모델 (LMMs), 구체적으로 LLaVA-OneVision-1.5-4B와 Qwen3-VL-4B, 그리고 강화학습 기반 평가자 (VisualQuality-R1, VQAThinker).

주요 기여

1. GameScope 데이터셋: 저자들은 게임 장르, 해상도, 콘텐츠 유형 (UGC 및 PGC 모두) 에서 광범위한 다양성을 가진 4,048 개의 샘플을 포함하는 현재까지 가장 큰 게임 비디오 품질 데이터셋을 제시합니다.
2. 다코덱 지원: 단일 게임 컨텍스트 내에서 H.264, H.265, AV1 코덱을 포괄적으로 다루는 최초의 데이터셋입니다.
3. 세분화된 속성: 스칼라 MOS 만에 초점을 맞춘 이전 데이터셋과 달리, GameScope 는 거시적 품질 속성 (명확성, 아티팩트, 몰입감) 을 포함하여 다차원적 지각 분석을 가능하게 합니다.
4. 포괄적 벤치마킹: 이 논문은 기존 VQA 알고리즘에 대한 엄격한 벤치마크를 제공하며, 게임 VQA 를 위한 비전 - 언어 모델의 평가를 도입합니다.

결과

• 주관적 데이터: 수집된 MOS 분포는 품질 영역 전반에 걸쳐 잘 분포되어 있어 견고한 알고리즘 평가를 용이하게 합니다. SUREAL 모델을 사용한 반분 분석은 높은 일관성 (중앙값 PLCC 및 SROCC 0.92) 을 보여주었습니다.
• 모델 성능:
  • 전통적 및 딥러닝 기반 VQA 방법 중 GAMIVAL과 VSFA가 강력한 성능 (PLCC 약 0.85) 을 달성했습니다.
  • 비전 - 언어 모델은 우수한 결과를 보여주었습니다. 구체적으로 Qwen3-VL-4B는 MOS 예측을 위해 PLCC 0.910과 SROCC 0.906으로 모든 다른 벤치마크를 능가했습니다.
  • 멀티태스킹 능력: Qwen3-VL-4B 와 LLaVA-OneVision-4B 는 단일 추론 패스에서 전체 MOS 와 텍스트 기반 품질 속성을 모두 예측할 수 있는 고유한 능력을 보여주었습니다. Qwen3-VL-4B 는 '몰입감' 예측에서 98% 정확도를 달성했으며, LLaVA-OneVision-4B 는 '아티팩트' 예측에서 경쟁력 있는 성능 (54% 정확도) 을 보였습니다.

의의

이 논문은 GameScope 가 여러 코덱, 콘텐츠 유형 (UGC/PGC), 해상도에 걸쳐 게임 비디오 품질 평가를 포괄적으로 다루고 품질 속성을 통합한 최초의 데이터셋이라고 주장합니다. 대규모, 다양하며 공개적으로 이용 가능한 자원을 제공함으로써 저자들은 현대 게임 스트리밍의 복잡하고 다양한 환경 전반에 걸쳐 일반화될 수 있는 더 견고한 VQA 알고리즘 개발을 가능하게 하려는 목표를 가지고 있습니다. 결과는 최근의 비전 - 언어 모델이 이 분야에서 중요한 진전을 나타내며, 전문화된 게임 VQA 지수들을 능가할 가능성을 시사합니다. 이 데이터셋은 향후 게임 VQA 연구의 기초 자원으로 활용되도록 의도되었습니다.