Resumo Técnico: GameScope

Declaração do Problema

A rápida expansão do streaming de jogos eletrônicos criou uma necessidade crítica por modelos robustos de Avaliação de Qualidade de Vídeo (VQA) capazes de operar consistentemente através de diversos codecs e tipos de conteúdo. Embora existam métricas VQA de propósito geral, pesquisas anteriores indicam que o conteúdo de jogos possui características estatísticas distintas do vídeo padrão, tornando as métricas existentes não voltadas para jogos inadequadas. Além disso, os conjuntos de dados específicos para jogos atuais sofrem de limitações significativas: frequentemente carecem de diversidade de codecs (tipicamente restritos a H.264), oferecem variedade limitada de gêneros de jogos, focam exclusivamente em Conteúdo Gerado pelo Usuário (UGC) ou em jogos móveis, ou contêm tamanhos de amostra insuficientes para o treinamento de modelos de aprendizado profundo. Há uma falta de um conjunto de dados abrangente e em grande escala que preencha a lacuna entre UGC e Conteúdo Gerado Profissionalmente (PGC), cobrindo múltiplos codecs modernos e fornecendo atributos perceptivos granulares.

Metodologia

Para abordar essas lacunas, os autores construíram o GameScope, um conjunto de dados de referência multi-atributo e multi-codec, e conduziram uma avaliação subjetiva em grande escala.

1. Construção do Conjunto de Dados:

• Material de Origem: O conjunto de dados compreende 424 clipes de origem imaculados derivados de 74 jogos distintos, cobrindo uma ampla gama de gêneros (Ação, RPG, Esportes, etc.). As fontes são divididas entre UGC (obtidas do YouTube sob Licença Creative Commons, apresentando sobreposições e edições) e PGC (capturadas diretamente via hardware PlayStation 5, representando renderização bruta).
• Codificação: Os clipes de origem foram codificados usando três codecs amplamente utilizados: H.264, H.265 e AV1.
• Escada de Taxa de Bits: Uma escada personalizada de taxa de bits-resolução foi aplicada para garantir níveis de qualidade perceptivamente distintos. Diferentemente das recomendações padrão, taxas de bits específicas foram determinadas manualmente para garantir a separação entre níveis de qualidade em resoluções que variam de 360p a 2160p.
• Escala: O conjunto de dados final contém 4.048 amostras de vídeo.

2. Estudo Subjetivo:

• Plataforma: Um estudo subjetivo online foi conduzido via Amazon Mechanical Turk (AMT).
• Protocolo: Os estímulos foram organizados em lotes contendo uma única sequência de origem e suas variantes codificadas para minimizar o viés de conteúdo. Os participantes foram restritos a formatos de PC/laptop para garantir condições de visualização padronizadas.
• Coleta de Dados: O estudo coletou 150.874 classificações, com uma média de 37 Pontuações de Opinião Média (MOS) por vídeo.
• Atributos: Além da qualidade geral, os participantes avaliaram atributos perceptivos de granularidade grosseira: Clareza (desfoque, artefatos de movimento), Pixelação/Bloqueio e Experiência Imersiva do Jogo.
• Controle de Qualidade: Uma triagem rigorosa foi aplicada, incluindo verificações de consistência intra-avaliador (vídeos repetidos), validação de "vídeo de ouro" contra a verdade fundamental e detecção de comportamentos insinceros (por exemplo, respostas em linha reta). Dados de sujeitos com buffer excessivo ou classificações inconsistentes foram descartados.

3. Benchmarking:
Os autores avaliaram um conjunto de métodos VQA de última geração, incluindo:

• Modelos tradicionais NR-VQA (TLVQM, RAPIQUE, VIDEVAL).
• Modelos específicos para jogos (GAME-VQP, GAMIVAL).
• Modelos baseados em aprendizado profundo (VSFA, FAST-VQA, DOVER).
• Modelos Visão-Linguagem (LLMs) e Modelos Multimodais Grandes (LMMs), especificamente LLaVA-OneVision-1.5-4B e Qwen3-VL-4B, bem como avaliadores baseados em aprendizado por reforço (VisualQuality-R1, VQAThinker).

Contribuições Principais

1. Conjunto de Dados GameScope: Os autores apresentam o maior conjunto de dados de qualidade de vídeo de jogos até a data, com 4.048 amostras com diversidade extensa em gêneros de jogos, resoluções e tipos de conteúdo (tanto UGC quanto PGC).
2. Suporte Multi-Codec: É o primeiro conjunto de dados a cobrir abrangentemente os codecs H.264, H.265 e AV1 dentro de um único contexto de jogos.
3. Atributos Granulares: Diferentemente de conjuntos de dados anteriores focados apenas em MOS escalar, o GameScope inclui atributos de qualidade de granularidade grosseira (clareza, artefatos, imersão), permitindo análise perceptiva multidimensional.
4. Benchmarking Abrangente: O artigo fornece um benchmark rigoroso de algoritmos VQA existentes e introduz a avaliação de Modelos Visão-Linguagem para VQA de jogos.

Resultados

• Dados Subjetivos: A distribuição de MOS coletada está bem distribuída pelo domínio da qualidade, facilitando a avaliação robusta de algoritmos. A análise de divisão de metade usando o modelo SUREAL demonstrou alta consistência (PLCC e SROCC medianos de 0,92).
• Desempenho do Modelo:
  • Entre os métodos VQA tradicionais e baseados em aprendizado profundo, GAMIVAL e VSFA alcançaram forte desempenho (PLCC ~0,85).
  • Modelos Visão-Linguagem mostraram resultados superiores. Especificamente, o Qwen3-VL-4B superou todos os outros benchmarks com um PLCC de 0,910 e SROCC de 0,906 para previsão de MOS.
  • Capacidade Multi-tarefa: O Qwen3-VL-4B e o LLaVA-OneVision-4B demonstraram a capacidade única de prever tanto o MOS geral quanto atributos de qualidade baseados em texto em uma única passagem de inferência. O Qwen3-VL-4B alcançou 98% de precisão na previsão de "Imersão", enquanto o LLaVA-OneVision-4B mostrou desempenho competitivo na previsão de "Artefatos" (54% de precisão).

Significado

O artigo afirma que o GameScope é o primeiro conjunto de dados a abordar abrangentemente a avaliação de qualidade de vídeo de jogos através de múltiplos codecs, tipos de conteúdo (UGC/PGC) e resoluções, incorporando atributos de qualidade. Ao fornecer um recurso em grande escala, diversificado e publicamente disponível, os autores visam permitir o desenvolvimento de algoritmos VQA mais robustos que possam generalizar através da paisagem complexa e variada do streaming de jogos moderno. Os resultados sugerem que os recentes Modelos Visão-Linguagem representam um avanço significativo neste domínio, potencialmente superando métricas VQA especializadas para jogos. O conjunto de dados destina-se a servir como um recurso fundamental para pesquisas futuras em VQA de jogos.