Technische Samenvatting: GameScope

Probleemstelling

De snelle uitbreiding van videogame-streaming heeft een kritieke behoefte gecreëerd aan robuuste Video Quality Assessment (VQA)-modellen die consistent kunnen functioneren over diverse codecs en contenttypes. Hoewel er algemene VQA-metrics bestaan, wijst eerder onderzoek erop dat gaming-content statistische kenmerken bezit die verschillen van standaardvideo, waardoor bestaande niet-gaming-metrics ongeschikt zijn. Bovendien lijden huidige gaming-specifieke datasets aan aanzienlijke beperkingen: ze missen vaak codec-diversiteit (meestal beperkt tot H.264), bieden beperkte variatie in gamegenres, richten zich uitsluitend op ofwel User-Generated Content (UGC) of mobiel gamen, of bevatten onvoldoende steekproefgroottes voor het trainen van deep learning-modellen. Er ontbreekt een uitgebreide, grootschalige dataset die de kloof overbrugt tussen UGC en Professionally-Generated Content (PGC), terwijl deze meerdere moderne codecs bestrijkt en granulaire perceptuele attributen biedt.

Methodologie

Om deze hiaten aan te pakken, hebben de auteurs GameScope geconstrueerd, een multi-attribuut, multi-codec benchmarkdataset, en een grootschalige subjectieve evaluatie uitgevoerd.

1. Dataset Constructie:

• Bronmateriaal: De dataset bestaat uit 424 ongerepte bronclips afkomstig van 74 verschillende games, die een breed scala aan genres bestrijken (Actie, RPG, Sport, enz.). De bronnen zijn verdeeld tussen UGC (afkomstig van YouTube onder Creative Commons, met overlays en bewerkingen) en PGC (direct vastgelegd via PlayStation 5-hardware, wat de ruwe rendering vertegenwoordigt).
• Codering: De bronclips werden gecodeerd met drie veelgebruikte codecs: H.264, H.265 en AV1.
• Bitrate-Ladder: Een aangepaste bitrate-resolutieladder werd toegepast om perceptueel onderscheidende kwaliteitsniveaus te garanderen. In tegenstelling tot standaardaanbevelingen werden specifieke bitrates handmatig bepaald om scheiding tussen kwaliteitsniveaus te waarborgen over resoluties variërend van 360p tot 2160p.
• Schaal: De uiteindelijke dataset bevat 4.048 videosamples.

2. Subjectieve Studie:

• Platform: Een online subjectieve studie werd uitgevoerd via Amazon Mechanical Turk (AMT).
• Protocol: Stimuli waren georganiseerd in batches die een enkele bronsequentie en zijn gecodeerde varianten bevatten om contentbias te minimaliseren. Deelnemers waren beperkt tot PC/laptop-formfactoren om gestandaardiseerde kijkomstandigheden te waarborgen.
• Datacollectie: De studie verzamelde 150.874 beoordelingen, gemiddeld 37 Mean Opinion Scores (MOS) per video.
• Attributen: Naast algehele kwaliteit evalueerden deelnemers grofkorrelige perceptuele attributen: Duidelijkheid (onscherpte, bewegingsartefacten), Pixelatie/Blokvorming en Immersieve Game-ervaring.
• Kwaliteitscontrole: Er werd strenge screening toegepast, waaronder intra-rater consistentiechecks (herhaalde video's), "golden video"-validatie tegen de grondwaarheid, en detectie van onoprechte gedragingen (bijvoorbeeld het rechtstreeks doorlopen van vragen). Data van proefpersonen met excessieve buffering of inconsistente beoordelingen werden verworpen.

3. Benchmarking:
De auteurs evalueerden een suite van state-of-the-art VQA-methoden, waaronder:

• Traditionele NR-VQA-modellen (TLVQM, RAPIQUE, VIDEVAL).
• Gaming-specifieke modellen (GAME-VQP, GAMIVAL).
• Deep learning-gebaseerde modellen (VSFA, FAST-VQA, DOVER).
• Vision-Language Modellen (LLMs) en Large Multimodal Modellen (LMMs), specifiek LLaVA-OneVision-1.5-4B en Qwen3-VL-4B, evenals reinforcement learning-gebaseerde assessors (VisualQuality-R1, VQAThinker).

Belangrijkste Bijdragen

1. GameScope Dataset: De auteurs presenteren de grootste gaming-videokwaliteitsdataset tot nu toe, met 4.048 samples en uitgebreide diversiteit in gamegenres, resoluties en contenttypes (zowel UGC als PGC).
2. Multi-Codec Ondersteuning: Het is de eerste dataset die H.264, H.265 en AV1 codecs binnen één gaming-context uitgebreid bestrijkt.
3. Granulaire Attributen: In tegenstelling tot eerdere datasets die zich uitsluitend richten op een scalair MOS, omvat GameScope grofkorrelige kwaliteitsattributen (duidelijkheid, artefacten, immersie), wat multidimensionale perceptuele analyse mogelijk maakt.
4. Uitgebreide Benchmarking: Het artikel biedt een rigoureuze benchmark van bestaande VQA-algoritmen en introduceert de evaluatie van Vision-Language Modellen voor gaming-VQA.

Resultaten

• Subjectieve Data: De verzamelde MOS-verdeling is goed verspreid over het kwaliteitsdomein, wat robuuste algoritme-evaluatie faciliteert. Split-half analyse met het SUREAL-model toonde hoge consistentie aan (mediaan PLCC en SROCC van 0,92).
• Modelprestaties:
  • Onder traditionele en deep learning-gebaseerde VQA-methoden behaalden GAMIVAL en VSFA sterke prestaties (PLCC ~0,85).
  • Vision-Language Modellen toonden superieure resultaten. Specifiek presteerde Qwen3-VL-4B beter dan alle andere benchmarks met een PLCC van 0,910 en SROCC van 0,906 voor MOS-predictie.
  • Multi-task Capaciteit: Qwen3-VL-4B en LLaVA-OneVision-4B demonstreerden het unieke vermogen om zowel algehele MOS als tekstgebaseerde kwaliteitsattributen te voorspellen in één inferentiepass. Qwen3-VL-4B behaalde 98% nauwkeurigheid bij het voorspellen van "Immersie", terwijl LLaVA-OneVision-4B concurrerende prestaties liet zien bij het voorspellen van "Artefacten" (54% nauwkeurigheid).

Betekenis

Het artikel beweert dat GameScope de eerste dataset is die gaming-videokwaliteitsbeoordeling uitgebreid aanpakt over meerdere codecs, contenttypes (UGC/PGC) en resoluties, terwijl het kwaliteitsattributen integreert. Door een grootschalige, diverse en publiek beschikbare bron te bieden, beogen de auteurs de ontwikkeling van robuustere VQA-algoritmen mogelijk te maken die kunnen generaliseren over het complexe en gevarieerde landschap van moderne game-streaming. De resultaten suggereren dat recente Vision-Language Modellen een aanzienlijke vooruitgang vertegenwoordigen in dit domein, en mogelijk gespecialiseerde gaming-VQA-metrics overtreffen. De dataset is bedoeld als fundamentele bron voor toekomstig onderzoek in gaming-VQA.