GAMIVAL: Video Quality Prediction on Mobile Cloud Gaming Content
Dit artikel introduceert GAMIVAL, een nieuw no-reference videokwaliteitsbeoordelingsmodel dat ruimtelijke en temporele gaming-statistieken, neurale ruismodellering en diepe semantische kenmerken combineert om de kwaliteit van mobiele cloudgaming-content nauwkeurig te voorspellen, waarbij superieure prestaties worden behaald op de nieuwe LIVE-Meta MCG-database.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een videogame streamt vanuit de cloud naar je telefoon. De game draait op een supercomputer ver weg en stuurt een videobeeld van de gameplay naar jouw scherm. Maar soms is de verbinding wankel, of is het internet traag, waardoor de video wazig, onscherp of haperend wordt. Dit is een probleem voor de mensen die de servers beheren: zij moeten precies weten hoe slecht de video eruitziet zonder dat ze elke seconde zelf hoeven te bekijken. Dit vakgebied wordt Video Quality Assessment genoemd. Het is alsoal een robot die naar een plaatje kan kijken en kan zeggen: "Dit ziet er geweldig uit," of "Dit ziet er verschrikkelijk uit," zonder dat een mens het hem hoeft te vertellen.
Meestal worden deze robots getraind op video's van de echte wereld—zoals films, natuurdocumentaires of mensen die aan het praten zijn. Ze leren wat een "goede" boom of een "goed" gezicht is. Maar dit is het lastige deel: videogames zijn anders. Ze worden door computers gemaakt, niet door camera's. Ze hebben vaak enorme, gladde, lege luchten, scherpe randen en kleuren die niet in de natuur voorkomen. Een robot die getraind is op video's uit de echte wereld, raakt vaak in de war als hij een videogame ziet, een beetje zoals een hond die getraind is om een bal te halen, maar in de war raakt wanneer je een frisbee gooit. De onderzoekers in dit artikel wilden een robot bouwen die de unieke "taal" van videogames begrijpt, zodat hij kan zien of een game soepel streamt of dat het beeld hapert.
Het team, onder leiding van onderzoekers van de University of Texas at Austin en Meta, heeft een nieuwe tool ontwikkeld genaamd GAMIVAL (Gaming Video Quality Evaluator). Denk aan GAMIVAL als een super slimme detective die op drie verschillende manieren een mysterie over videokwaliteit oplost.
Ten eerste kijkt de detective naar de spatiële details (de stilstaande beelden). Video's uit de echte wereld hebben veel kleine, willekeurige texturen, zoals de nerf in een houten tafel of de pluisjes op een blad. Videogames hebben echter vaak grote, gladde vlakken. Wanneer GAMIVAL deze gladde gebieden probeert te analyseren, wordt het soms "nerveus" en ziet het patronen die er eigenlijk niet zijn. Om dit op te lossen, voegden de onderzoekers een speciale truc toe: ze strooiden een klein beetje "neurale ruis" (zoals een beetje statische ruis) over het beeld voordat het werd geanalyseerd. Dit is vergelijkbaar met hoe een fotograaf een beetje korrel aan een foto toevoegt om het er natuurlijker uit te laten zien. Deze kleine hoeveelheid ruis helpt de detective de ware structuur van de game-graphics duidelijker te zien, waardoor die verwarrende gladde plekken veranderen in iets dat de computer kan begrijpen.
Ten tweede kijkt de detective naar de temporele details (hoe de video zich in de loop van de tijd beweegt). Games bewegen snel, en de manier waarop ze van de ene naar de volgende frame veranderen, is anders dan een camera die een auto ziet rijden over een straat. GAMIVAL gebruikt hier ook een vergelijkbare "ruis"-truc, waarbij een beetje statische ruis aan de bewegingsgegevens wordt toegevoegd om de patronen van beweging makkelijker leesbaar te maken.
Ten derde gebruikt de detective een deep learning brein. Dit is een vorm van kunstmatige intelligentie die heeft geleerd om de "betekenis" van een scène te herkennen. Terwijl de andere twee delen naar de wiskunde van de pixels kijken, kijkt dit deel naar de game zelf. Het weet dat een rennend personage anders is dan een statische achtergrond. De onderzoekers hebben dit brein niet vanaf nul getraind, omdat er niet genoeg video-game samples zijn om dat te doen. In plaats daarvan namen ze een brein dat al goed was in het beoordelen van videokwaliteit en gaven het een kleine "fijnafstemming" specifiek voor games, waarbij het werd geleerd om op de zaken te letten die het belangrijkst zijn tijdens een gamesessie.
Het team testte GAMIVAL op een nieuwe database genaamd LIVE-Meta MCG, die 600 verschillende gaming-video's bevat, opgenomen met een mobiele telefoon, variërend van lage resolutie (360p) tot hoge definitie (720p), met verschillende internetsnelheden. Ze vergeleken GAMIVAL met veel andere bestaande tools voor kwaliteitscontrole. De resultaten waren indrukwekkend: GAMIVAL was het meest accuraat in het voorspellen van hoe mensen de videokwaliteit zouden beoordelen. Het scoorde hoger dan alle andere modellen, inclusief enkele die erg populair zijn voor algemene video's.
Een van de coolste dingen aan GAMIVAL is dat het niet alleen beter werd, maar ook snel bleef. Sommige van de andere hoogpresterende modellen waren erg traag en vereisten zware computers. GAMIVAL slaagde erin om de beste te zijn in het voorspellen van kwaliteit, terwijl het nog steeds efficiënt genoeg was om op standaard apparatuur te draaien. De onderzoekers ontdekten dat de "neurale ruis"-truc een groot deel van het succes was; zonder deze truc had het model moeite met de gladde, door de computer gegenereerde graphics van games.
Kortom, dit artikel laat zien dat je om de kwaliteit van videogames te beoordelen, niet alleen de tools kunt gebruiken die je voor films gebruikt. Je hebt een gespecialiseerde aanpak nodig die de unieke, gladde en snel bewegende aard van computergraphics begrijpt. Door traditionele wiskundige trucs te mengen met een beetje kunstmatige ruis en een slim AI-brein, kan GAMIVAL precies vertellen hoe goed een game eruitziet, zelfs wanneer het internet niet meewerkt. Dit helpt gamebedrijven om hun streams vloeiend te houden en spelers tevreden te houden, zodat wanneer je midden in een gevecht zit, alleen de vijand lagt en niet jouw video.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.