Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality
Dit artikel behandelt het gebrek aan gespecialiseerde middelen voor het beoordelen van de kwaliteit van menselijke avatarvideo's in VR/AR door de introductie van de LIVE-Meta Rendered Human Avatar VQA Database, die 720 vervormde video's met menselijke perceptuele oordelen bevat, en gebruikt deze om bestaande en nieuwe (HoloQA) video kwaliteitsvoorspellingsmodellen te evalueren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je een hand kunt schudden met een vriend die zich eigenlijk aan de andere kant van de planeet bevindt, of een concert kunt bijwonen waarbij de band bestaat uit gloeiend, bewegend licht. Dit is de belofte van Virtual Reality (VR) en het "Metaverse", een digitale wereld waarin we interageren via avatars—digitale tweelingen van onszelf. Maar om deze avatars echt te laten voelen, moeten ze er perfect uitzien. Als je digitale hand flikkert, of het gezicht van je vriend glitcht als hij lacht, verbreekt de magie en voelt de ervaring goedkoop of zelfs misselijkmakend aan.
Om deze werelden te laten werken, moeten wetenschappers en ingenieurs enorme hoeveelheden 3D-videodata door het internet persen, wat lijkt op het proberen te duwen van een reusige watermeloen door een tuinslang. Ze moeten de data comprimeren, wat vaak "artefacten" introduceert—visuele glitches zoals wazigheid, blokkerigheid of vertraging. De grote vraag is: hoe erg kunnen deze glitches worden voordat mensen het merken en er geïrriteerd door raken? Traditioneel hebben we de videokwaliteit getest door naar platte schermen te kijken, maar dat is alsof je een 3D-beeldhouwwerk beoordeelt door naar een foto ervan te kijken. Het mist de diepte, de beweging en het gevoel van het binnenin de scène zijn. Dit artikel duikt in dat ontbrekende stuk, met de vraag hoe we de kwaliteit van deze 3D-digitale mensen kunnen meten wanneer ze worden bekeken via immersieve VR-headsets.
De onderzoekers achter deze studie, een team van de University of Texas at Austin en Meta, besloten de ultieme "smaaktest" voor 3D-menselijke avatars te bouwen. Ze creëerden een enorme nieuwe database genaamd de LIVE-Meta Rendered Human Avatar VQA Database. Denk aan dit als een gigantische bibliotheek van 720 verschillende videoclips met 36 verschillende digitale mensen. Dit zijn niet alleen statische plaatjes; het zijn bewegende, ademende avatars die in hoge definitie zijn vastgelegd. Om te testen hoe onze hersenen reageren op slechte internetverbindingen, hebben de onderzoekers deze video's op 20 verschillende manieren doelbewust "verpest". Ze simuleerden realistische internetproblemen door de framerate te verlagen (waardoor de video schokkerig wordt), de kleurresolutie te verlagen (waardoor het beeld wazig of gepixelde wordt) en "vertraging" toe te voegen (waardoor de bewegingen van de avatar achterlopen op de realiteit).
Om de echte menselijke reactie te krijgen, vroegen ze mensen niet alleen om deze video's op een computermonitor te bekijken. In plaats daarvan plaatsten ze 78 vrijwilligers in Oculus Quest Pro headsets. Dit zijn het soort brillen waarmee je in alle richtingen kunt kijken, wat een volledig 360-graden zicht geeft. De vrijwilligers bekeken de glitchy avatars en beoordeelden deze op een schaal van "Slecht" tot "Uitstekend". De onderzoekers gebruikten vervolgens een speciale wiskundige methode om al deze beoordelingen samen te vatten in één enkele, betrouwbare score voor elke video, om ervoor te zorgen dat de strenge beoordeling van één persoon de resultaten niet zou verkenen.
Wat kwamen ze tegen? De resultaten waren verrassend specifelijk. De studie suggereert dat voor deze 3D-menselijke avatars kleurresolutie en framerate de grote struikelblokken zijn. Als de video wazig wordt of begint te schokken, merken mensen dit onmiddellijk op en daalt hun plezier. De studie vond echter dat vertraging (lag) eigenlijk minder kritiek is dan we misschien zouden denken. Zelfs met vertragingen van 300 of 400 milliseconden leken de menselijke hersenen de vertraging veel beter te tolereren dan een wazig beeld. Dit is een enorme hint voor ingenieurs: ze kunnen mogelijk veel internetbandbreedte besparen door een beetje geduldiger te zijn met lag, zolang ze het beeld maar scherp en vloeiend houden.
Het artikel testte ook een heleboel computerprogramma's. Deze programma's, genaand "Video Quality Assessment" (VQA) modellen, zijn ontworpen om de kwaliteit van een video te voorspellen zonder dat er een mens echt naar hoeft te kijken. De onderzoekers testten veel van deze bestaande modellen, plus een gloednieuw model dat zij zelf hadden ontworpen genaamd HoloQA. De resultaten lieten zien dat hoewel sommige ouderwetse modellen de kwaliteit konden raden, het nieuwe HoloQA-model de ster van de show was. Het was specifiek getraind om de unieke eigenaardigheden van menselijke lichamen en gezichten in de 3D-ruimte te begrijpen, en het voorspelde menselijke meningen beter dan enig ander instrument dat zij hadden getest.
Kortom, dit artikel overhandigt ons een nieuwe, supergedetailleerde kaart voor het navigeren door de toekomst van het Metaverse. Het vertelt ons dat als we willen dat onze digitale avatars echt aanvoelen, we prioriteit moeten geven aan het scherp houden van hun kleuren en het vloeiend maken van hun bewegingen, zelfs als dat betekent dat ze een klein beetje traag reageren. Door hun database en hun nieuwe "HoloQA"-tool met de wereld te delen, geven de auteurs andere wetenschappers de ingrediënten die ze nodig hebben om betere, soepelere en meer immersieve virtuele werelden voor iedereen te bouwen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.