Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality
Cet article traite du manque de ressources spécialisées pour évaluer la qualité des vidéos d'avatars humains en VR/AR en introduisant la base de données LIVE-Meta Rendered Human Avatar VQA, qui présente 720 vidéos déformées avec des jugements perceptuels humains, et l'utilise pour évaluer les modèles de prédiction de la qualité vidéo existants et nouveaux (HoloQA).
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez-vous entrant dans un monde où vous pouvez serrer la main d'un ami qui se trouve en réalité à l'autre bout de la planète, ou assister à un concert où le groupe est composé de lumière mouvante et brillante. C'est la promisme de la Réalité Virtuelle (RV) et du « Metaverse », un univers numérique où nous interagissons via des avatars — des jumeaux numériques de nous-mêmes. Mais pour que ces avatars paraissent réels, ils doivent être parfaits. Si votre main numérique scintille, ou si le visage de votre ami bugue lorsqu'il rit, la magie s'rompt et l'expérience semble superficielle, voire écœurante.
Pour faire fonctionner ces mondes, les scientifiques et les ingénieurs doivent faire passer d'énormes quantités de données vidéo 3D par Internet, ce qui revient à essayer de faire passer une énorme pastèque à travers un tuyau d'arrosage. Ils doivent compresser les données, ce qui introduit souvent des « artefacts » — des bugs visuels comme du flou, de la pixellisation ou des saccades. La grande question est : à quel point ces bugs peuvent-ils s'aggraver avant que les humains ne les remarquent et ne s'en agacent ? Traditionnellement, nous avons testé la qualité vidéo en regardant des écrans plats, mais cela revient à juger une sculpture 3D en regardant une photographie d'elle. Cela occulte la profondeur, le mouvement et la sensation d'être à l'intérieur de la scène. Cet article plonge dans cette pièce manquante, en demandant comment nous pouvons mesurer la qualité de ces êtres numériques 3D lorsqu'ils sont visionnés à travers des casques de RV immersifs.
Les chercheurs derrière cette étude, une équipe de l'Université du Texas à Austin et de Meta, ont décidé de construire le « test de dégustation » ultime pour les avatars humains 3D. Ils ont créé une nouvelle base de données massive appelée LIVE-Meta Rendered Human Avatar VQA Database. Voyez cela comme une immense bibliothèque de 720 clips vidéo présentant 36 humains numériques différents. Ce ne sont pas de simples images statiques ; ce sont des avatars en mouvement, qui respirent, capturés en haute définition. Pour tester la réaction de notre cerveau face à de mauvaises connexions Internet, l'équipe a délibérément « gâché » ces vidéos de 20 manières différentes. Ils ont simulé des problèmes Internet réels en ralentissant la fréquence d'images (rendant la vidéo saccadée), en abaissant la résolution des couleurs (rendant l'image floue ou pixélisée) et en ajoutant du « délai » (faisant en sorte que les mouvements de l'avatar soient en retard sur la réalité).
Pour obtenir la véritable réaction humaine, ils n'ont pas simplement demandé aux gens de regarder ces vidéos sur un écran d'ordinateur. Au lieu de cela, ils ont équipé 78 volontaires de casques Oculus Quest Pro. Ce sont le genre de lunettes qui permettent de regarder dans toutes les directions, offrant une vue complète à 360 degrés. Les volontaires ont observé les avatars bugués et les ont évalués sur une échelle allant de « Mauvais » à « Excellent ». Les chercheurs ont ensuite utilisé une méthode mathématique spéciale pour condenser toutes ces évaluations en un score unique et fiable pour chaque vidéo, garantissant qu'une notation sévère d'une personne ne fausse pas les résultats.
Qu'ont-ils découvert ? Les résultats étaient étonnamment précis. L'étude suggère que pour ces avatars humains 3D, la résolution des couleurs et la fréquence d'images sont les points critiques. Si la vidéo devient floue ou commence à saccader, les gens le remarquent immédiatement et leur plaisir chute. Cependant, l'étude a trouvé que le délai (lag) est en fait moins critique que nous le pensions. Même avec des délais allant jusqu'à 300 ou 400 millisecondes, le cerveau humain semblait beaucoup mieux tolérer le décalage qu'une image floue. C'est un indice majeur pour les ingénieurs : ils pourraient économiser beaucoup de bande passante Internet en étant un peu plus patients avec le délai, tant qu'ils maintiennent une image nette et fluide.
L'article a également mis à l'épreuve de nombreux programmes informatiques. Ces programmes, appelés modèles d'évaluation de la qualité vidéo (VQA), sont conçus pour prédire comment les humains évalueront une vidéo sans avoir besoin qu'un humain la regarde réellement. Les chercheurs ont testé de nombreux modèles existants, ainsi qu'un tout nouveau modèle qu'ils ont conçu, appelé HoloQA. Les résultats ont montré que si certains modèles de la vieille école pouvaient deviner la qualité, le nouveau modèle HoloQA était la star de la démonstration. Il a été spécifiquement entraîné pour comprendre les particularités uniques des corps et des visages humains dans l'espace 3D, et il a prédit les opinions humaines mieux que n'importe quel autre outil testé.
En résumé, cet article nous remet une carte super détaillée pour naviguer dans le futur du Metaverse. Il nous dit que si nous voulons que nos avatars numériques paraissent réels, nous devons donner la priorité au maintien de couleurs nettes et de mouvements fluides, même si cela signifie qu'ils sont un peu plus lents à réagir. En partageant leur base de données et leur nouvel outil « HoloQA » avec le monde, les auteurs donnent aux autres scientifiques les ingrédients nécessaires pour construire des mondes virtuels meilleurs, plus fluides et plus immersifs pour tous.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.