Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality
Diese Arbeit adressiert den Mangel an spezialisierten Ressourcen zur Bewertung der Videoqualität von menschlichen Avataren in VR/AR durch die Einführung der LIVE-Meta Rendered Human Avatar VQA Datenbank, welche 720 verzerrte Videos mit menschlichen Wahrnehmungsurteilen enthält, und nutzt diese, um bestehende sowie neue (HoloQA) Videokvalitäts-Vorhersagemodelle zu evaluieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten eine Welt, in der Sie einem Freund die Hand schütteln können, der sich tatsächlich am anderen Ende des Planeten befindet, oder ein Konzert besuchen, bei dem die Band aus leuchtendem, beweglichem Licht besteht. Dies ist das Versprechen von Virtual Reality (VR) und dem „Metaverse“, einem digitalen Universum, in dem wir über Avatare interagieren – digitale Zwillinge unserer selbst. Aber damit diese Avatare sich echt anfühlen, müssen sie perfekt aussehen. Wenn Ihre digitale Hand flackert oder das Gesicht Ihres Freundes glitcht, wenn er lacht, bricht der Zauber, und das Erlebnis fühlt sich billig oder sogar übel machend an.
Um diese Welten funktionsfähig zu machen, müssen Wissenschaftler und Ingenieure riesige Mengen an 3D-Videodaten durch das Internet pressen, was so ist, als würde man versuchen, eine riesige Wassermelone durch einen Gartenschlauch zu drücken. Sie müssen die Daten komprimieren, was oft „Artefakte“ hervorruft – visuelle Fehler wie Unschärfe, Blockbildung oder Verzögerungen. Die große Frage lautet: Wie schlimm können diese Fehler werden, bevor Menschen sie bemerken und genervt sind? Traditionell haben wir die Videoqualität bewertet, indem wir auf flache Bildschirme geschaut haben, aber das ist so, als würde man eine 3D-Skulptur beurteilen, indem man ein Foto von ihr betrachtet. Es fehlt die Tiefe, die Bewegung und das Gefühl, innerhalb der Szene zu sein. Dieses Paper taucht in dieses fehlende Puzzleteil ein und fragt, wie wir die Qualität dieser digitalen 3D-Menschen messen können, wenn sie durch immersive VR-Headsets betrachtet werden.
Die Forscher hinter dieser Studie, ein Team der University of Texas at Austin und Meta, beschlossen, den ultimativen „Geschmackstest“ für 3D-Human-Avatare zu entwickeln. Sie erstellten eine massive neue Datenbank namens LIVE-Meta Rendered Human Avatar VQA Database. Betrachten Sie dies als eine riesige Bibliothek mit 720 verschiedenen Videoclips, die 36 verschiedene digitale Menschen zeigen. Dies sind keine bloßen statischen Bilder; es sind sich bewegende, atmende Avatare, die in hoher Definition aufgenommen wurden. Um zu testen, wie unsere Gehirne auf schlechte Internetverbindungen reagieren, haben die Experten diese Videos absichtlich auf 20 verschiedene Arten „ruiniert“. Sie simulierten reale Internetprobleme, indem sie die Bildrate senkten (was das Video ruckelig machte), die Farbauflösung verringerten (was das Bild unscharf oder verpixelt erscheinen ließ) und eine „Verzögerung“ hinzufügten (was dazu führte, dass die Bewegungen des Avatars der Realität hinterherhinkten).
Um die echte menschliche Reaktion zu erhalten, ließen sie die Probanden diese Videos nicht einfach auf einem Computermonitor anschauen. Stattdessen steckten sie 78 Freiwillige in Oculus Quest Pro Headsets. Dies sind die Arten von Brillen, die es einem ermöglichen, in alle Richtungen zu schauen, und so eine vollständige 360-Grad-Sicht bieten. Die Freiwilligen betrachteten die fehlerhaften Avatare und bewerteten sie auf einer Skala von „Schlecht“ bis „Exzellent“. Die Forscher nutzten dann eine spezielle mathematische Methode, um all diese Bewertungen in einen einzigen, zuverlässigen Wert für jedes Video umzurechnen, um sicherzustellen, dass die strenge Bewertung einer einzelnen Person die Ergebnisse nicht verfälscht.
Was fanden sie heraus? Die Ergebnisse waren überraschend spezifisch. Die Studie legt nahe, dass für diese 3D-Human-Avatare die Farbauflösung und die Bildrate die entscheidenden Kriterien sind. Wenn das Video unscharf wird oder anfängt zu ruckeln, bemerken Menschen dies sofort und ihr Vergnügen sinkt. Die Studie fand jedoch heraus, dass eine Verzögerung (Lag) tatsächlich weniger kritisch ist, als man vielleicht denken würde. Selbst bei Verzögerungen von bis zu 300 oder 400 Millisekunden schien das menschliche Gehirn den Lag viel besser zu tolerieren als ein unscharfes Bild. Dies ist ein wichtiger Hinweis für Ingenieure: Sie könnten viel Internet-Bandbreite sparen, indem sie etwas geduldiger mit dem Lag sind, solange sie das Bild scharf und flüssig halten.
Das Paper stellte zudem eine Reihe von Computerprogrammen auf die Probe. Diese Programme, sogenannte „Video Quality Assessment“ (VQA)-Modelle, sind darauf ausgelegt, vorherzusagen, wie Menschen ein Video bewerten würden, ohne dass ein Mensch es tatsächlich ansehen muss. Die Forscher testeten viele dieser bestehenden Modelle sowie ein brandneues Modell, das sie selbst entwickelt haben, genannt HoloQA. Die Ergebnisse zeigten, dass einige der altmodischen Modelle zwar die Qualität erraten konnten, das neue HoloQA-Modell jedoch der Star der Show war. Es wurde speziell darauf trainiert, die einzigartigen Besonderheiten menschlicher Körper und Gesichter im 3D-Raum zu verstehen, und es sagte die Meinung von Menschen besser voraus als jedes andere getestete Werkzeug.
Kurz gesagt, dieses Paper reicht uns eine neue, super-detaillierte Karte für die Navigation durch das Metaverse der Zukunft. Es sagt uns: Wenn wir wollen, dass sich unsere digitalen Avatare echt anfühlen, sollten wir daran Priorität setzen, ihre Farben scharf und ihre Bewegungen flüssig zu halten, selbst wenn sie dadurch eine winzig kleine Verzögerung bei der Reaktion in Kauf nehmen müssen. Indem die Autoren ihre Datenbank und ihr neues „HoloQA“-Tool mit der Welt teilen, geben sie anderen Wissenschaftlern die Zutaten an die Hand, um bessere, glattere und immersivere virtuelle Welten für alle zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.