Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality
本文通过引入包含 720 个带有真人感知判断的失真视频的 LIVE-Meta 渲染人类化身 VQA 数据库，解决了 VR/AR 中缺乏用于评估人类化身视频质量的专业资源的问题，并利用该数据库对现有及新提出的（HoloQA）视频质量预测模型进行了评估。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你走进一个可以与远在地球另一端的友人大手握手的世界，或者参加一场由发光的、移动的光影组成的乐队演出的音乐会。这就是虚拟现实（VR）和“元宇宙”所承诺的世界——一个我们通过化身（即我们的数字孪生）进行交互的数字宇宙。但为了让这些化身看起来真实，它们必须看起来完美无瑕。如果你的数字手部在闪烁，或者你朋友在大笑时脸部出现故障，这种魔力就会破灭，体验感会变得廉价甚至让人感到恶心。
为了让这些世界运转起来，科学家和工程师必须通过互联网挤压海量的3D视频数据，这就像试图把一个巨大的西瓜通过花园里的水管挤过去。他们必须对数据进行压缩，但这往往会引入“伪影”——即模糊、块状感或延迟等视觉故障。核心问题在于：这些故障到底要糟糕到什么程度，人类才会察觉并感到烦躁？传统上，我们通过观察平面屏幕来测试视频质量，但这就像是通过看一张照片来评价一件3D雕塑。它忽略了深度、运动以及置身于场景之中的感觉。这篇论文深入探讨了这一缺失的部分，探讨了我们如何衡量在沉浸式VR头显中观看这些3D数字人的质量。
这项研究背后的研究人员——来自德克萨斯大学奥斯汀分校和Meta的一个团队——决定为3D人类化身打造一次终极的“味觉测试”。他们创建了一个庞大的新数据库，名为 LIVE-Meta Rendered Human Avatar VQA Database。你可以把它想象成一个包含720个不同视频片段、涵盖36个不同数字人类的巨大图书馆。这些不仅仅是静态图片；它们是高清捕捉到的、正在移动和呼吸的化身。为了测试人类大脑对糟糕网络连接的反应，团队故意以20种不同的方式“破坏”了这些视频。他们模拟了现实世界的网络问题，例如降低帧率（使视频看起来卡顿）、降低色彩分辨率（使图像看起来模糊或像素化）以及增加“延迟”（使化身的动作滞后于现实）。
为了获得真实的真人反应，他们没有仅仅让人们在电脑显示器上观看这些视频。相反，他们让78名志愿者戴上了 Oculus Quest Pro 头显。这些就是那种能让你环顾四周、提供全方位360度视野的眼镜。志愿者们观看这些带有故障的化身，并根据从“差”到“优秀”的等级进行评分。研究人员随后使用一种特殊的数学方法将这些评分压缩成一个单一且可靠的分数，以确保一个人的严苛评分不会扭曲整体结果。
他们发现了什么？结果非常具体。研究表明，对于这些3D人类化身而言，色彩分辨率和帧率是关键的决定因素。如果视频变得模糊或开始卡顿，人们会立即察觉，且愉悦感会随之下降。然而，研究发现延迟（滞后）其实并没有我们想象中那么关键。即使延迟达到300或400毫秒，人类的大脑似乎比忍受模糊图像更能容忍这种滞后。这对工程师来说是一个巨大的启示：他们可以通过对延迟表现得更有耐心来节省大量的互联网带宽，只要保持图像清晰平滑即可。
该论文还对许多计算机程序进行了测试。这些被称为“视频质量评估”（VQA）的模型旨在预测人类会对视频给出怎样的评价，而无需人类实际观看。研究人员测试了许多现有的模型，以及他们设计的一个全新的模型——HoloQA。结果显示，虽然一些老牌模型可以猜测质量，但全新的 HoloQA 模型才是表现最出色的。它是专门针对理解3D空间中人体和面部的独特特征而训练的，并且比他们测试过的任何其他工具都能更好地预测人类的观点。
简而言之，这篇论文为我们导航通往元宇宙的未来提供了一张全新的、极其详细的地图。它告诉我们，如果我们希望数字化身感觉真实，我们就应该优先保持色彩锐利和动作流畅，即使这意味着它们的反应可能会稍微慢一点。通过向世界分享他们的数据库和新的“HoloQA”工具，作者们正在为其他科学家提供构建更好、更流畅、更具沉浸感虚拟世界的必要原料。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。