Subjective and Objective Quality Assessment of Rendered Human Avatar Videos in Virtual Reality
本論文は、VR/ARにおけるヒューマンアバターのビデオ品質を評価するための専門的なリソースの不足に対処するため、人間の知覚的判断を含む720本の歪んだビデオを特徴とするLIVE-Meta Rendered Human Avatar VQAデータベースを導入し、これを用いて既存および新規（HoloQA）のビデオ品質予測モデルを評価するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
地球の反対側にいる友人と握手をしたり、光り輝き、動き回るバンドによるコンサートに参加したりできる世界を想像してみてください。これが、バーチャルリアリティ（VR）と「メタバース」が約束する世界です。メタバースとは、私たち自身のアバター（デジタルの双子）を通じて交流するデジタル宇宙のことです。しかし、これらのアバターが「リアル」であるためには、見た目が完璧である必要があります。もしあなたのデジタルの手がちらついたり、友人が笑った時に顔がグリッチ（表示の乱れ）を起こしたりすれば、魔法は解け、その体験は安っぽく、あるいは気分が悪くなるものに感じられてしまいます。
これらの世界を機能させるために、科学者やエンジニアは膨大な量の3Dビデオデータをインターネット経由で送り出さなければなりません。それはまるで、庭のホースの中に巨大なスイカを押し込もうとするようなものです。彼らはデータを圧縮しなければなりませんが、これによってしばしば「アーティファクト（表示の乱れ）」、つまりぼやけ、ブロック状のノイズ、あるいはラグといった視覚的な不具合が生じます。ここで大きな疑問が生じます。人間が気づいて不快感を抱くまでに、これらのグリッチは一体どの程度まで悪化してもよいのでしょうか？ 従来、ビデオの品質は平面のスクリーンを見てテストされてきましたが、それは3Dの彫刻を写真で判断するようなものです。それでは、奥行きや動き、そしてそのシーンの「中にいる」という感覚を見落としてしまいます。本論文はこの欠けているピースに深く切り込み、没入型のVRヘッドセットを通して見たとき、3Dのデジタルな人間たちの品質をどのように測定できるのかを問い直します。
この研究の背後にいる研究者たち（テキサス大学オースティン校とMetaのチーム）は、3Dヒューマン・アバターに対する究極の「味見」を行うことに決めました。彼らは、LIVE-Meta Rendered Human Avatar VQA Databaseと呼ばれる、大規模で新しいデータベースを作成しました。これは、36種類の異なるデジタルヒューマンが登場する720個のビデオクリップからなる、巨大なライブラリのようなものです。これらは単なる静止画ではありません。高精細にキャプチャされた、動き、呼吸するアバターなのです。インターネット接続の状態が悪くなった際に人間の脳がどのように反応するかをテストするため、チームは意図的にこれらのビデオを20通りの方法で「台無し」にしました。フレームレートを下げて（動画をカクカクさせ）、カラー解像度を下げて（画像をぼやけさせたりピクセル化させたり）、さらに「遅延」を加える（アバターの動きを現実から遅らせる）ことで、現実世界のインターネットの問題をシミュレートしたのです。
真の人間による反応を得るために、彼らは単にコンピュータのモニターでこれらのビデオを見せるのではありませんでした。代わりに、78人のボランティアをOculus Quest Proヘッドセットに装着させました。これは、あらゆる方向に視線を動かすことができ、360度の全方位を見渡せるタイプのゴーグルです。ボランティアたちは、グリッチの起きたアバターを視聴し、「悪い」から「素晴らしい」までのスケールで評価を行いました。研究者たちは、特別な数学的手法を用いて、これらの評価を一つの信頼できるスコアへと集約し、一人の厳しい採点が結果を歪めないようにしました。
結果はどうだったのでしょうか？ その結果は驚くほど具体的でした。この研究は、これらの3Dヒューマン・アバターにとって、カラー解像度とフレームレートが決定的な要素であることを示唆しています。映像がぼやけたり、動きがぎこちなくなったりすると、人々は即座に気づき、楽しさが低下します。しかし、研究では遅延（ラグ）は、私たちが考えているほど致命的ではないことも判明しました。たとえ300または400ミリ秒の遅延があっても、人間の脳は、ぼやけた画像に対して感じるよりも、ラグに対してはるかに寛容に反応したのです。これはエンジニアにとって大きなヒントとなります。つまり、映像を鮮明かつスムーズに保つ限り、多少のラグを許容することで、インターネットの帯域幅を大幅に節約できる可能性があるということです。
また、この論文は多くのコンピュータプログラムにもテストを行いました。これらのプログラムは「ビデオ品質評価（VQA）」モデルと呼ばれ、実際に人間がビデオを見る必要なく、品質を予測するように設計されています。研究者たちは、既存の多くのモデルに加え、HoloQAと名付けられた独自の新しいモデルをテストしました。結果として、古いモデルの中には品質を推測できるものもありましたが、新開発のHoloQAモデルが主役となりました。このモデルは、3D空間における人間の体や顔の独特な特徴を理解するように特別に訓練されており、テストされたどのツールよりも正確に人間の意見を予測することができました。
要するに、この論文はメタバースを航海するための、新しく非常に詳細な地図を私たちに手渡してくれます。もしデジタル・アバターをリアルに感じさせたいのであれば、たとえ反応がわずかに遅れたとしても、色の鮮明さと動きの滑らかさを優先すべきであることを教えてくれます。著者たちは、彼らのデータベースと新しい「HoloQA」ツールを世界と共有することで、他の科学者たちが、より良く、よりスムーズで、より没入感のある仮想世界を構築するために必要な材料を提供しているのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。