Frequency-Decomposed Avatar Representation for Varying Camera Distances

デジタル世界において、ある人物を完璧に捉え、目の前まで歩み寄ってシャツの織り目まで観察したり、あるいは一歩下がって混雑した部屋の中にいるその人の全身を見渡したりできる様子を想像してみてください。長年、コンピュータ科学者たちは、あらゆる距離においてリアルに見える「デジタルヒューマン」の作成に苦心してきました。問題はトレードオフにあります。近くで見ると鮮明に見える手法は、遠ざかるとぼやけたり不自然な表示（グリッチ）が発生したりすることが多く、逆に遠くから見るのに適した手法は、至近距離で必要となる微細なディテールを失ってしまうのです。この限界が、ユーザーがデジタルの人々と自然に、かつ自由に動き回って交流する必要があるバーチャルリアリティ、ビデオゲーム、テレプレゼンスといった分野の発展を阻んできました。

この問題に対する解決策として、コンピュータグラフィックスでは古くから「レベル・オブ・ディテール（詳細度）」という概念が用いられてきました。これは、遠くにある複雑な物体を簡略化し、近づいたときに詳細を追加するという技術です。しかし、既存の手法では、アニメーション化された人間のアバターに対してこの概念をスムーズに適用することができませんでした。既存の手法は、テクスチャのない硬直した3D形状に頼るか、あるいは何千もの小さな浮遊する点を使用しますが、それらはカメラが近づきすぎると乱雑になり、動作が重くなってしまいます。研究チームは、この距離の問題を解決する、新しいデジタルヒューマンの構築方法を開発しました。これにより、数インチの距離からでも、あるいは部屋の反対側からでも、単一の高品位な表現で、見た目のリアルさを維持できるようになりました。

高解像度カメラのデータを用いて研究を行ったチームは、「CloseUpAvatar」と名付けられたシステムを作り上げました。彼らは人間の体を、ソリッドなメッシュや数百万の点の雲として構築するのではなく、小さくて平らな、テクスチャを持つ正方形の集合体として表現しました。これらの正方形を、体の表面を覆う、小さくて柔軟な「看板（ビルボード）」だと考えてください。それぞれの看板は独自の画像を持っており、それは人が動くにつれて変化することができます。ここでの鍵となる革新は、それらの画像がどのように保存されているかにあります。チームは、単一の画像ファイルでは、顔の広範囲な色彩と、肌の毛穴のような鋭いディテールを同時に扱うと混乱が生じてしまうことに気づきました。

これを解決するために、彼らはすべての看板に対して、視覚情報を2つの異なるレイヤーに分割しました。一つのレイヤーは、その人の全体的な外観を定義する滑らかで一般的な色彩や形状である「低周波の詳細」を保持します。もう一つのレイヤーは、シワ、毛穴、布地のパターンといった、鋭く鮮明なテクスチャである「高周波の詳細」を保持します。システムは、どちらのレイヤーを使用するかを賢く判断するように設計されています。カメラが遠くにあるとき、システムは効率的で遠くから見ても完璧に見える低周波レイヤーのみを表示します。カメラが近づくにつれて、システムは自動的かつ段階的に、鋭い高周波レイヤーをブレンドしていきます。この移行は非常にスムーズに行われるため、視聴者が切り替えに気づくことはありません。単に、近づくにつれて画像が鮮明になっていくのです。

研究者たちは、高解像度の映像を含む、多くの角度から撮影された実在の人物のデータセットを用いて、このアプローチをテストしました。彼らは、この新しい手法を、この分野における現在の最高技術と比較しました。その結果、他の手法はカメラをズームインすると、顔がぼやけたり歪んだりして鮮明な画像を出せないことが多かったのに対し、彼らの新しいシステムはフォトリアルな品質を維持できることが示されました。実際、この新手法は、200フレーム毎秒を超える速度でこれらの詳細なアバターをレンダリングすることができ、これはバーチャルリアリティでのリアルタイムなインタラクションに十分な速さです。この速度は、より少ない構成要素を使用することで達成されました。つまり、単純なパーツを数百万個持つよりも、よりスマートなパーツをより少なく持つ方が効果的であることを証明したのです。

最も重要な発見の一つは、システムがトレーニングプロセス中に、変化する距離を扱うことを学習できたことでした。研究者たちは、同じ人物を非常に近い状態と非常に遠い状態の両方から見せることでコンピュータを教育しました。これは、他の手法が失敗したり、奇妙なアーティファクト（不自然なノイズ）を生じさせたりする原因となるテクニックです。周波数分離のアプローチを用いることで、システムは一般的な形状と微細な詳細を分離することを学び、カメラの位置に即座に適応できるようになりました。これは、この方法で作られたデジタルヒューマンが、周囲を歩き回り、間近で観察し、遠くから眺めても、画質が低下することなく閲覧できることを意味します。

この研究は、効率的でありながら、信じられないほど詳細な、単一のデジタルヒューマンを持つことが可能であることを示しています。研究者たちは、彼らのシステムは身体や一般的な特徴については非常に効果的であるものの、指一本一本のような極めて微細なディテールや複雑な表情については、依然として課題があり、今後の改善領域であると述べています。しかし、リアルでインタラクティブなデジタルヒアンを作成するという幅広いタスクにおいて、この新しいアプローチは大きな飛躍をもたらしました。それは、ユーザーとデジタル世界との間の障壁を取り除き、どれほど近づいても、画面上の人物が遠くにいる時と同じようにリアルに見えることを保証するのです。