Scanline-Aware Animatable Gaussian Avatars from Rolling-Shutter Videos
本論文は、標準的なモーションブラーによるレンダリングを、単一フレーム内における異なる身体部位の逐次的な読み出しを正しく考慮したスキャンライン認識型コンポジット演算子に置き換えることで、ローリングシャッター現象を含むビデオから鮮明でアニメーション可能な3D Gaussianアバターを再構成する手法であるRS-Avatarを提案する。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
デジタルイメージングの世界には、あらゆる写真は単一の、凍結された瞬間を捉えているという静かな前提があります。カメラが写真を撮るとき、頭のてっぺんから足の先まで、シーン全体が全く同じ瞬間に記録されていると一般に信じられています。この信念は、機械に世界の捉え方や理解の仕方を教えるための分野である、コンピュータビジョンの多くを支えています。これにより、研究者はアバターとして知られる、アニメーション化してあらゆる角度から閲覧できる複雑な人間の3Dモデルを構築することができます。これらのデジタル・ダブル（デジタルの分身）は、バーチャル・テレプレゼンスや映画制作から、スポーツ分析、人工知能に至るまで、あらゆる場面で不可欠になりつつあります。しかし、この前提は現実の世界ではほとんど真実ではありません。ポケットの中のスマートフォンからプロ仕様のスタジオにある高速センサーに至るまで、大多数のカメラは画像を一度にすべて記録することはありません。その代わりに、彼らは画像の行を上から下へと、1行ずつスキャンしていきます。この手法は「ローリングシャッター」と呼ばれ、カメラがフレームの下部を読み終える頃には、上部はすでに数ミリ秒前に記録されていることを意味します。人が腕を動かしたり歩いたりしている場合、その数ミリ秒があれば、身体の一部が位置を大きく変えるのに十分であり、身体の各部分が異なるタイミングで記録されるという、微妙ながらも蔓延している歪みを生じさせます。
長年、ビデオからこれらの3Dアバターを構築しようとする研究者たちは、このタイミングの不一致をほとんど無視し、すべてのフレームを完璧なスナップショットであるかのように扱ってきました。その結果、デジタル上の幽霊が生み出されてきました。つまり、元のビデオと同じ角度から見たときは正しく見えるものの、視聴者が新しい角度から見ようとしたり、アバターを新しいポーズに動かそうとしたりすると、崩れてしまう3面的なモデルです。歪みがモデルの形状に焼き付けられてしまい、手足がぐにゃぐにゃしたり、引き伸ばされたり、不自然に太くなったりする原因となります。ある研究者が、この問題を直接的に解決しました。それは、モデルを構築する前にビデオを修正しようとするのではなく、カメラのスキャン動作をモデル自体に理解させるという方法です。彼らは、画像のすべてのピクセルの行が、わずかに異なる時点を表していることを認めた上で、ローリングシャッタービデオから鮮明で歪みのない3Dアバターを再構成する新しいシステムを開発しました。
RS-Avatarと呼ばれるこの新しいアプローチの核心は、視点の単純かつ強力な転換に基づいています。システムは、コンピュータに人物が単一の瞬間にどのような姿であったかを推測させるのではなく、スキャンの全期間を通じて人物が動いていたことを受け入れます。このソフトウェアは、どの瞬間においても身体の各部位がどこにあったかを正確に把握できるほど精密な、身体の動きのモデルを構築します。最終的な画像を生成するとき、システムは異なる位置を平均化することはありません。平均化すればブレが生じてしまうからです。その代わりに、システムは細心の注意を払う編集者のように振る舞い、画像の最上部のピクセル行に対しては身体の正確な位置を選択し、次の行にはわずかに異なる位置を選択するというように、各行がカメラによって捕捉された特定の時刻に合わせていきます。このプロセスはモーションブラー（動きによるブレ）の仕組みとは異なります。ブレが、動いている物体のすべての色が混ざり合って一つの滲みになるようなものであるのに対し、ローリングシャッターは、時間の精密なスライスのようなものです。つまり、各スライスが特定の瞬間の身体の鮮明で鋭い画像を持っているのです。
このアイデアをテストするために、研究者は標準的なモーションキャプチャースタジオのデータを用いた新しいベンチマークを作成しました。彼らは人々が動いている高品質な録画映像を使用し、人工的にローリングシャッター効果をシミュレートすることで、真の鮮明な正解が既知であるデータセットを作成しました。そして、彼らの新手法をいくつかの既存のアプローチと比較しました。一般的な戦略の一つは、3Dモデルを構築する前にソフトウェアを使用して歪んだ線をまっすぐに修正するという「ビデオを先に直す」方法です。もう一つの戦略は、カメラが時間の経過とともに動きを平均化したと仮定する、モーションブラー用のモデルを使用することです。結果は明白かつ驚くべきものでした。「ビデオを先に直す」手法は、画像の質をわずかに向上させましたが、得られた3Dモデルには依然として欠陥がありました。なぜなら、修正ソフトウェアは、異なるカメラの角度が三次元空間において互いに一致することを保証できないからです。モーションブラーモデルの結果はさらに悪く、単にシャッターの問題を無視した場合よりも低い品質の結果を生み出しました。これは、ブレを扱うための数学が、ローリングシャッターに必要な数学とは根本的に異なるために起こりました。ブレのモデルは動きの方向を推測しようとしますが、ローリングシャッターは、行がスキャンされる順序を通じて、すでにその方向を提供しているからです。
シャッターを直接モデル化するこの新システムは、他のすべての手法を凌駕しました。それは、他の手法では滑らかにされたり歪んだりしてしまう、腕の細さや手と腰の間の隙間といった微細なディテールを保持し、著しく鮮明で正確なアバターを生成しました。研究者は、より良い結果を得るためにタイムスライスをより細かくしたり数を増やしたりする必要はないことを見出しました。既存のモーションモデルは、単一フレーム内の動きを捉えるのにすでに十分に詳細だったのです。鍵となったのは、単にコンピュータが身体の異なる瞬間を最終的な画像にどのように結合するかを変えることでした。カメラのスキャンを単一のスナップショットではなく、出来事のスケジュールとして扱うことで、システムは、以前の試みが苦しんでいた揺れや引き伸ばしのない、クリーンで歪みのない3Dボディを再構成することができたのです。
この研究は、カメラが画像をどのように捉えるかは、後で修正されるべき単なる技術的な詳細ではなく、視覚の物理学における根本的な部分であることを示しています。カメラの挙動を3D再構成プロセスに直接統合することで、研究者は、不完全なビデオから、動いている人物の鮮明で正確なデジタル表現を復元することが可能であることを証明しました。この知見は、ブレのような特定の一種類の画像歪みを修正するために使用されるツールを、ローリングシャッターのような別の歪みを修正するために単純に入れ替えることはできない（なぜなら、エラーの性質が異なるためである）ことを示唆しています。現在のシステムは複数のカメラと明るい照明条件下で最もよく機能し、身体の関節の数学的モデルに依存していますが、これは、日常のビデオ映像からリアルなデジタルヒューマンを作成するための新しい道を切り開くものです。研究者は、この高密度な時間のサンプリングが、最終的にカメラが捉えた速度よりも速いビデオを作成するために使用できるかどうかという問いを投げかけていますが、今のところ、この成果は、動いている人間の形態をより鮮明に、より真実に描き出すというものです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。