SemPix3D: Hybrid approach to generalized 3D aware image Synthesis and Generation using Conditional GAN

ビデオゲームやバーチャルリアリティ（VR）体験のための仮想世界を構築しようとしているところを想像してみてください。あなたは、正面からだけでなく、あらゆる角度からキャラクターやオブジェクトを見せたいと考えています。長い間、コンピュータは平面的な画家のようなものでした。彼らは顔の写真をアニメーション化することはできましたが、その顔に奥行きがあり、鼻が突き出しており、耳が横についているということを、本当の意味では理解していませんでした。もし写真を横向きにしようとすると、コンピュータは画像をただ引き伸ばしてしまい、顔が溶けたパンケーキのように見えてしまうのです。これを解決するために、科学者たちは「3D認識型」生成の研究に取り組んでいます。これは、物体が三次元空間の中に存在し、体積と構造を持っているということをコンピュータに教える技術です。これにより、リアルに見え、一貫性を保った新しい視点を生成できるようになります。彼らが使うツールは、デジタルな粘土（光と影から3D形状を構築するNeRF）や、デジタルな芸術家（形状にリアルなテクスチャを塗り込むGAN）のようなものです。大きな疑問は、どうすればこのプロセスをより速く、より正確に、そしてあらゆるものに対して膨大な写真ライブラリを必要とせずに、さまざまな種類のオブジェクトを扱えるようにできるのか、ということです。

ここで、「SemPix3D」と呼ばれる新しい研究が登場します。研究者のSouvik Bandyopadhyay氏とTamal Pal氏は、わずかな手がかりから3D画像を生成するという問題を解決するために、2つの異なる技術を組み合わせた巧妙な「ハイブリッド」アプローチを提案しています。彼らの手法は、2段階の組み立てラインのようなものだと考えてください。まず、彼らはNeural Radiance Field（NeRF）と呼ばれるシステムを使用し、それを「骨格の構築者」として機能させます。この部分のシステムは、色や肌の色には関心がありません。その代わりに、物体の純粋な形状と構造、例えばマネキンのようなものを学習します。それは数枚の写真を取り込み、どこにエッジがあり、どこに鼻があり、どこに目が窪んでいるかを把握し、物体の3D形状のマップを作成します。

この「骨格」が構築されると、次に機械の第2の部分が動き出します。それがGenerative Adversarial Network（GAN）です。NeRFが骨格であるならば、GANはメイクアップアーティストであり、衣装デザイナーです。それは第1段階で作られた形状マップを取り込み、そこに高品質でリアルなカラー画像を塗り付けていきます。ここでの魔法は、このGANが「条件付き」であることです。つまり、与えられた形状に適合するものだけを描くのです。これにより、システムは、たとえその特定の角度を一度も見たことがなくても、新しい角度から顔や椅子などのフォトリアルな画像を生成することができます。研究者たちは、これらを2つの全く異なるもの、すなわち合成3D形状（コンピュータ生成の椅子や車など）と、CelebMaskHQと呼ばれる大規模なデータセットを用いた人間の顔を用いてテストしました。

結果は、これら2つのステップによるチームワークが、すべてを一度に行おうとする従来の手法よりも優れていることを示唆しています。シミュレーションにおいて、SemPix3Dモデルは、生成された画像の多様性と、実写への近さの両方において改善を示しました。具体的には、合成形状データセットにおいて、Pix2Pix3Dと呼ばれる手法と比較して、FIDと呼ばれる品質スコアで15%の向上、KIDと呼ばれる別のスコアで5%の向上を見せました。人間の顔でテストした際、モデルは既存のモデルと比較して、多様性において約10%、KIDにおいて2%の向上が見られました。著者らは、「形状を理解すること」と「色を塗ること」の仕事を分離することで、より一貫性があり正確な3Dビューを、より少ない学習サイクルで作成できることを見出しました。また、このアプローチは、あらゆるオブジェクトに対して膨大な量のデータを必要とすることを減らすことができるとも指摘しています。なぜなら、「骨格」の部分はカテゴリー（例えば「すべての人間の顔」）の一般的な形状を学習し、「画家」が特定の詳細を加えるだけだからです。この論文は、これが科学のすべてに対する解決済み問題であると主張しているわけではありませんが、シミュレーションは、このハイブリッド戦略が、バーチャルリアリティや拡張現実（AR）の体験をよりリアルで没入感のあるものにするための、有望な一歩であることを示しています。