Gen2Physics: Grounding Generated 3D Meshes in Physics via Multi-View Material Decomposition

デジタル世界において、コンピュータは三次元オブジェクトを描画することに驚くほど習熟してきました。現代の人工知能は、たった一枚の写真やいくつかの言葉から、椅子やロボット、あるいは玩具を、驚異的な視覚的詳細さをもって作り出すことができます。これらのデジタルな創造物は本物のように見えますが、中身のない空洞の殻です。コンピュータにとって、金属製の脚を持つ木製の椅子は、単一の連続した表面であり、内部構造を持たない一つの物体に過ぎません。これは、ビデオゲームやロボット工学、あるいは物理シミュレーションで使用しようとする人々にとって、重大な問題を引き起こします。現実世界の物体は、その素材に従って振る舞います。軽い木製の胴体の上に重い金属の頭があれば、均一な密度を持つブロックとは異なる傾き方や回転の仕方をします。どの部分が何でできているのかを知らなければ、コンピュータは物体がどのように落下し、跳ね、あるいは転がるかをシミュレートすることができません。数十年にわたり、物体の「見た目」と「振る舞い」の間のギャップは大きな障壁となっており、デジタルクリエイターたちは、美しいながらもシミュレーション内の物理法則と相互作用することのできない、静的なアセットに直面してきました。

研究チームは、このギャップを埋めるために「Gen2Physics」と呼ばれる新しいシステムを開発しました。彼らの目標は、生成された静的な3Dメッシュを受け取り、それが何でできているかを自動的に判別し、シミュレーション可能な個別のパーツへと分解することでした。物体を物理的特性を考慮してゼロから構築しようとするのではなく、彼らの手法は、物体がすでに作成された後に行われます。それは、あらゆる角度から物体を観察し、表面のあらゆる微細なパッチの素材を特定し、そして各々の重さと密度を持つ一連の固形パーツとして物体を再構成する、デジタル上の探偵のように機能します。その結果、見た目が正しいだけでなく、落としたり押したりした際に物理エンジン内で正しく振る舞うデジタルアセットが得られます。

プロセスは、3Dオブジェクトを、あらゆる側面から検査されるべき彫刻のように扱うことから始まります。システムは、像の周りを歩いてあらゆる側から見る時のように、11の異なる視点からオブジェクトをレンダリングします。それぞれのビューに対して、特化したコンピュータビジョンモデルが画像を分析し、すべてのピクセルの素材を推測します。それは、表面が木、金属、ガラス、あるいは布であるかどうかを判断するために、光沢、質感、色といった手がかりを探します。しかし、物体をたった一つの角度から見るだけでは、誤解を招く可能性があります。反射によって木製の脚が金属に見えたり、影によってプラスチックのハンドルが見えなくなったりすることがあります。これを解決するために、システムは11のビューすべてを3Dモデル上に投影し、投票システムを使用します。もし11個のビューのうち10個が特定の面を金属であると同意すれば、システムはその結果を真実として受け入れます。このステップにより、最終的な素材マップは一貫性を持ち、単一の視点による混乱から解放されます。

一貫したマップがあったとしても、コンピュータは見た目に基づいて依然として間違いを犯す可能性があります。細くて光沢のある脚はカメラには金属に見えるかもしれませんが、もしその物体が椅子であれば、常識的に考えてそれは木である可能性が高いはずです。こうした論理的なエラーを修正するために、システムは文脈を理解するように訓練された人工知能の一種である大規模言語モデルを採用しています。このモデルは、物体の形状や機能を考慮しながら物体全体を俯瞰し、素材のラベルを修正します。例えば、「金属」とラベル付けされた部分が椅子の脚の一部であるために実際には「木」であると判断したり、「プラスチック」の部分が透明な花瓶であるために実際には「ガラス」であると判断したりします。このステップは、純粋な画像解析では達成できない推論のレイヤーを加え、素材が現実世界において理にかなったものにすることを保証します。

素材が正しく特定されると、システムは最終的な課題に直面します。それは、これらの平坦な表面パッチを、堅牢で水密性のあるボリューム（体積）へと変えることです。シミュレーションエンジンは空洞の殻では機能しません。物体がどれほど重いか、どのように回転するかを計算するためには、物体の内部を知る必要があります。システムは欠落しているジオメトリを補完し、各素材パーツの完全な3D形状を作成します。その後、言語モデルに対して、各パーツが中まで詰まった固形なのか、あるいはパイプや殻のように中空なのかを推測させます。もしパーツが中空であれば、システムは壁の厚さを推定します。これらの詳細情報を用いることで、物体全体の質量と重量分布を正確に計算することができます。これにより、コンピュータは、例えば、ロボットの重い金属の頭が上部にある場合、それが押されたときに中心の周りを完璧に回転するのではなく、物体を傾ませることを理解できるようになります。

研究者たちは、大規模な3Dモデルのコレクションを用いて彼らの手法をテストし、従来の技術と比較しました。その結果、彼らのアプローチは素材の特定においてはるかに正確であり、テストセット内のパーツのほぼ半分を正しくラベル付けしており、これは従来の手法の成功率の2倍以上でした。物体を落下させ、衝突させるシミュレーションを行った際、結果は驚くべきものでした。あるテストでは、重い金属製の頭と木製の胴体を持つロボットの頭が落下しました。物体全体が同じ密度であると扱っていた古い手法では、物体は幾何学的な中心の周りに不自然に回転しました。しかし、新しいシステムは、重い金属の頭を正しく特定し、真の重心を計算し、重い頭が物体を引き下げて現実的に回転させるという、現実世界の物理学に一致する落下をシミュレートしました。

この研究は、デジタルコンテンツをインタラクティブなアプリケーションとして利用可能にするための重要な一歩となります。複雑な3D形状をその素材成分へと自動的に分解し、現実的な物理的特性を割り当てることで、このシステムは静的な画像を動的でインタラクティブな物体へと変貌させます。研究者たちは、彼らの手法は非常に効果的である一方で、欠落しているジオメトリを補完するために外部ツールに依存しており、また初期の3Dモデルの品質にも依存していると指摘しています。また、現在のテストは表面上で素材が見える物体に限定されており、外側から見ることができない複雑な内部構造を持つ物体は依然として課題であるとも述べています。それにもかかわらず、視覚的に忠実であり、かつ物理的に妥当なアセットを生成できる能力は、ロボット工学、ゲーミング、エンジニアリングにおけるより現実的なシミュレーションへの扉を開き、デジタル世界と物理世界をより近づけています。