二次元の集合写真から現実世界の三次元モデルを作成することは、コンピュータビジョンにおける根本的な課題です。数十年にわたり、科学者たちはこの問題を解決するために主に2つのアプローチに頼ってきました。第一の手法は「マルチビューステレオ」として知られ、人間の脳のように機能します。それは、同じ物体を異なる角度から観察し、一致する点を見つけ出し、それらの距離を計算して、表面を表す密な点の雲（ポイントクラウド）を構築します。第二の手法は、「3D Gaussian Splatting」と呼ばれるより新しい手法で、シーンを固形物としてではなく、空間に浮遊する小さく色鮮やかで透明な楕円体の群れとして表現します。カメラがこの群れを見つめると、楕円体が混ざり合い、鮮明でリアルな画像を作り出します。この新しい手法は非常に高速で、驚くほど美しい視覚的結果を生み出しますが、実際の3D形状を構築するという点では重大な欠陥があります。カメラから見る角度が少ない領域や、物体が他のものの後ろに隠れている場所では、これらの浮遊する楕円体が離れてしまったり、不安定で幽霊のような構造体を形成したりすることがあります。これらは写真としては良く見えますが、現実の固形的な表面を表しているわけではありません。

武漢大学と杭州電子科技大学の研究者たちは、この問題を解決するために「CoMVS-GS」と呼ばれる新しいフレームワークを開発しました。彼らの目標は、浮遊する楕円体の速度と視覚的な品質と、従来の点ベースの手法の幾何学的な信頼性を組み合わせることでした。これら2つの技術を別々のツールとして扱うのではなく、彼らはそれらを単一のプロセスへと織り込みました。その結果、小さな物体から大規模な屋外環境まで、正確で固形な3Dメッシュを再構築できるシステムが誕生しました。これは、照明条件が困難な場合や、シーンの一部が隠れている場合でも可能です。チームは、古い手法の強みを用いて新しい手法を導くことで、浮遊するアーティファクトを排除し、視覚的に説得力があり、かつ幾何学的に精密な表面を作り出すことができることを見出しました。

プロセスは、メインの最適化が始まる前の極めて重要なステップから始まります。従来の手法はしばしば疎な点の集合から開始されるため、コンピュータがどのように埋めるべきかを推測しなければならない大きな隙間が残されてしまいます。研究者たちは代わりに、標準的なマルチビューステレオアルゴリズムによって生成された密な点の雲を使用して、モデルを初期化しました。彼らはこれらの点を使い、最初の一瞬から、局所的な表面の向きと厚みに合わせて浮遊する楕円体を成形しました。壁を建てる際、最初に空中にレンガをいくつか撒いて、それらが平坦な線に落ち着くのを期待するようなものだと想像してください。この新しい手法は、建設が始まる前に、レンガをまさに配置すべき場所に、壁の表面に沿うように配置します。これにより、システムは強力な幾何学的スタートダッシュを得ることができ、トレーニングの初期段階において楕円体が不安定な構造を形成することを防ぎました。

モデルが初期化されると、研究者たちは2つの技術の間に連続的なフィードバックループを導入しました。システムは、デプスマップ（本質的には、シーンのあらゆる点がいかに遠いかを示す画像）をレンダリングし、それを使用してマルチビューステレオアルゴリズムを洗練させます。逆に、洗練されたマルチビューステレオアルゴリズムは、より正確なデプスマップを生成し、それが浮遊する楕円体の修正に使用されます。この相互監視により、システムは常に自らの作業をチェックすることになります。もし楕円体が本来あるべきではない場所に漂ったとしても、マルチビューステレオのデータがそれをもとに引き戻します。もしマルチビューステオロのデータがテクスチャの不足のために確信を持てない場合は、密な楕円体の雲が安定したガイドを提供します。このバック・アンド・フォース（往復）の精緻化により、モデルは以前の手法が対処に苦慮していた隙間を埋め、表面を滑らかにすることができました。

最終ステップでは、これらの洗練された楕円体を、3D物体を表すワイヤーフレームの皮膚であるソリッドメッシュへと変換します。既存の多くの手法は、3D空間全体を小さな立方体のグリッドに分割し、各立方体内の表面を計算することでこれを行おうとします。このアプローチは立方体のサイズに敏感であり、立方体が大きすぎると細部が失われ、小さすぎると、特に大規模な屋外シーンにおいてコンピュータのメモリが不足します。研究者たちは、Delaunayグラフカットメッシングと呼ばれる異なる手法を使用することで、この罠を回避しました。硬直したグリッドに頼る代わりに、この手法は表面の点を直接接続し、カメラの視線を使用して、空間のどの部分が物体の内部で、どの部分が外部であるかを判断します。これにより、グリッドベースのアプローチに伴うメモリ負荷や詳細の喪失なしに、クリーンで完全な表面を作成することができました。

チームは、物体レベルの再構築のための標準的なDTUベンチマークや、GauU-Scene V2およびMatrixCityデータセットからの大規模な屋外シーンの新しいサブセットを含む、いくつかのデータセットを用いて手法をテストしました。DTUベンチマークにおいて、彼らの手法は既存の最良の技術に匹敵する平均誤差率を達成し、再構築された幾何学の精度においてしばしばそれらを上回りました。屋外シーンでは、その差はさらに顕著でした。他の手法が水面や建物のファサードなどの領域で、浮遊する断片や大きな穴を生み出した一方で、CoMVS-GSはクリーンで連続的な表面を生成しました。研究者たちは、彼らの手法が、競合他社の5,000万以上の面と比較して、平均約876万面という大幅に少ない面数で、高い幾何学的精度を維持しながらモデルを構築したことを指摘しました。このコンパクトさは、隙間を埋めるために不必要な複雑さを加えることなく、シーンの真の形状をより効率的に捉えたことを示唆しています。

この研究には、システムのどの部分が最も重要であったかを確認するためのテストも含まれていました。密な点群の初期化を取り除くと、モデルは、特に鋭角から見た建物のファサードにおいて、平坦な表面への収束に苦戦しました。相互監視ループを取り除くと、幾何学的精度が低下し、表面の滑らかさが失われました。最後に、新しいメッシング技術を伝統的なグリッドベースの手法に戻すと、結果として得られたモデルには穴や不完全な領域が見られました。これは、彼らのグラフカット・アプローチが大規模な屋外シーンを扱うために不可欠であったことを裏付けています。研究者たちは、マルチビューステレオを単なる最終ステップとしてではなく、初期化、連続的な監視、および表面抽出のソースとして統合することで、どちらの手法単独でも到達できないレベルの幾何学的安定性を達成できたと結論付けました。

この手法は大きな前進を意味する一方で、著者らは、反射の強い表面や透明な表面においては、異なるカメラビュー間で一致する点を見つけることが難しいため、依然として課題があることを認めています。加えて、デプスマップを定期的に精緻化するプロセスは計算コストを増大させ、これは非常に高解像度のシーンにおいて要因となる可能性があります。しかし、結果は、伝統的なフォトグラメトリの幾何学的な厳密さと、現代的なニューラルレンダリングの効率性を組み合わせることが、より堅牢で正確な3D再構築に向けた実行可能な道であることを示しています。この研究は、3Dモデリングの未来が、異なるテクノロジーのどちらかを選択することにあるのではなく、それぞれの強みを活かして弱点を克服するために、いかにしてそれらを協調させるかにあることを示唆しています。