Monocular Panoramic Imaging for High-Precision 3D Shape Reconstruction

人間の足のような複雑な物体の完璧な三次元モデルを、平面的な写真のみを使って構築することを想像してみてください。これは、機械に世界を見させ、理解させるための技術であるコンピュータビジョンの分野における根本的な課題です。数十年にわたり、科学者たちはこの問題を解決するために主に2つのアプローチに頼ってきました。1つ目は、円状に配置された多数のカメラを使用し、それぞれ異なる角度から写真を撮る方法です。これは効果的ではありますが、コストがかかり、セットアップが難しく、すべてのカメラが色やタイミングについて一致するように精密な同期を必要とします。2つ目のアプローチは、単一のカメラを使用しますが、複雑なソフトウェアを用いて物体の奥行きを推測するもので、表面にテクスチャやパターンが欠けている場合に苦戦することがよくあります。どちらの方法も、滑らかな形状や複雑な形状の正確なリアルタイム測定を行おうとする際に、障害に直面します。これは、産業検査や医療診断において頻繁に求められるニーズです。

浙江理工大学の研究チームは、単一のカメラのシンプルさと、マルチカメラ・アレイの包括的な視点を組み合わせた、異なる道筋を提案しました。彼らは、鏡を使用して光を一つのレンズへと折り込むことで、一つの瞬間に物体の7つの異なる視点を捉える特化した装置を設計しました。これらの同時並行的なビューを新しい数学的手法で分析することにより、彼らは人間の足の三次元形状を高い精度で再構成することに成功しました。彼らの研究は、従来のマルチカメラ・システムのような高価で複雑な仕組みなしに、高品質な3D測定を実現できることを実証しており、精度が極めて重要となるシナリオに対して堅牢なソリューションを提供しています。

彼らの革新の核心は、カスタムメイドの撮像チャンバーにあります。カメラを物体の前に置いて動かす代わりに、研究者たちは物体を鏡で裏打ちされた箱の中に配置しました。この箱は漏斗のような形をしており、内側を向いた6枚の台形鏡で構成されています。単一の高精細カメラが、このチャンバーの中央を見下ろしています。足のような物体がこの中に置かれると、カメラは物体を直接見るだけでなく、鏡に反射して跳ね返ってくる物体の複数の仮想的な姿も見ることになります。たった一回のスナップショットで、カメラは物体の上面の直接的なビューと、側面および背面を示す6つの仮想的なビューを同時に捉えます。これらすべてのビューは同じレンズから、全く同じ瞬間に得られるため、複数のカメラのキャリブレーションや色の同期といった、よくある悩みを回避することができます。照明もチャンバー内で制御されているため、物体は均一に照らされ、邪魔な影や眩しさ（グレア）が発生しません。

画像がキャプチャされると、研究者たちはそれらの平面的な反射を立体的な形状へと変える課題に直面します。彼らは、物体の周囲の空間を、一連の小さな目に見えない立方体、すなわち「ボクセル」として扱う手法を開発しました。足の周囲の空間を、これらの立方体のグリッドで満たす様子を想像してください。次に、アルゴリズムは、上から下まで、そして側面をぐるりと回るように、物体の周囲のあらゆる可能な角度を系統的にチェックしていきます。各角度において、アルゴリズムは7つのビューの中にある対応する反射を確認し、その立方体が物体の一部であるべきか、あるいは空虚な空間であるべきかを判断します。これは、投影された立方体の明るさが、すべての異なるビュー間で一貫しているかどうかを確認することによって行われます。もし光がすべての反射において同じように見えるなら、その立方体は表面の一部である可能性が高く、もし明るさが激しく変動するなら、その部分は削り取られます。この「スペースカービング（空間彫刻）」として知られるプロセスにより、システムは空虚な空間を剥ぎ取っていき、最終的に物体の形状を定義する詳細な点群（ポイントクラウド）だけを残します。

システムのテストとして、研究者たちは人間の足を再構成することにこの手法を適用しました。これは、足の複雑な曲線や滑らかな皮膚のために、高い精度が要求されるタスクです。彼らは鏡のチャンバーの中に足を入れ、パノラマ画像をキャプチャしました。システムは画像を処理し、足を黒い背景から分離し、カラーデータをアルゴリズムが使用できる形式に変換しました。その結果、色の情報を含む、足の完全な三次元点群が得られました。精度を検証するために、彼らはこの3Dモデルを平らなスクリーンに投影し、カメラのビューにおける元の足のシルエットとどれほど一致するかを確認しました。比較の結果、非常に高い重複率が示され、ほとんどのビューにおいて誤差率は概ね3パーセント未満に留まりました。上面と2つの補助的な側面ビューは最も高い精度を示し、誤差は0.68パーセントまで低くなりました。

また、研究では、追加の鏡が実際に効果があるかどうかを確認するために、彼らの7ビュー・システムを以前の5ビュー・システムと比較しました。2つの追加の補助鏡を欠いている5ビュー・システムは、足の後部を正確に捉えることに苦労し、その領域に隙間が生じたり、高いエラー率を招いたりしました。一方、7ビュー・システムは、後部に対して独立した角度を提供することで、これらの欠落していた詳細を補い、全体的な誤差を大幅に減少させました。研究者たちは、追加の視点が測定精度の変動を平滑化し、物体の最も見えにくい部分であっても忠実に再構成されることを発見しました。ただし、この手法は滑らかで固形の物体には非常に効果的ですが、深い穴や複雑な内部構造を持つものについては、光が内部まで到達できず反射を作れないため、限界があることも著者らは指摘しています。

この研究は、3Dスキャンに使用される高価で複雑な機械に代わる、魅力的な選択肢を提示しています。単一のカメラと巧妙な鏡の配置を用いることで、チームはコスト効率が高く、かつ高精度なシステムを作り上げました。一回の露光で全方位360度のビューを捉える能力は、可動部品や複数の同期デバイスを必要としないため、プロセスをより迅速かつ信頼性の高いものにします。足の形状の再構成の成功は、このアプローチが医療や産業用途に求められる精度で、現実世界の物体を扱えることを示しています。この技術は、特に深い空洞を持つようなあらゆる種類の物体に対する普遍的な解決策にはまだなり得ませんが、高精度な3D測定をより身近で実用的なものにするための重要な一歩となります。システムのソースコードとドキュメントは公開されており、他の科学者がこの成果に基づき、将来のアプリケーションに向けて技術をさらに洗練させていくことが可能です。