魔法のカメラを手にしているところを想像してみてください。そのカメラは、単に目に見えるものを写真に撮るのではなく、周囲の部屋の「形」そのものを捉え、空気や家具を小さな光る点の雲へと変えてしまいます。これは、コンピュータに私たちの目と同じように、三次元の世界を「見る」方法を教えようとしている科学者やエンジニアたちの分野、すなわち3Dスキャニングの世界です。通常、これにはハイテクな研究所にあるような、高価で重い装置が必要です。しかし最近では、安価なセンサーによって、この魔法をポケットに入れたり、あるいは頭に装着したりすることが可能になりました。しかし、大きな課題は、単に写真を撮ることではありません。その何百万もの散らばった点を、ビデオゲームや仮想現実（VR）の世界を歩き回れるような、固くて滑らかな壁やテーブルへとどのように変換するかです。それは、まるで砂で城を作るようなものです。ただ風に吹かれて砂が流されるままにしておけば、めちゃくちゃになってしまいます。城を完成したと宣言する前に、砂を押し固め、滑らかにし、すべてのレンガが正しい場所にあることを確認する方法が必要なのです。

これこそが、ボローニャ大学の研究チームが取り組むことにした問題です。彼らは「MESH4ID」（Incremental Digital-physical systemのためのMESH）と呼ばれる新しいシステムを開発しました。歩き回っている間にコンピュータが自動的に完璧な3Dモデルを構築しようとして混乱やエラーを引き起こすのではなく、彼らは「ヘッドセット中心」のパイプラインを構築しました。これは、あなたが現場監督となるバーチャルリアリティのワークショップのようなものです。あなたは特別なヘッドセット（Meta Quest 3）を着用し、その前面にレーザースキャナー（Intel RealSense L515）を装着しています。あなたが動くと、スキャナーは部屋をライブの、色鮮やかな浮遊する点の雲で塗りつぶしていきます。しかし、ここでのひねりは、コンピュータがこれらの点を即座に壁へと接着しようとしないことです。代わりに、あなたはいつドットの「スナップショット」を固定して保存するかを決定し、それから仮想ツールを使ってデータの整理や異なる視点の統合を行い、準備が整ったときに初めて、コンピュータに最終的な滑らかな表面を作るよう指示するのです。

研究者たちは、この「時間をかける」アプローチが驚くほどうまく機能することを発見しました。ユーザーがデータを精査する（どのスナップショットが良く、どれを捨てるべきか、そしてそれらをどのように組み合わせるかを決定する）ようにすることで、ヘッドセット内で正確な3Dモデルを作成できるのです。彼らの実験では、データの保存とクリーニングにはわずか数秒しかかかりませんが、最も難しいのは多くの異なるスナップショットを統合することであり、これには少し時間がかかる（3枚の小さなセットに対して約12秒）ことが示されました。しかし、データが統合された後は、ドットを滑らかな3Dメッシュに変換するのは非常に高速です。この論文は、この手法が、あなたが自分自身の3D映画の積極的なディレクターである限り、高度なスーパーコンピュータや専門家チームを必要とせずに、屋内空間をキャプチャするための実用的で信頼できる方法であることを示唆しています。

魔法のヘッドセットと「描画」プロセス

では、これは実際にどのように機能するのでしょうか？ あなたが、前面に小型でハイテクなレーザーの目を持つVRヘッドセットを着用しているところを想像してください。このLiDARと呼ばれるレーザーは、目に見えないビームを放出して、あらゆるものがどれくらい離れているかを測定します。あなたが部屋を歩き回ると、ヘッドセットは世界を、何百万もの色とりどりの点で構成された、ライブで変化する雲として捉えます。椅子を見れば、椅子の形をしたドットの雲が見えます。壁を見れば、平らなドットのシートが見えます。

多くの古いシステムでは、コンピュータは目にするすべてのドットをリアルタイムで一つの巨大で完璧な3Dモデルへと接着しようとします。著者たちは、これはケーキの生地を混ぜている最中にケーキを焼こうとするようなもので、乱雑でエラーが起きやすいと主張しています。代わりに、MESH4IDはライブビューを「プレビュー」として扱います。それは、画家がキャンバスを見つめ、光がどこに当たっているかを確認しながら、「よし、あそこは良さそうだ、今、写真を撮っておこう」と決めるようなものです。

仮想世界でボタンを押すと、システムは現在のドットの雲を「固定」します。その一瞬の時間を捉え、永続的なファイルとして保存します。それは、溶けてしまう前の雪片の写真を撮るようなものです。システムはこのスナップショットを2つの方法で保存します。一つは誰でも読める単純なテキストリスト（CSV）であり、もう一つはコンピュータが後でドットを再び描画するために使用できるコンパクトな3Dファイル（PLY）です。これは、すべてのデータに対して「領収書」を持っていることを意味するため、非常に重要です。もし最終的な3Dモデルが奇妙に見えた場合、どのスナップショットが問題を引き起こしたのかを正確に遡って確認できるからです。

仮想ワークショップ：クリーニングと統合

いくつかのスナップショットを撮り終えると、「ワークショップ」のフェーズに入ります。ここがシステムの真骨頂です。VR環境内では、保存されたすべてのスナップショットが、幽霊のような雲として空中に浮かんでいるのが見えます。それらをつかみ、眺め、どうするかを決めることができます。

時には、スナップショットに本来あるべきではない余分な点が含まれていることがあります。例えば、手が偶然映り込んでしまったり、スキャナーが実在しない反射を捉えてしまったりした場合です。システムは、仮想的な「クリッピングプレーン（切断平面）」を提供します。これは、巨大で目に見えないガラスのシートのようなものです。あなたは仮想の手でこのガラスを掴み、ドットの雲の中をスライドさせることができます。ガラスの片側にあるものは残り、反対側にあるものは切り落とされます。これは、複雑な数学を理解する必要のない、非常にシンプルで直感的なデータのクリーニング方法です。

スナップショットを整理した後、それらを結合したいと思うかもしれません。例えば、部屋の左側を撮った写真と右側を撮った写真がある場合です。両方の雲を選択し、システムに「マージ（統合）」するように指示できます。するとコンピュータは、両方の写真からすべてのドットを取り出し、それらを整列させ、一つのより大きな雲を作成します。論文では、このマージのステップがプロセスの中で最も遅い部分であり、使用したコンピュータでは3つのスナップショットの小さなグループに対して約12秒かかると記されています。しかし、コンピュータに推測させるのではなく、あなた自身が意図的に行うことで、何が得られるのかを正確に把握できるのです。

城の建設：ドットから壁へ

クリーンで統合されたドットの雲を手に入れたら、いよいよ城を建てる時です。システムは「Truncated Signed Distance Function（TSDF）」と呼ばれる数学的なトリックを使用します。ドットがフィールドに植えられた種だと想像してください。TSDFは、それらの種（ドット）の周囲に成長する魔法の霧のようなものです。それは、種が表面にあることを理解しており、その周囲の空間を埋めることで連続した滑らかな形状を作り出します。

次に、システムは「Marching Cubes（マーチングキューブ）」と呼ばれる古典的なアルゴリズムを使用して、この霧の中を歩きます。それは、霧が「内側」と「外側」のちょうど「中間」である不可視の線を探索します。その線を辿り、三角形のメッシュへと変えます。これは、ビデオゲームの3Dキャラクターを作るために使われるものと同じ種類の三角形です。その結果、今スキャンした部屋の、固くて滑らかな3Dモデルが出来上がります。

素晴らしい点は、このモデルがヘッドセット内で、実際の部屋と全く同じ場所に浮かんで表示されることです。あなたはその周りを歩き回り、さまざまな角度から眺め、壁が正しく見えるかを確認できます。もしモデルに穴があったり、奇妙な隆起があったりしても、システムがすべてのステップを完璧に記録しているため、どのスナップショットが原因なのかを正確に特定できます。

得られた知見とそれが意味すること

研究者たちは、ヘッドセットに接続された標準的なゲーミングコンピュータを用いて、このシステムをテストしました。その結果、スナップショットの撮影から最終的な3Dモデルの表示に至るまでの全プロセスは、数秒以内に完了することがわかりました。データの保存には約3秒、統合されたドットを滑らかな3D表面に変換するには合計で約3秒かかります。唯一の「ボトルネック」はマージのステップであり、3つのスナップショットに対して約12秒を要しました。

この論文は、このアプローチが3Dスキャニングの非常に実用的な方法であることを示唆しています。これを行うためにスーパーコンピュータは必要なく、標準的なPCとコンシューマー向けヘッドセットがあれば十分であることを証明しています。ただし、著者たちはこれがあくまで「実現可能性（フィジビリティ）」の研究であることには注意を払っています。彼らは、この手法が機能し、十分に実用的であるほど高速であることを示しましたが、プロ仕様のレーザースキャナーと比較して、3Dモデルがどれほど完璧であるかを正確に測定したわけではありません。また、ヘッドセットのトラッキングが不安定（ドリフト）になると、3Dモデルが完全に一致しない可能性があることも指摘しており、だからこそユーザーがデータをクリーニングし、統合することが重要になるのです。

結局のところ、MESH4IDは人間にコントロールを取り戻させるためのものです。ブラックボックスのようなアルゴリズムにすべてを任せるのではなく、ユーザーがガイドとなるパイプラインを作り上げました。あなたが写真を撮り、混乱を片付け、3Dモデルが完成したと判断するのです。これは、複雑な3D再構成の科学を、VRヘッドセットを持つ誰もが体験できる、実践的でインタラクティブな体験へと変えるものです。