Spectrally Enriched 3D Models for Representation and Interpretation of Elemental Data in Augmented Reality

何世紀も前の、壊れやすい工芸品を手に持っているところを想像してみてください。それは、描かれた陶器の破片かもしれませんし、繊細なジュエリーや、紙と糊で作られた植物モデルかもしれません。それが何でできているのかを理解するために、科学者たちはしばしば「レーザー誘起ブレークダウン分光法（LIBS）」と呼ばれる手法を用います。この手法は、高エネルギーの微小な光のパルスを対象物の表面に照射することで機能します。各パルスは、材料のごく微量をごく短時間で蒸発させ、一瞬のプラズマの閃光を作り出し、その地点に存在する化学元素を明らかにします。これは、古代の顔料の特定から微量ミネラルの検出に至るまで、材料の歴史を解明するための強力なツールです。しかし、そこには落とし穴があります。プロセスによって、レーザーが当たった場所に微小なクレーターが残ってしまうのです。もし科学者が、ある領域から別の領域へと組成がどのように変化するかを見るために、対象物の表面全体をマッピングしたいと考えた場合、数千回のパルスを照射しなければなりません。平らで頑丈な表面であれば、これは許容できるかもしれません。しかし、壊れやすく、曲がった、あるいは三次元的な形状を持つ物体の場合、数千もの微小なクレーターの累積的な影響によって、研究者が調査しようとしているもの自体を変質させてしまう恐lar可能性があるのです。

したがって、課題は、対象物を破壊することなく、その化学的構成について可能な限りの情報を学ぶことです。平らな対象物については、研究者たちは巧妙な回避策を開発しています。それは、写真を撮影し、コンピュータを使用して似たような見た目の色をグループ化し、そのグループ内の代表的な数カ所に対してのみレーザーを照射するという方法です。これにより、必要なショットの数を大幅に削減できます。しかし、このアプローチは対象物が平らではない場合には通用しません。写真は世界を平面化してしまい、現実の物体が持つ曲線、凹凸、隠れた角を見えなくしてしまいます。もし平らな画像のみを用いて曲面をマッピングしようとすれば、写真上では似て見える領域が、実際には離れた場所にあるものとしてグループ化されてしまったり、影や凹状の曲線に隠れた重要な詳細を見逃したりする可能性があります。これを解決するために、ポルトガルのINESC TECおよびポルト大学の研究チームは、これらの複雑な形状を分析するための新しい方法を開発しました。彼らは平面画像を超え、物体の真の三次元形状を理解するシステムを構築することで、より少ないレーザーショットで、かつ損傷のリスクを大幅に抑えて化学的なマッピングを行うことを可能にしました。

研究者たちは、彼らの新手法を特定の繊細な対象物、すなわち、ポルト大学自然史科学博物館に収蔵されている、19世紀の紙粘土製のキノコ（具体的にはベニテングニセニ）のモデルを用いてテストしました。このモデルは、教育展示用に作られた、茎と傘の2つの別々のパーツで構成されています。素材が脆弱であり、かつ形状が複雑で丸みを帯びているため、この実験の理想的な候補となりました。チームはまず、このキノコの精密なデジタルツインを作成することから始めました。青いレーザー光を投影する3Dスキャナーを使用し、物体の正確な幾何学的形状と表面の質感を取り込みました。このプロセスにより、形状だけでなく、色や微細な表面の詳細も、3Dフォームに巻き付けられた高解像度のテクスチャマップとして保存された、詳細なデジタルモデルが生成されました。

デジタルモデルを手にしたチームは、次にどこにレーザーを撃つかを決定するという課題に直面しました。彼らは平らな写真を見るのではなく、3Dモデルを直接見ました。彼らはコンピュータアルゴリズムを使用して、キノコの表面を「スーパーピクセル」と呼ばれる数千の小さな不規則なパッチに分割しました。極めて重要なのは、このアルゴリズムが単に色を見るだけでなく、三次元空間における各パッチの物理的な位置も考慮したことです。これにより、例えばキノコの傘にある赤いパッチが、たとえ平らな画像上で似て見えたとしても、現実の物体上で離れた場所にある場合は、茎の赤いパッチと一緒にグループ化されないようにしました。このステップにより、物体の真の幾何学形状を尊重し、キノコの異なる部分間の境界を維持しながら、表面を管理可能で一貫性のある領域に分割した、物体のマップが作成されました。

表面がこれらの幾何学的に認識されたパッチに分割されると、チームはデータを簡略化しました。彼らは各パッチの平均色を計算し、その後、色の類似性に基づいてパッチをより大きなクラスターへとグループ化しました。このプロセスにより、キノコの表面の複雑さは、数百万の個別のピクセルから、より少ない数の明確な領域へと削減されました。その結果、曲面や輪郭を尊重しながら、赤色の傘と白い斑点、そして白い茎といった、物体の主要な視覚的領域を特定するセグメンテーションが得られました。これらの最終的なクラスターのそれぞれから、研究者は分析のための代表的な地点を1つまたは数カ所だけ選び出しました。

この戦略により、レーザーショットの回数は劇的に減少しました。脆弱な紙粘土に無数のクレーターを残すような、221,000箇所の潜在的な全表面スキャンを行う代わりに、チームはわずか40箇所の特定のショットを選択しました。この40箇所のショットがあれば、物体全体の不可欠な化学情報を捉えるのに十分でした。これらの数少ない地点から放出される光を分析することで、周囲の領域の元素組成を推論することができました。レーザーパルスは低エネルギーレベルに設定され、アブレーション・スポットの直径は約300マイクロメートルに抑えられ、損傷が微小かつ局所的なものになるよう配慮されました。

最終ステップは、このデータを理解しやすい形で蘇らせることでした。チームは、40回のレーザーショットの結果を3Dデジタルモデルにマッピングしました。そして、拡張現実（AR）技術を使用して、その知見を可視化しました。専用のヘッドセットを装着することで、ユーザーは空間に浮かぶデジタルのキノコを見ながら、化学的なクラスターがその表面上に直接ハイライトされている様子を確認できます。インターフェースにより、モデルを回転させたり、ズームしたり、特定の元素を選択して、それらがどこで見つかったかを確認したりすることができました。これにより、空間的に文脈化されたビューが提供され、専門家であっても非専門家であっても、化学組成が物理的な形状や質感とどのように関連しているかを正確に把握することができました。

この研究は、スマートサンプリングの恩恵を、平らな二次元画像から複雑な三次元物体へと拡張できることを証明しています。物体の実際の幾何学形状を分析に組み込むことで、研究者は曲面を平面化することから生じる歪みやエラーを回避できます。このアプローチは単に時間を節約するだけでなく、分析と保存の関係を根本的に変えるものです。これにより、科学者は、フルスキャンによる累積的な損傷を受けることなく、壊れやすい歴史的遺物から、豊富で空間的に詳細な化学データを収集できるようになります。この成果は、文化遺産科学における新たな道を提示しており、そこでは対象物の完全性が優先され、分析ツールが、私たちが理解しようとしている世界の真の三次元的な性質に適応していくのです。