Spectrally Enriched 3D Models for Representation and Interpretation of Elemental Data in Augmented Reality

수 세기 된 연약한 유물을 손에 들고 있다고 상상해 보십시오. 그것은 채색된 도자기 파편일 수도 있고, 섬세한 장신구일 수도 있으며, 종이와 풀로 만든 식물 모델일 수도 있습니다. 과학자들이 그 물체가 무엇으로 만들어졌는지 이해하기 위해 흔히 '레이저 유도 분광법(Laser-Induced Breakdown Spectroscopy)'이라는 기술을 사용합니다. 이 방법은 물체의 표면에 아주 작고 에너지가 높은 빛의 펄스를 발사하는 방식으로 작동합니다. 각 펄스는 미세한 양의 재료를 기화시켜 짧은 플라즈마 섬광을 만들어내며, 이를 통해 해당 지점에 존재하는 화학적 원소들을 밝혀냅니다. 이는 고대 안료를 식별하거나 미량의 광물을 탐지하는 등 재료의 역사를 밝혀내는 데 강력한 도구입니다. 하지만 문제가 하나 있습니다. 이 과정은 레이저가 맞은 자리에 작은 구덩이를 남긴다는 점입니다. 만약 과학자가 물체의 구성 성분이 영역마다 어떻게 변하는지 파악하기 위해 전체 표면을 매핑하고자 한다면, 수천 번의 펄스를 쏘아야 합니다. 평평하고 단단한 표면이라면 이 정도는 허용될 수 있습니다. 하지만 취약하거나 곡선형인, 혹은 3차원적인 물체의 경우, 수천 개의 작은 구덩이가 누적된 효과는 연구하려는 대상 자체를 변형시켜 눈에 보이는 손상을 입힐 수 있습니다.

따라서 과제는 물체를 파괴하지 않으면서 그 화학적 구성에 대해 가능한 모든 것을 알아내는 것입니다. 평평한 물체의 경우, 연구자들은 영리한 우회 방법을 개발했습니다. 사진을 찍은 다음, 컴퓨터를 사용하여 유사해 보이는 색상들을 하나로 묶고, 각 그룹 내에서 대표적인 몇 군데 지점에만 레이저를 쏘는 방식입니다. 이렇게 하면 필요한 샷의 수를 크게 줄일 수 있습니다. 그러나 이 접근 방식은 물체가 평평하지 않을 때 한계에 부딪힙니다. 사진은 세상을 평면화하여 실제 물체의 곡선, 굴곡, 숨겨진 모서리를 가려버리기 때문입니다. 만약 평면 이미지만을 사용하여 곡면을 매핑하려고 한다면, 실제로는 서로 멀리 떨어져 있음에도 사진상에서 비슷해 보인다는 이유로 두 영역을 하나로 묶어버릴 수 있으며, 그림자나 오목한 곡선 속에 숨겨진 중요한 세부 사항을 놓칠 수도 있습니다. 이를 해결하기 위해 포르투갈의 INESC TEC와 포르토 대학교의 연구팀은 복잡한 형상을 분석하는 새로운 방법을 개발했습니다. 그들은 평면 이미지를 넘어 물체의 실제 3차원 형태를 이해하는 시스템을 구축함으로써, 훨씬 적은 레이저 샷으로도 손상 위험을 크게 낮추면서 화학적 매핑을 수행할 수 있게 되었습니다.

연구진은 자신들의 새로운 방법을 특정하고 섬세한 물체인 19세기 종이 반죽(papier-mâché)으로 만든 버섯 모델, 구체적으로 포르토 대학교 자연사 과학 박물관에 소장된 Amanita muscaria(광대버섯) 모델에 테스트했습니다. 이 모델은 교육용 전시를 위해 제작되었으며, 줄기와 갓의 두 부분으로 구성되어 있습니다. 재료가 취약하고 물체의 형태가 복잡한 둥근 모양이기 때문에, 이 실험의 이상적인 대상이었습니다. 연구팀은 먼저 버섯의 정밀한 디지털 트윈을 만드는 것으로 시작했습니다. 청색 레이저 빛을 투사하는 3D 스캐너를 사용하여 물체의 정확한 기하학적 구조와 표면 질감을 포착했습니다. 이 과정은 형태뿐만 아니라 색상과 미세한 표면 세부 사항까지 포함하며, 3D 형태 위에 입혀진 고해 resolução 텍스처 맵으로 저장된 상세한 디지털 모델을 생성했습니다.

디지털 모델을 확보한 후, 연구팀은 레이저를 어디에 쏠지 결정하는 과제에 직면했습니다. 그들은 평면 사진을 보는 대신 3D 모델을 직접 바라보았습니다. 그들은 컴퓨터 알고و리즘을 사용하여 버섯의 표면을 '슈퍼픽셀(superpixels)'이라 불리는 수천 개의 작고 불규칙한 패치로 나누었습니다. 결정적으로, 이 알고리즘은 단순히 색상만을 보는 것이 아니라 각 패치의 3차원 공간상의 물리적 위치도 고려했습니다. 이는 버섯 갓 위의 빨간색 패치가 실제로는 서로 멀리 떨어져 있음에도 불구하고, 평면 이미지에서 비슷해 보인다는 이유로 줄기의 빨간색 패치와 함께 묶이지 않도록 보장했습니다. 이 단계는 물체의 실제 기하학적 구조를 존중하는 지도를 만들었으며, 물리적 모델의 경계를 유지하면서 표면을 관리 가능한 일관된 영역으로 나누었습니다.

표면이 이러한 기하학적 인지 패치들로 나뉜 후, 연구팀은 데이터를 단순화했습니다. 각 패치의 평균 색상을 계산한 다음, 색상이 얼마나 유사한지에 따라 패치들을 더 큰 클러스터로 그룹화했습니다. 이 과정은 버섯 표면의 복잡성을 수백만 개의 개별 픽셀에서 훨씬 적은 수의 뚜렷한 영역으로 줄여주었습니다. 결과적으로 물리적 모델의 곡선과 윤곽을 존중하면서도, 흰 점이 있는 붉은 갓과 흰 줄기 같은 물체의 주요 시각적 영역을 식별하는 세그멘테이션(segmentation)이 이루어졌습니다. 연구진은 이렇게 최종적으로 생성된 각 클러스터에서 분석을 위한 단 하나 또는 몇 개의 대표 지점만을 선택했습니다.

이 전략은 필요한 레이저 샷의 수를 극적으로 줄였습니다. 취약한 종이 반죽 모델에 수많은 구덩이를 남길 수 있는 221,000개 이상의 잠재적 지점을 전체 표면에 스캔하는 대신, 연구팀은 단 40개의 특정 지점만을 선택했습니다. 이 40번의 샷은 물체 전체의 필수적인 화학 정보를 포착하기에 충분했습니다. 이 몇몇 지점에서 방출되는 빛을 분석함으로써, 그들은 주변 영역의 원소 구성을 추론할 수 있었습니다. 레이저 펄스는 낮은 에너지 수준으로 설정되어 약 300 마이크로미터 직경의 절제(ablation) 지점만을 생성함으로써, 손상을 미세하고 국소적인 수준으로 유지했습니다.

마지막 단계는 이 데이터를 이해하기 쉬운 방식으로 다시 생동감 있게 구현하는 것이었습니다. 연구팀은 40번의 레이저 샷 결과를 3D 디지털 모델에 다시 매핑했습니다. 그런 다음 증강 현실(AR) 기술을 사용하여 그 결과를 시각화했습니다. 특수 헤드셋을 착용하면, 사용자는 공간에 떠 있는 디지털 버섯을 바라보며 서로 다른 화학적 클러스터가 표면에 직접 강조되어 나타나는 것을 볼 수 있습니다. 이 인터페이스를 통해 사용자는 모델을 회전시키고, 확대하며, 특정 원소를 선택하여 그것들이 어디에서 발견되었는지 확인할 수 있었습니다. 이는 전문가와 비전문가 모두가 화학적 구성이 물리적 형태 및 질감과 어떻게 연관되는지 정확하게 볼 수 있도록 하는 공간적 맥락이 부여된 뷰를 제공했습니다.

이 연구는 스마트 샘플링의 이점을 평평한 2차원 이미지를 넘어 복잡한 3차원 물체로 확장할 수 있음을 보여줍니다. 분석에 물체의 실제 기하학적 구조를 포함함으로써, 연구자들은 곡면을 평면화할 때 발생하는 왜곡과 오류를 피할 수 있습니다. 이 접근 방식은 단순히 시간을 절약하는 것뿐만 아니라, 분석과 보존 사이의 관계를 근본적으로 변화시킵니다. 이는 과학자들이 전체 스캔으로 인한 누적 손상을 입히지 않고도 취약한 역사적 유물로부터 풍부하고 공간적으로 상세한 화학 데이터를 수집할 수 있게 해줍니다. 이 작업은 유물의 온전함이 우선시되고, 분석 도구가 우리가 이해하고자 하는 세상의 진정한 3차원적 본질에 맞춰 적응되는 문화유산 과학의 새로운 길을 제시합니다.