당신이 단순히 눈에 보이는 것을 찍는 것이 아니라, 주변의 공기와 가구를 작은 빛나는 점들의 구름으로 바꾸어 공간의 실제 '형태'를 포착하는 마법 카메라를 들고 있다고 상상해 보세요. 이것은 3D 스캐닝의 세계입니다. 이 분야에서 과학자와 엔지니어들은 컴퓨터가 우리 눈처럼 물리적 세계를 3차원으로 '보는' 법을 가르치기 위해 노력하고 있습니다. 보통 이를 위해서는 고도의 기술 연구실에서나 볼 수 있는 비싸고 무거운 장비가 필요합니다. 하지만 최근에는 저렴한 센서 덕분에 이 마법을 주머니 속에 넣거나 심지어 머리에 쓰고 다닐 수 있게 되었습니다. 그러나 큰 과제는 단순히 사진을 찍는 것이 아닙니다. 그 수백만 개의 흩어진 점들을 어떻게 하면 비디오 게임이나 가상 현실 세계 속에서 걸어 다닐 수 있는 단단하고 매끄러운 벽이나 탁자로 바꿀 것인가 하는 문제입니다. 이것은 마치 모래로 성을 쌓는 것과 같습니다. 바람이 불도록 내버려 두면 엉망진창이 됩니다. 당신은 모래를 다지고, 매끄럽게 펴고, 성이 완성되었다고 선언하기 전에 모든 벽돌이 제자리에 있는지 확인하는 방법이 필요합니다.

이것이 바로 볼로냐 대학교의 연구팀이 해결하고자 했던 문제입니다. 그들은 MESH4ID(Incremental Digital-physical system을 위한 MESH)라고 불리는 새로운 시스템을 개발했습니다. 컴퓨터가 당신이 돌아다니는 동안 자동으로 완벽한 3D 모델을 만들려고 시도하게 두는 대신(이는 종종 혼란과 오류를 초래합니다), 그들은 "헤드셋 중심"의 파이프라인을 구축했습니다. 이것을 가상 현실 워크숍이라고 생각해보세요. 여기서 당신은 사용자이자 현장 소장이 됩니다. 당신은 특수 헤드셋(Meta Quest 3)을 착용하고 앞면에 레이저 스캐너(Intel RealSense L515)를 부착합니다. 당신이 움직임에 따라 스캐너는 방을 실시간으로 떠다니는 색색의 점 구름으로 그려냅니다. 하지만 반전이 있습니다. 컴퓨터는 이 점들을 즉시 하나의 벽으로 붙이려고 시도하지 않습니다. 대신, 당신이 언제 점들의 스냅샷을 "얼리고", 저장하고, 그 후 가상 도구를 사용하여 지저분한 부분을 정리하고, 여러 뷰를 병합한 다음, 준비가 되었을 때 비로소 컴퓨터에게 최종적인 매끄러운 표면을 만들라고 요청할지 결정합니다.

연구진은 이러한 "시간을 갖는" 접근 방식이 놀라울 정도로 잘 작동한다는 것을 발견했습니다. 사용자가 데이터를 큐레이팅하도록(어떤 스냅샷이 좋은지, 어떤 것을 버릴지, 그리고 어떻게 결합할지를 결정하도록) 함으로써, 헤드셋 내부에서 정확한 3D 모델을 만들 수 있었습니다. 그들의 실험에 따르면, 데이터를 저장하고 정리하는 데는 불과 몇 초가 걸리지만, 가장 어려운 부분은 여러 개의 스냅샷을 병합하는 것이며, 이는 세 장의 사진 세트를 기준으로 약 12초 정도 걸릴 수 있습니다. 그러나 데이터가 병합되면, 이를 단단한 3D 메쉬로 만드는 것은 매우 빠릅니다. 이 논문은 당신이 자신의 3D 영화의 능동적인 감독이 될 의지만 있다면, 이 방법이 고성능 슈퍼컴퓨터나 전문가 팀 없이도 실내 공간을 캡처할 수 있는 실용적이고 신뢰할 수 있는 방법임을 시사합니다.

마법의 헤드셋과 "그리기" 과정

그렇다면 이것은 실제로 어떻게 작동할까요? 당신이 앞에 아주 작은 첨단 레이저 눈이 달린 VR 헤드셋을 쓰고 있다고 상상해 보세요. LiDAR라고 불리는 이 레이저는 보이지 않는 광선을 쏘아 물체가 얼마나 멀리 있는지 측정합니다. 당신이 방 안을 걸어 다닐 때, 헤드셋은 수백만 개의 색상 점들로 이루어진 실시간으로 변화하는 구름으로 세상을 봅니다. 의자를 보면 의자 모양의 점 구름이 보이고, 벽을 보면 평평한 점의 시트가 보입니다.

많은 기존 시스템에서는 컴퓨터가 보는 모든 점을 실시간으로 하나의 거대한 완벽한 3D 모델로 붙이려고 시도합니다. 이 논문의 저자들은 이것이 마치 반죽이 아직 섞이고 있는 동안 케이크를 굽는 것과 같다고 주장합니다. 지저분하고 오류가 발생하기 쉽기 때문입니다. 대신, MESH4ID는 실시간 뷰를 "미리보기"로 취급합니다. 이것은 화가가 캔버스를 바라보며 빛이 어디에 닿는지 확인하고, "좋아, 저 부분은 괜찮네, 지금 사진을 찍어야지"라고 결정하는 것과 같습니다.

가상 세계에서 버튼을 누르면, 시스템은 현재의 점 구름을 "얼립니다". 그 찰나의 순간을 포착하여 영구적인 파일로 저장합니다. 이것은 마치 눈송이가 녹기 전에 스냅샷을 찍는 것과 같습니다. 시스템은 이 스냅샷을 두 가지 방식으로 저장합니다. 누구나 읽을 수 있는 간단한 텍스트 목록(CSV)과 컴퓨터가 나중에 점들을 다시 그릴 수 있도록 사용하는 압축된 3D 파일(PLY)입니다. 이것은 매우 중요한데, 이는 당신이 모든 데이터에 대한 "영수증"을 갖게 된다는 것을 의미하기 때문입니다. 만약 최종 3D 모델이 이상하게 보인다면, 당신은 정확히 어떤 스냅샷이 문제를 일으켰는지 확인하러 돌아갈 수 있습니다.

가상 워크숍: 정리와 병합

몇 개의 스냅샷을 찍고 나면, "워크숍" 단계에 들어갑니다. 여기서 시스템의 진가가 드러납니다. 가상 현실 환경에서 당신은 저장된 모든 스냅샷이 유령 같은 구름처럼 공중에 떠 있는 것을 볼 수 있습니다. 당신은 그것들을 집어 들고, 살펴보고, 무엇을 할지 결정할 수 있습니다.

때때로 스냅샷에 있어서는 안 될 여분의 점들이 있을 수 있습니다. 예를 들어 손이 실수로 가려졌거나, 스캐너가 실제가 아닌 반사광을 포착했을 수도 있습니다. 시스템은 당신에게 거대한, 보이지 않는 유리판과 같은 가상 "클리핑 평면(clipping plane)"을 제공합니다. 당신은 가상 손으로 이 유리를 잡고 점 구름 사이로 밀어 넣을 수 있습니다. 유리의 한쪽 면에 있는 것은 남고, 다른 쪽 면에 있는 것은 잘려 나갑니다. 이것은 복잡한 수학을 이해할 필요 없이 데이터를 정리하는 매우 간단하고 직관적인 방법입니다.

스냅샷을 정리한 후에는 그것들을 결합하고 싶을 수 있습니다. 예를 들어 방의 왼쪽을 찍은 사진 하나와 오른쪽을 찍은 사진 하나가 있을 수 있습니다. 당신은 두 점 구름을 선택하고 시스템에 "병합"하라고 명령할 수 있습니다. 그러면 컴퓨터는 두 사진의 모든 점을 가져와 정렬하고, 하나의 더 큰 구름을 만듭니다. 논문은 이 병합 단계가 프로세스 중 가장 느린 부분이며, 사용된 컴퓨터에서 세 개의 스냅샷 세트에 대해 약 12초가 소 걸린다고 언급했습니다. 하지만 당신이 컴퓨터의 추측에 맡기는 것이 아니라 의도적으로 수행하는 것이기 때문에, 당신은 정확히 무엇을 얻게 될지 알 수 있습니다.

성 쌓기: 점으로부터 벽까지

정리된 병합 점 구름을 갖게 되면, 이제 성을 쌓을 차 있음입니다. 시스템은 "절단된 부호 거리 함수(Truncated Signed Distance Function, TSDF)"라는 수학적 트릭을 사용합니다. 점들이 들판에 심어진 씨앗이라고 상상해 보세요. TSDF는 그 씨앗 주변으로 자라나는 마법 같은 안개와 같습니다. 그것은 씨앗들이 표면에 있다는 것을 알고 있으므로, 연속적인 형태를 만들기 위해 씨앗 주변의 공간을 채웁니다.

그 후 시스템은 "마칭 큐브(Marching Cubes)"라고 불리는 고전적인 알고 알고리즘을 사용하여 이 안개를 통과합니다. 이 알고리즘은 안개가 내부와 외부의 딱 "절반"인 지점을 찾습니다. 이 선을 추적하여 삼각형 메쉬로 변환하는데, 이는 비디오 게임의 3D 캐릭터를 만드는 데 사용되는 것과 같은 종류의 삼각형입니다. 결과물은 당신이 방금 스캔한 방의 단단하고 매끄러운 3D 모델입니다.

가장 좋은 점은 이 모델이 헤드셋 내부에서, 실제 방이 있는 위치에 정확히 떠 있는 상태로 나타난다는 것입니다. 당신은 그 모델 주위를 걸어 다니고, 다양한 각도에서 살펴보고, 벽이 제대로 생겼는지 확인할 수 있습니다. 만약 모델에 구멍이 있거나 이상한 돌출부가 있다면, 시스템이 모든 단계를 완벽하게 기록하고 있기 때문에 당신은 정확히 어떤 스냅샷이 원인이었는지 알 수 있습니다.

발견한 점과 그 의미

연구진은 헤드셋과 연결된 표준 게이밍 컴퓨터로 시스템을 테스트했습니다. 그들은 스냅샷을 찍는 것부터 최종 3D 모델을 보는 것까지의 전체 과정이 몇 초 안에 일어난다는 것을 발견했습니다. 데이터를 저장하는 데는 약 3초가 걸리고, 병합된 점을 매끄러운 3D 표면으로 만드는 데는 총 약 3초가 걸립니다. 유일한 진짜 "병목 현상"은 세 개의 스냅샷에 대해 12초가 걸린 병합 단계였습니다.

이 논문은 이 접근 방식이 3D 스캐닝을 위한 매우 실용적인 방법임을 시사합니다. 이는 이 작업을 수행하기 위해 슈퍼컴퓨터가 필요한 것이 아니라, 표준 PC와 소비자용 헤드셋만으로도 충분하다는 것을 증명합니다. 다만, 저자들은 이것이 "타당성(feasibility)" 연구라는 점을 주의 깊게 언급했습니다. 그들은 이 방식이 작동하며 충분히 빠르게 유용하다는 것을 보여주었지만, 전문적인 레이저 스캐너와 비교하여 3D 모델이 얼마나 완벽한지는 정확히 측정하지 않았습니다. 또한 헤드셋의 트래킹이 약간 흔들리면(드리프트 현상) 3D 모델이 완벽하게 일치하지 않을 수 있으며, 이것이 사용자가 데이터를 정리하고 병합하는 것이 중요한 이유라고 언급했습니다.

결국, MESH4ID는 인간에게 통제권을 돌려주는 것에 관한 것입니다. 모든 것을 처리하는 블랙박스 알고리즘에 의존하는 대신, 당신이 가이드가 되는 파이프라인을 만듭니다. 당신이 사진을 찍고, 지저분한 부분을 정리하며, 3D 모델이 준비되었을 때를 결정합니다. 이것은 복잡한 3D 재구성 과학을 누구나 VR 헤드셋으로 시도해 볼 수 있는 직접적이고 상호작적인 경험으로 바꿔 놓습니다.