Monocular Panoramic Imaging for High-Precision 3D Shape Reconstruction

평면 사진만을 사용하여 사람의 발과 같이 복잡한 물체의 완벽한 3차원 모델을 구축하는 것을 상상해 보십시오. 이것은 기계가 세상을 보고 이해하도록 가르치는 데 전념하는 분야인 컴퓨터 비전의 근본적인 과제입니다. 수십 년 동안 과학자들은 이 문제를 해결하기 위해 두 가지 주요 접근 방식에 의존해 왔습니다. 첫 번째는 원형으로 배치된 여러 대의 카메라를 사용하여 각기 다른 각도에서 사진을 찍는 것입니다. 이 방법은 효과적이긴 하지만, 비용이 많이 들고 설치가 어려우며, 모든 카메라가 색상과 타이밍에 대해 일치하도록 정밀한 동기화가 필요합니다. 두 번째 방법은 단 한 대의 카메라를 사용하지만, 물체의 깊이를 추측하기 위해 복잡한 소프트웨어에 의존하며, 표면에 질감이나 패턴이 부족할 때 종종 어려움을 겪습니다. 두 방법 모두 매끄럽거나 복잡한 형상의 정확한 실시간 측정이 필요한 상황에서 난관에 봉착하는데, 이는 산업 검사 및 의료 진단 분야에서 빈번하게 발생하는 요구사항입니다.

절강대학교(Zhejiang University of Technology)의 연구팀은 단일 카메라의 단순함과 다중 카메라 배열의 포괄적인 시야를 결합한 색다른 길을 제시했습니다. 그들은 거울을 이용해 빛을 하나의 렌즈로 굴절시켜, 단 한 순간에 물체의 일곱 가지 서로 다른 관점을 포착하는 특수 장치를 설계했습니다. 이들은 새로운 수학적 접근 방식을 통해 이 동시적인 뷰들을 분석함으로써, 사람의 발을 높은 정밀도로 3차원 형상으로 재구성하는 데 성공했습니다. 그들의 연구는 값비싸고 복잡한 전통적인 다중 카메라 시스템 없이도 고품질의 3D 측정이 가능하다는 것을 입증하며, 정확성이 매우 중요한 시나리오를 위한 강력한 솔루션을 제공합니다.

그들 혁신의 핵심은 맞춤 제작된 이미징 챔버에 있습니다. 연구진은 카메라를 물체 앞에 두고 움직이는 대신, 물체를 거울로 안감이 된 상자 안에 넣었습니다. 이 상자는 안쪽을 향하도록 배치된 6개의 사다리꼴 거울로 구성된 깔때기 모양입니다. 단 한 대의 고해상도 카메라가 이 챔버의 중앙을 내려다봅니다. 발과 같은 물체가 챔버 안에 놓이면, 카메라는 물체를 직접 볼 뿐만 아니라 거울에 반사되어 튕겨 나오는 물체의 여러 가상 뷰도 보게 됩니다. 단 한 번의 스냅샷으로, 카메라는 물체의 윗부분에 대한 직접적인 뷰 하나와 측면 및 뒷면을 보여주는 6개의 가상 뷰를 포착하여, 사실상 7개의 카메라 설정을 시뮬레이션합니다. 이 모든 뷰는 동일한 렌즈로부터 동일한 순간에 오기 때문에, 여러 대의 카메라를 교정하거나 색상을 동기화해야 하는 흔한 문제들을 피할 수 있습니다. 조명 또한 챔버 내부에서 제어되므로, 물체가 균일하게 조명을 받고 그림자나 눈부심 같은 방해 요소가 없도록 보장합니다.

이미지가 캡처되면, 연구진은 그 평면적인 반사 이미지들을 견고한 3D 형상으로 바꾸는 과제에 직면합니다. 그들은 물체 주변의 공간을 일련의 작은 투명한 입방체, 즉 복셀(voxel)처럼 취급하는 방법을 개발했습니다. 발 주변의 공간을 이러한 큐브들로 채운다고 상상해 보십시오. 그런 다음 알고리즘은 물체의 위에서 아래까지, 그리고 옆면 전체를 아우르는 모든 가능한 각도를 체계적으로 점검합니다. 각 각도에 대해, 알고리즘은 7개의 뷰에 나타난 대응하는 반사상을 확인하여 해당 큐브가 물체의 일부인지 아니면 빈 공간인지를 결정합니다. 이는 큐브의 투영된 밝기가 모든 서로 다른 뷰에서 일관적인지 확인하는 방식으로 이루어집니다. 만약 빛이 모든 반사상에서 동일하게 보인다면 그 큐브는 표면의 일부일 가능성이 높고, 밝기가 크게 변한다면 그 큐브는 깎여 나갑니다. '공간 카빙(space carving)'이라고 알려진 이 과정은 시스템이 빈 공간을 깎아내어 물체의 형상만이 남을 때까지 반복하게 함으로써, 표면을 정의하는 상세한 포인트 클라우드(point cloud)를 생성합니다.

이 시스템을 테스트하기 위해 연구진은 복잡한 곡선과 매끄러운 피부를 가진 사람의 발을 재구성하는 데 이를 적용했습니다. 이는 높은 정밀도를 요구하는 작업입니다. 그들은 거울 챔버 안에 발을 넣고 파노라마 이미지를 캡처했습니다. 시스템은 이미지를 처리하여 발을 검은색 배경에서 분리하고, 색상 데이터를 알고리즘이 사용할 수 있는 형식으로 변환했습니다. 그 결과, 색상 정보가 포함된 완전한 3차원 포인트 클라우드가 생성되었습니다. 정확도를 검증하기 위해, 그들은 이 3D 모델을 다시 평면 스크린에 투영하여 카메라 뷰에서의 원래 발 실루엣과 얼마나 잘 일치하는지 확인했습니다. 비교 결과 매우 높은 중첩도를 보였으며, 대부분의 뷰에서 오차율은 일반적으로 3% 미만으로 유지되었습니다. 상단 뷰와 두 개의 보조 측면 뷰는 0.68%만큼 낮은 오차를 보이며 가장 높은 정확도를 나타냈습니다.

또한 연구진은 추가적인 거울이 실제로 차이를 만드는지 확인하기 위해, 그들의 7-뷰 시스템을 기존의 5-뷰 설정과 비교했습니다. 두 개의 보조 거울이 부족한 5-뷰 시스템은 발의 뒷부분을 정확하게 포착하는 데 어려움을 겪어, 해당 영역에서 간극과 높은 오차율을 보였습니다. 반면 7-뷰 시스템은 후면 섹션을 위한 독립적인 각도를 제공함으로써, 누락된 세부 사항을 채워 넣고 전체적인 오차를 크게 줄였습니다. 연구진은 추가된 뷰들이 측정 정확도의 변동을 완화하여, 관찰하기 어려운 물체의 부분까지도 충실하게 재구성한다는 것을 발견했습니다. 이 방법은 매끄럽고 단단한 물체에는 매우 효과적이지만, 저자들은 빛이 내부까지 도달하여 반사를 만들어낼 수 없기 때문에 깊은 구멍이나 복잡한 내부 구조가 있는 경우에는 한계가 있다고 언급했습니다.

이 연구는 3D 스캐닝에 사용되는 값비싸고 복잡한 기계들에 대한 설득력 있는 대안을 제시합니다. 단 한 대의 카메라와 영리한 거울 배치를 사용하여, 연구팀은 비용 효율적이면서도 매우 정확한 시스템을 만들었습니다. 단 한 번의 노출로 전체 360도 뷰를 캡처할 수 있는 능력은 움직이는 부품이나 동기화된 여러 장치의 필요성을 제거하여, 과정을 더 빠르고 신뢰할 수 있게 만듭니다. 사람의 발 모양을 성공적으로 재구성한 것은 이 접근 방식이 의료 또는 산업적 응용에 필요한 정밀도로 실제 물체를 다룰 수 있음을 보여줍니다. 이 기술이 아직 모든 종류의 물체, 특히 깊은 구멍이 있는 물체에 대한 보편적인 해결책은 아니지만, 고정밀 3D 측정을 더욱 접근 가능하고 실용적으로 만드는 데 있어 중요한 진전을 의미합니다. 시스템의 소스 코드와 문서는 공개되어 있어, 다른 과학자들이 이 연구를 바탕으로 기술을 더욱 발전시키고 향로 응용 분야를 넓힐 수 있도록 하고 있습니다.