A Hybrid Binary–Ternary Encoding Strategy for High-Capacity and Robust Phase Unwrapping in Fringe Projection Profilometry

울퉁불퉁하거나, 빛이 반사되거나, 어두운 물체를 직접 만지지 않고 완벽한 3D 사진을 찍는다고 상상해 보십시오. 과학자들은 '프린지 투영 프로필로메트리(fringe projection profilometry)'라는 영리한 기술을 사용하여 이를 수행합니다. 이 기술은 물체 위에 일련의 줄무늬 패턴(마치 빛으로 만든 바코드와 같은)을 투영하고, 카메라가 이 줄무늬가 어떻게 휘고 뒤틀리는지를 관찰하는 방식입니다. 이 뒤틀림을 측정함으로써 컴퓨터는 물체의 모양을 계산할 수 있습니다. 하지만 문제가 하나 있습니다. 컴퓨터는 줄무늬를 12시간마다 리셋되는 시계처럼 반복되는 루프로만 인식한다는 점입니다. 컴퓨터는 현재 시간이 "3시"라는 것은 알지만, 그것이 새벽 3시인지, 오후 3시인지, 아니면 3일 뒤인지 알지 못합니다. 이를 해결하기 위해 컴퓨터는 줄무늬 패턴의 정확한 루프를 파악하기 위해 '위상 펼치기(phase unwrapping)'를 수행해야 합니다. 즉, 위상을 '언래핑(unwrap)'해야 합니다. 만약 컴퓨터가 잘못된 루프를 추측하면, 3D 모델이 뒤섞여 물체의 일부가 엉뚱한 곳에 나타나거나 글리치(glitch)가 발생한 비디오 게임처럼 보일 수 있습니다. 이를 정확하게 구현하는 것은 보안용 얼굴 스캔부터 자동차 부품 설계에 이르기까지 매우 중요하지만, 노이즈, 나쁜 조명, 또는 물체가 매우 복잡할 경우 매우 까다로운 작업입니다.

이때 시안 공과대학교(Xi'an Technological University)의 연구진이 이 퍼즐을 풀기 위한 새로운 전략인 '하이브리드' 방식을 고안해 냈습니다. 그들은 컴퓨터에게 현재 어느 루프에 있는지 알려주기 위해 단 한 가지 종류의 코드에만 의존하는 대신, 두 가지 서로 다른 코딩 언어를 혼합했습니다. 바로 단순한 '이진(binary)' 코드(전등 스위치처럼 켜져 있거나 꺼져 있는 상태)와 '삼진(ternary)' 코드(낮음, 중간, 높음의 세 가지 상태를 가진 스위치)를 결합한 것입니다. 이것은 거대한 도시에서 특정 집을 찾는 것과 같습니다. 이진 코드가 "집이 길의 왼쪽인가 오른쪽인가?"라고 묻는 것이라면, 삼진 코드는 "집이 첫 번째, 두 번째, 또는 세 번째 블록에 있는가?"라고 묻는 것과 같습니다. 이 질문들을 결합함으로써 연구진은 단 한 가지 유형의 질문만을 사용할 때보다 훨씬 더 빠르고 정확하게 위치를 찾아낼 수 있습니다.

이 논문은 특정 순서의 빛 패턴을 사용하는 방법을 제안합니다. 표면의 고정밀 '지도'를 얻기 위한 4단계, 보조 지도를 얻기 위한 3단계, 그리고 주소 라벨 역할을 하는 3개의 특수한 '삼진 그레이 코드(ternary Gray code)' 패턴으로 구성됩니다. 이 시스템의 영리한 점은 이 라벨들을 읽는 방식에 있습니다. 이들의 시스템은 '화이트'가 무엇인지 알기 위해 빈 벽을 찍는 것과 같은 추가적인 '캘리브레이션(calibration)' 사진을 필요로 하지 않습니다. 대신, 줄무늬 자체의 밝기를 보고 디코딩을 위한 임계값을 파악합니다. 이는 마치 용의자가 누구인지 알기 위해 참조 사진을 필요로 하지 않고, 눈앞의 단서들을 직접 분석하는 탐정과 같습니다. 덕분에 이 방식은 조명이 변하거나 표면이 빛나는 까다로운 상황도 처리할 수 있습니다.

코드가 바뀌는 경계 영역(boundary regions)에서 실수를 방지하기 위해, 연구팀은 '사전 교정(pre-correction)' 단계를 추가했습니다. 그들은 줄무늬의 방향이 주소 코드의 논리와 일치하는지 확인합니다. 만약 수학적 계산이 맞지 않는다면—예를 들어 주소는 '3번 블록'이라고 하는데 줄무늬는 '2번 블록'을 가리키고 있다면—시스템은 최종적인 3D 형상을 확정하기 전에 해당 주소를 더 적절한 후보로 자동 교체합니다.

연구진은 이 아이디어를 두 가지 방식으로 테스트했습니다. 첫째, 다양한 수준의 '노이즈'(거칠고 입자가 있는 이미지를 시뮬레이션함)를 적용하여 컴퓨터 시뮬레이션을 수행했습니다. 그 결과, 이미지가 매우 노이즈가 심한 상태에서도 이들의 방식이 기존 기술보다 훨씬 적은 오류를 범한다는 것을 발견했습니다. 구체적으로, 이 방식은 줄무키 루프를 세는 전체 오류를 약 21배 감소시켰으며, 최종 3D 형상을 훨씬 더 매끄럽게 만들어 보정되지 않은 방식에 비해 제곱평균제곱근 오차(root-mean-square error)를 약 43배 줄였습니다. 실제 실험에서도 연구진은 인간의 얼굴이나 여러 물체를 동시에 스캔하는 복잡한 작업을 성공적으로 수행하여, 굴곡진 상세한 표면에서도 시스템이 작동함을 증명했습니다.

하지만 이 논문은 또한 한계점도 언급하고 있습니다. 이 시스템은 프로젝터의 초점이 완벽하게 맞지 않을 때 발생하는 '디포커스(defocus)' 현상에 민감합니다. 빛 패턴이 너무 흐릿해지면 세 단계(삼진) 코드를 구분하기 어려워지며, 오류율이 급격히 상승합니다. 연구진은 자신들의 방법이 고속, 고정밀 측정을 위한 강력한 솔루션이지만, 광학 시스템이 크게 초점에서 벗어난 경우에는 여전히 어려움을 겪는다고 제안했습니다. 전반적으로, 이 연구는 이 하이브리드 이진-삼진 전략이 장비의 초점을 잘 유지한다는 전제하에 속도, 정확성, 그리고 복잡한 형상을 다루는 능력 사이의 강력한 균형을 제공한다는 것을 보여줍니다.