당신이 여러 각도에서 찍은 사진들을 쌓아 올려 완벽한 3D 모델을 만들려고 한다고 상상해 보세요. 이것은 마치 조각들이 서로 맞물려 세상의 진정한 형태를 보여주어야 하는 퍼즐을 맞추는 것과 같습니다. 하지만 까다로운 반전이 있습니다. 방에 거대한 거울이 있다면 어떻게 될까요? 갑자기 카메라는 유리 뒤에 있는 방의 '유령' 버전을 보게 됩니다. 컴퓨터가 3D 모델을 구축하려고 할 때, 거울 속 반사는 실제 가구만큼이나 진짜처럼 보입니다. 컴퓨터는 이 유령 이미지가 공중에 떠 있는 실제 물체라고 착각하여 혼란에 빠지고, 이는 전체 재구성을 망쳐버립니다. 이것이 바로 "거울 탐지(mirror detection)"의 문제입니다. 오랫동안 컴퓨터는 단일 사진에서 거울을 찾아내는 데는 뛰어난 성능을 보였지만, 여러 지점에서 촬영된 일련의 사진들을 전체적으로 살펴보는 데는 어려움을 겪어 왔습니다. 컴퓨터는 실제 방이 움직이는 방식과 반사가 움직이는 방식을 비교할 때만 나타나는 단서들을 놓치곤 합니다.

휴스턴 대학교의 연구진은 컴퓨터에게 더 나은 탐정이 되는 법을 가르치기 위해 새로운 도구 세트를 제공하기로 결심했습니다. 그들은 단 하나의 각도에서 거울을 바라보면 실제와 반사를 구분하기 어렵다는 점을 깨달았습니다. 하지만 세 가지 다른 각도에서 거見た다면, 반사는 실제 물체와 다르게 기이하게 행동하기 시작합니다. 반사는 실제 물체가 하는 방식과는 다르게 뒤집히고 이동합니다. 이를 해결하기 위해 그들은 거울로 가득 찬 3D 장면을 담은 완전히 새로운 데이터베이스를 구축하고, MVMD(Multi-View Mirror Detection)라는 특별한 AI 시스템을 만들었습니다. MVMD를 협력하는 세 명의 똑똑한 탐정 팀이라고 생각해보세요. 한 명의 탐정은 당신이 머리를 움직일 때 장면이 어떻게 변하는지 관찰하고, 다른 탐정은 유리 안의 물체들의 "유령" 복사본을 찾으며, 세 번째 탐정은 거울의 윤곽을 완벽하게 만들기 위해 가장자리를 날카롭게 다듬습니다. 그들의 결과는 이 다각도 접근 방식을 사용함으로써 기존 방법들보다 거울을 훨씬 더 잘 찾아낼 수 있으며, 거울이 많은 방에서의 3D 재구성을 훨씬 더 정확하게 만든다는 것을 보여줍니다.

기계 속의 유령

거울이 왜 3D 재구성을 망칠까요? 카드 집을 짓고 있다고 상상해 보세요. 만약 누군가 창문에 비친 그림자처럼 보이지만 실제로는 가짜인 카드를 몰래 끼워 넣는다면, 구조가 잘못되어 당신의 카드 집은 무너질 수도 있습니다. 컴퓨터 비전의 세계에서 거울은 "팬텀 오브젝트(phantom objects, 환상 물체)"를 만들어냅니다. 컴퓨터가 방의 3D 모델을 만들려고 할 때, 물체가 얼마나 멀리 있는지 파악하기 위해 다양한 각도의 사진을 살펴봅니다. 하지만 거울은 컴퓨터를 속입니다. 거울은 의자가 앉아 있는 것처럼 보이는 위치에 실제로는 빈 공간이 있음에도 불구하고 의자의 반사를 보여줍니다. 컴퓨터는 혼란에 빠져 그곳에 의자가 있다고 생각하고, 이 가짜 의자를 포함한 3D 모델을 구축하게 됩니다. 이는 왜곡되고 부서진 3D 세계로 이어집니다.

수년 동안 과학자들은 컴퓨터에게 단일 사진에서 거울을 찾는 법을 가르쳐 이 문제를 해결하려 노력해 왔습니다. 하지만 단일 사진은 단 하나의 단서만 가지고 미스터리를 풀려는 것과 같습니다. 반짝이는 표면이 거울인지, 창문인지, 아니면 단순히 예술 작품인지 구분하기 어렵기 때문입니다. 문제는 비디오나 다양한 각도에서 찍은 사진 세트(multi-view)를 다룰 때 더욱 심화됩니다. 기존 방식들은 각 사진을 마치 독립된 것처럼 취급하여 전체적인 그림을 놓치는 경우가 많습니다. 또한 그들은 종-종 "깊이 지도(depth maps)"에 의존하기도 하는데, 이는 컴퓨터에게 사물이 얼마나 멀리 있는지 알려주는 3D 청사진과 같습니다. 하지만 이러한 청사진을 얻는 것은 비용이 많이 들고 어렵기 때문에, 연구진은 일반적인 사진(RGB 이미지)만으로도 작동하는 솔루션을 원했습니다.

새로운 탐정 팀: MVMD

연구진은 거울을 찾기 위해 각자 특별한 임무를 수행하며 협력하는 세 명의 탐정 팀처럼 작동하는 새로운 방법인 MVMD를 제안했습니다. 그들은 단순히 추측한 것이 아니라, 먼저 새로운 데이터셋을 구축했습니다. 아무도 멀티뷰 거울 장면을 위한 데이터베이스를 만든 적이 없었기에, 그들은 MVMD 데이터셋을 직접 만들었습니다. 이 데이터셋은 컴퓨터 생성 세계와 실제 사진을 모두 포함하여 98개의 서로 다른 장면에서 추출한 3,181개의 이미지를 담고 있습니다. 이 데이터셋은 그들의 AI가 거울을 찾아내는 훈련장 역할을 합니다.

MVMD 시스템은 서로 다른 각도에서 찍은 세 장의 사진을 입력값으로 사용합니다. 특수한 깊이 센서가 필요 없으며, 오직 사진만을 분석합니다. 이 시스템은 세 개의 주요 블록, 즉 "탐정"으로 구성되어 있습니다.

1. 인터 뷰즈(Inter-Views) 탐정: 이 탐정은 사진을 전환할 때 장면이 어떻게 변하는지를 관찰합니다. 카메라를 움직이면 실제 물체는 예측 가능한 방식으로 움직입니다. 하지만 거울 속의 반사는 다르게 움직입니다. 그것은 독특한 패턴으로 뒤집히고 이동합니다. 이 탐정은 이러한 기이한 움직임을 포착하기 위해 특별한 "어텐션(attention)" 메커니즘을 사용합니다. 이는 마치 창가 옆을 지나갈 때 외부의 나무들은 천천히 움직이지만, 유리창에 비친 당신의 얼굴은 빠르게 스쳐 지나가는 것을 알아차리는 것과 같습니다.
2. 인트라 뷰즈(Intra-View) 탐정: 이 탐정은 단일 사진을 보되, 실제 물체와 거울 속의 "유사한 유령" 복사본을 비교합니다. 이 탐정은 거울 이미지가 실제 사물의 뒤집힌 버전이라는 것을 알고 있습니다. 이 탐정은 실제 물체와 그 반사된 쌍을 찾아내어, 그것들이 마치 즐거운 집(funhouse)의 거울처럼 서로 일치하는지 확인합니다. 만약 왼쪽에 램프가 있고 오른쪽에 그와 일치하는 반사된 램프가 있다면, 이 구역을 거울로 표시합니다.
3. 리파인먼트(Refinement) 탐정: 첫 두 탐정이 거울을 찾아내면, 이 탐정이 투입되어 뒷정리를 합니다. 이 탐정은 거울의 가장자리를 날카롭게 다듬어 거울의 윤곽이 선명하고 깨끗하도록 만듭니다. 컴퓨터가 거울의 시작과 끝을 추측할 때 흔히 발생하는 "흐릿함"을 제거합니다.

결과: 더 선명한 그림

연구진이 새로운 시스템을 테스트했을 때, 결과는 인상적이었습니다. 그들은 비디오나 단일 사진을 사용하는 6가지 최상위 방법들과 MVMD를 비교했습니다. 새로운 시스템은 단순히 괜찮은 수준을 넘어 훨씬 더 뛰어난 성과를 보였습니다.

• 정확도(Accuracy): MVMD는 기존의 가장 우수한 방법들에 비해 거울 탐지 정확도를 2.6% 향상시켰습니다.
• 정밀도(Precision/IoU): 컴퓨터가 거울의 윤곽을 얼마나 잘 그려냈는지를 나타내는 지표인 IoU(Intersection over Union) 측면에서, MVMD는 11.1% 급증했습니다. 이는 이 분야에서 엄청난 도약입니다.
• 효율성(Efficiency): 이 시스템은 또한 효율적입니다. 다른 복잡한 시스템들에 비해 더 적은 컴퓨터 자원(파라미터)과 메모리를 사용하므로 더 빠르고 가볍습니다.

연구진은 기존 방식들이 실패했던 시각적 사례들을 보여주었습니다. 예를 들어, 어떤 사진에서는 다른 시스템들이 선반 위의 작은 거울을 놓치거나 액자를 거울로 혼동했습니다. 그러나 MVMD는 작은 거울을 정확히 식별했을 뿐만 아니라, 다른 시스템들이 놓친 전구의 반사까지 포착했습니다. 또한 물체가 거울 바로 앞에 놓여 반사의 일부를 가리는 까다로운 상황도 잘 처리했습니다.

이것이 중요한 이유

이 연구는 실제 공간의 3D 모델을 구축하려는 모든 이들에게 큰 진전입니다. 가상 현실, 자율 주행 로봇, 또는 건물의 디지털 트윈을 만드는 작업 등 무엇이든, 기하학적 구조를 정확하게 파악하는 것은 매우 중요합니다. 만약 로봇이 거울을 벽이라고 생각한다면 충돌할 수 있습니다. 만약 가상 현실 게임이 반사를 실제 사람이라고 생각한다면 게임 세계는 무너질 것입니다. 컴퓨터에게 여러 각도를 바라보게 하고 반사가 실제 물체와 다르게 행동한다는 점을 이해시킴으로써, MVMD는 컴퓨터가 세상을 더 명확하게 볼 수 있도록 돕습니다.

연구진은 또한 그들의 방법이 완벽하지는 않다고 언급했습니다. 만약 거울이 특징점이 없는 빈 벽을 비추고 있다면, 비교할 대상이 없기 때문에 시스템이 혼란을 겪을 수 있습니다. 또한 시스템이 가장 잘 작동하려면 사진이 특정 순서(한 방향으로 이동하는 방식)로 촬영되어야 합니다. 하지만 전반적으로, 이 새로운 접근 방식은 문제를 다각도에서 바라보는 것이 거울의 미스터리를 푸는 열쇠라는 점을 증명합니다. 이는 혼란스러운 유령 이야기를 해결 가능한 퍼즐로 바꾸어 놓으며, 빛나는 표면이 가득한 세상에서 더 정확하고 신뢰할 수 있는 3D 재구성을 위한 길을 열어줍니다.