당신이 마치 실제 현실과 똑같이 보이는 비디오 게임 레벨처럼, 완벽한 3D 세계 모델을 만들려고 노력하고 있다고 상상해 보세요. 이를 위해 컴퓨터는 모든 것의 형태, 즉 벽이 어디에 있는지, 산이 얼마나 높이 솟아 있는지, 구멍이 얼마나 깊은지를 알아야 합니다. 이것을 "3D 기하학(3D geometry)"이라고 부릅니다. 보통 컴퓨터는 카메라나 센서를 통해 이 정보를 얻지만, 현실 세계는 매우 복잡합니다. 때로는 구름이 시야를 가리고, 때로는 그림자가 세부 사항을 숨기며, 때로는 센서가 특정 지점을 놓쳐 데이터에 "구멍"을 남기기도 합니다. 이는 마치 누군가 퍼즐 조각 몇 개를 먹어버린 상태에서 퍼즐을 완성하려는 것과 같습니다. 전체적인 그림은 보이지만, 이미지가 빠져 있는 빈 공간이 존재하는 상황입니다.

이러한 구멍을 메우기 위해 과학자들은 종종 "깊이 추정기(depth estimators)"를 사용합니다. 이것들을 '매우 똑똑한 추측가'라고 생각하면 됩니다. 이들은 수백만 장의 사진을 공부했고, 벽, 나무, 또는 건물이 보통 어떻게 생겼는지 학습했습니다. 빈 공간을 발견하면, 그들은 이러한 지식을 사용하여 그 부분을 채워 넣습니다. 하지만 이 추측가들에게는 두 가지 큰 문제가 있습니다. 첫째, 그들은 가끔 눈에 보이는 나머지 부분과 맞지 않는 것을 추측합니다(예를 들어, 분명히 단단한 벽이 있는 위치에 문이 있다고 추측하는 경우). 둘둘째, 만약 그들이 본 적 없는 것(예: 거리 수준의 뷰가 아닌 위성에서 내려다본 도시의 모습)을 보게 되면, 혼란에 빠져 엉뚱하고 잘못된 추측을 할 수 있습니다.

이 논문은 이러한 문제들을 해결하기 위한 영리하고 새로운 방법인 **Neural Depth Field (NDF)**를 소개합니다. 연구자들은 깊이 추정기가 단순히 "한 번에 추측하는 도구"가 되어서는 안 된다는 점을 깨달았습니다. 대신, 그들은 이를 특정 장면(scene)에 맞춰 모양을 바꿀 수 있는 유연하고 보이지 않는 틀로 취급했습니다. 찰흙 비유를 들어보겠습니다. 당신에게 완벽한 컵을 만들 줄 아는 찰흙 덩어리가 있다고 상상해 보세요. 보통은 그냥 한 번 꾹 눌러보고 제대로 만들어지기를 바라곤 합니다. 하지만 NDF를 사용하면, 당신은 그 찰흙을 당신이 들고 있는 실제 컵에 직접 대고, 일반적인 컵의 형태는 유지하면서도 실제 곡선에 완벽하게 일치하도록 매끄럽게 다듬습니다. 이를 통해 컴퓨터는 누락된 구멍을 매우 정밀하게 채울 수 있으며, 새로운 부분이 기존의 부분과 자연스럽게 어우러지도록 만듭니다. 이는 어수선한 실내 방이든 우주에서 보는 거대한 도시든 상관없이 가능합니다.

"원샷(One-Shot)" 추측의 문제점

3D 컴퓨터 비전의 세계에서 우리는 흔-히 사물의 깊이를 알려주는 사전 학습된 모델에 의존합니다. 이 모델들은 3D 형태에 관한 방대한 교과서를 공부한 학생들과 같습니다. 사진을 보여주면 그들은 즉시 깊이를 추측합니다. 하지만 현실 세계의 데이터는 종로 불완전한 경우가 많습니다. 드론이 나무 때문에 건물을 놓칠 수도 있고, 위성이 구름 때문에 데이터를 잃을 수도 있습니다.

표준적인 접근 방식은 이러한 사전 학습된 모델을 가져와서 누락된 부분을 "인페인팅(inpaint, 채워 넣기)" 하는 것입니다. 그러나 저자들은 이 방식이 다음과 같은 두 가지 방식으로 실패한다고 지적합니다:

1. 불일치(Inconsistency): 모델이 장면의 가시적인 부분과 모순되는 형태를 구멍에 채워 넣을 수 있습니다. 이는 마치 사진의 나머지 부분이 명확하게 단단한 벽돌 표면임을 보여주고 있음에도 불구하고, 벽 위에 문을 그려 넣는 것과 같습니다.
2. 분포 외 혼란(Out-of-Distribution Confusion): 만약 모델이 주로 거리 수준의 사진으로 학습되었다면, 위성 이미지와 같은 장면을 볼 때 완전히 길을 잃을 수 있습니다. 모델은 해당 특정 "도메인"에 대한 규칙을 모르기 때문에, 그들의 추측은 신뢰할 수 없게 됩니다.

"Neural Depth Field" 솔루션

저자들은 **Neural Depth Field (NDF)**라고 불리는 새로운 방법을 제안합니다. 그들의 핵심 아이디어는 깊이 추정기를 단순히 답을 내놓는 정적인 도구로 취급하는 것을 멈추고, 이를 **장면 수준의 암시적 필드(scene-level implicit field)**로 취급하는 것입니다.

여기 비유가 있습니다: 깊이 추정기가 패턴이 인쇄된 고무판이라고 상상해 보세요.

• 예측기로서의 역할: 보통, 당신은 이 시트를 사진 위에 펼치고 그 패턴에 따라 추측을 출력합니다.
• 필드로서의 역할: NDF를 사용하면, 당신은 그 동일한 고무판을 가져와서 사진의 실제 보이는 부분들에 물리적으로 밀착시킵니다. 그리고 그 시트가 실제의 가시적인 기하학적 구조에 완벽하게 밀착될 때까지 시트를 늘리고 다듬습니다.

이러한 "테스트 타임 최적화(test-time optimization, 특정 장면을 보고 있는 동안 모델을 조정하는 것)"를 통해, NDF는 모델이 다음 두 가지를 동시에 수행하도록 강제합니다:

1. 관측된 것에 맞추기(Fit the Observed): 모델은 우리가 실제로 볼 수 있는 이미지의 부분과 일치해야 하며, 이를 통해 새로운 추측이 기존 데이터와 모순되지 않도록 합니다.
2. 사전 지식 적응(Adapt the Prior): 모델은 자신의 일반적인 지식(시트 위의 "패턴")을 사용하여 누락된 부분이 어떻게 생겼어야 하는지 추측하지만, 이제 그 지식은 이 특정 장면을 위해 조정되었습니다.

이것은 "빈칸을 채우는" 문제를 하나의 통합된 작업으로 바꿉니다: 즉, 알려진 부분과 알려지지 않은 부분 모두에 완벽하게 들어맞는 최적의 버전의 고무판을 찾는 것입니다.

연구 결과

연구자들은 이 아이디어를 두 가지 매우 다른 유형의 장면에 대해 테스트했습니다:

1. 위성 이미지: 구름이나 센서 오류로 인해 높이 데이터가 많이 누락된 거대 도시 지도(버밍엄)에 적용했습니다.
2. 실내 스캔: 폐쇄(occlusion)나 센서 노이즈로 인해 가구나 벽이 누락된 방의 3D 스캔(ScanNet 데이터셋)에 적용했습니다.

결과:

• 더 나은 정확도: NDF는 이전 방식들보다 누락된 부분을 훨씬 더 정확하게 채웠습니다. 위성 데이터의 경우, 누락된 높이를 채우는 정확도가 23.1% 향상되었습니다.
• 적은 결함: 모델이 기존 부분과 충돌하는 문제를 해결했습니다. "교차 뷰 불일치(cross-view inconsistency, 각도를 바꿀 때 이미지가 달라 보이거나 깨져 보이는 현상)"를 63.3% 감소시켰습니다.
• 미세한 디테일: 이 방법은 다른 방식들이 놓쳤던 작은 가로등이나 실내 스캔의 가는 전선과 같은 미세한 디테일들을 복구할 수 있었습니다.

이 논문은 단순히 사전 학습된 모델을 조정 없이 사용하는 것만으로는 충분하지 않다는 점을 명시적으로 밝힙니다. 그들은 단순히 "예측"하거나 혹은 "재구성"하는 것을 분리해서 수행하는 것만으로는 흐릿하거나 일관성 없는 결과를 초래한다는 것을 보여주었습니다. 마법은 이 두 가지를 하나의 최적화 과정으로 결합할 때만 일어납니다.

이것이 중요한 이유

이것은 단순히 더 예쁜 그림을 만들기 위한 것이 아닙니다. 세계의 완전하고 일관된 3D 지도를 갖는 것은 로봇이 항해하고, 도시가 인프라를 계획하며, 가상 현실이 실감 나게 느껴지는 데 매우 중요합니다. 만약 로봇이 벽이 없는데 있다고 생각한다면, 충돌할 수 있습니다. 만약 도시 계획가가 건물의 높이가 실제보다 낮다고 생각한다면, 그것은 안전 문제를 일으킬 수 있습니다.

우리가 일반적인 "추측" 모델을 가져와서 특정 장면을 완벽하게 맞도록 튜닝할 수 있다는 것을 보여줌으로써, NDF는 센서가 실패하거나 우리가 한 번도 본 적 없는 각도에서 사물을 보고 있을 때도 고품질의 3D 데이터를 얻을 수 있는 방법을 제시합니다. 이는 3D 재구성의 미래가 단순히 더 크고 똑똑한 모델을 만드는 것뿐만 아니라, 그 모델이 보고 있는 특정 현실에 어떻게 적응하도록 가르치는 것에 달려 있음을 시사합니다.

저자들은 이 과정이 현재 장면당 몇 분에서 한 시간 정도 소요되어 단순한 "원샷" 추측보다는 느리다는 점을 언급했습니다. 하지만 그 대가는 훨씬 높은 품질의 결과물입니다. 그들은 향후 이 과정을 더 빠르게 만들 수 있을 것이라고 제안했지만, 현재로서는 "틀을 맞추는(fit the mold)" 데 시간을 들이는 것이 진정한 3D 세계를 얻기 위해 가치 있는 일임을 증명하고 있습니다.