당신이 단 몇 장의 사진만을 이용해 방의 완벽한 3D 모델을 만들려고 노력하고 있다고 상상해 보십시오. 이것은 **3D 재구성(3D reconstruction)**이라는 컴퓨터 과학의 한 분야가 매일 마주하는 도전 과제입니다. 목표는 평면적인 2D 사진을 가져와서 가상 세계에서 돌아다닐 수 있는 입체적인 디지털 객체로 만드는 것입니다. 이를 위해 컴퓨터는 종종 "복셀(voxel)" 시스템을 사용합니다. 복셀을 공간을 채우는 작은 디지털 레고 블록이라고 생각하십시오. 컴퓨터는 어떤 블록이 벽의 일부인지, 어떤 블록이 의자의 일부인지, 그리고 어떤 블록이 그냥 빈 공기인지를 파악하려고 노력합니다.

하지만 까다로운 문제가 있습니다. 만약 벽이 평범한 흰색이거나 방이 어둡다면, 컴퓨터는 혼란에 빠집니다. 벽이 어디서 끝나고 공기가 어디서 시작되는지 구분하지 못하게 됩니다. 그러면 컴퓨터는 실수로 공중에 떠 있는 "유령" 블록 덩어리를 만들거나, 매끄러운 벽을 울퉁불퉁하고 지저집령한 작은 조각들로 부숴버릴 수도 있습니다. 이는 컴퓨터가 보통 전체를 보는 것이 아니라, 마치 단 하나의 조약돌을 보고 산 전체의 모양을 추측하려는 것처럼 한 번에 아주 작은 지점만을 보고 있기 때문에 발생합니다. 즉, 거시적인 관점이 부족한 것입니다.

여기, 게임의 판도를 바꾸는 새로운 방법인 SurfSVR이 등장했습니다. SurfSVR은 개별 픽셀(사진을 구성하는 작은 점들)을 응시하는 대신, **일관된 표면 영역(coherent surface regions)**을 찾습니다. 당신이 탁자 사진을 보고 있다고 상상해 보십시오. 당신의 뇌는 수백만 개의 분리된 점을 보는 대신, 그것들을 즉각적으로 하나의 매끄러운 "탁자 상판" 표면으로 그룹화합니다. SurfSVR도 이와 똑같이 수행합니다. 픽เซล들을 논리적인 패치(patch)로 그룹화하고, 그 패치가 평평한지 혹은 곡면인지를 파악한 다음, 이 크고 스마트한 추측을 사용하여 3D 레고 건축을 안내합니다. 이는 컴퓨터에게 지형의 지도를 먼저 제공하여, 어디에 블록을 배치하고 어디를 빈 공기로 남겨둘지 정확히 알게 하는 것과 같습니다.

"유령" 블록의 문제점

컴퓨터가 희소한 사진으로부터 3D 모델을 만들 때, 종종 세부 사항에 매몰되어 길을 잃곤 합니다. 컴퓨터는 밝기나 빛의 반사 정도와 같은 국소적인 단서에 의존합니다. 하지만 질감이 없는 곳(예: 빈 벽)이나 물체가 몇 가지 각도에서만 보이는 곳에서는 이러한 단서들이 매우 약합니다. 그 결과, 3D 모델은 깨진 모자이크처럼 변합니다. 파편화된 표면(유리 조각처럼 부서진 벽), 과도한 세분화(몇 개의 큰 블록이면 충분할 곳에 수백만 개의 작은 블록을 사용함), 그리고 부유하는 아티팩트(아무것도 없어야 할 공중에 떠 있는 유령 같은 기하학적 덩어리들)가 나타납니다.

이 논문은 기존의 방식, 즉 단순히 픽셀 단위의 깊이 예측(depth predictions)만을 바라보는 것이 신뢰할 수 없다고 주장합니다. 그것은 지붕의 형태를 이해하지 못한 채 개별 기와를 하나하나 때워서 누수되는 지붕을 고치려는 것과 같습니다. 컴퓨터는 노이즈에 혼란을 느껴 존재하지 않는 것들을 만들어내게 됩니다.

SurfSVR: "스마트 패치" 접근법

SurfSVR은 영리한 새로운 전략을 도입합니다: 2D 표면 사전 정보(priors)를 3D 기하학적 정규화 도구(regularizers)로 취급하는 것입니다. 이것은 "2D 사진을 사용하여 표면의 스마트한 지도를 그리고, 그 지도를 사용하여 3D 모델이 올바르게 작동하도록 강제하자"는 뜻의 멋진 표현입니다.

프로세스는 다음과 같이 단계별로 진행됩니다:

1. 픽셀 그룹화: 먼저, 시스템은 입력된 사진들을 살펴보고 픽셀들을 "표면 영역"으로 그룹화합니다. 단순히 색상만 보는 것이 아니라, 외형(appearance)과 깊이 추정치, 표면 법선(surface normals, 표면이 향하는 방향), 그리고 다양한 카메라 각도에서 보이는 모습을 결합합니다. 이는 마치 탐정이 모든 단서를 모아 "좋아, 이 파란 영역 전체는 하나의 매끄러운 벽이고, 이 곡선 영역은 둥근 탁자야"라고 판단하는 것과 같습니다.
2. 적절한 모양 선택: 영역이 그룹화되면, SurfSVR은 다음과 같이 질문합니다: "이 표면은 평평한가, 아니면 곡면인가?" 시스템은 해당 그룹에 가장 단순한 수학적 모델을 맞추려고 시도합니다. 그룹이 평평한 벽처럼 보이면 **평면 모델(planar model, 평평한 판)**을 사용합니다. 만약 그룹이 둥근 그릇처럼 보인다면 **이차 모델(quadratic model, 완만한 곡면 판)**을 사용합니다. 만약 모양이 이 두 가지 중 어느 것에도 맞지 않을 정도로 이상하다면, 억지로 맞추려 하지 않고 "복잡함(complex)" 상태로 남겨둡니다. 이것이 바로 "적응형 선택(adaptive selection)" 부분으로, 작업에 맞는 적절한 도구를 고르는 과정입니다.
3. 3D로 들어올리기(Lifting to 3D): 이렇게 만들어진 스마트한 2D 지도들은 3D 세계로 "들어 올려집니다". 이 지도들은 3D 레고 블록(복셀)을 위한 엄격한 규칙 세트로 작용합니다.
   • 스마트 세분화: 만약 특정 영역이 평평한 벽이라면, 시스템은 초기에 블록을 잘게 쪼개는 것을 멈춥니다. 평평한 벽에는 수백만 개의 작은 블록이 필요하지 않다는 것을 알고 있기 때문입니다. 하지만 영역이 복잡하다면, 디테일을 포착하기 위해 블록을 작게 유지합니다.
   • 유령 퇴치(Ghost Busting): 이것이 가장 흥elle로운 부분입니다. 시스템은 2D 지도를 사용하여 "플로터(floater, 떠다니는 것)"를 찾아냅니다. 만약 3D 블록이 공중에 떠 있는데, 2D 지도가 "어떤 사진에서도 이곳에 표면이 없다"라고 말한다면, 시스템은 확신을 가지고 그 블록을 제거합니다. 이는 마치 신분증을 검사하는 보안 요원이 "명단에 이름이 없네? 나가세요!"라고 말하는 것과 같습니다.
   • 얇은 구조물 보존: 반대로, 의자 다리처럼 얇은 물체가 잘 보이지 않는 경우, 2D 지도는 "3D 블록은 희미할지라도, 나는 이 표면이 존재한다는 것을 알고 있다"라고 알려줍니다. 이는 시스템이 유효하지만 보기 힘든 부분을 실수로 삭제하는 것을 방지합니다.

수치가 말해주는 것

저자들은 DTU, Tanks and Temples, Mip-NeRF 360이라는 세 가지 공개 벤치마크를 통해 SurfSVR을 테스트했습니다. 이들은 3D 재구성 방법의 성능을 평가하는 데 사용되는 표준 데이터 세트입니다.

• DTU 데이터셋에서: SurfSVR은 평균 Chamfer distance 0.45를 달성했습니다. 간단히 말해, 이는 3D 모델이 실제 물체와 얼마나 가까운지를 나타내는 척도이며, 낮을수록 좋습니다. 이 점수는 GeoSVR(0.47)과 AmbiSuR(0.46)를 포함한 이전의 최고 성능 방법들을 앞질렀습니다. 15개 장면 중 9개 장면에서 최고의 성적을 거두었습니다.
• Tanks and Temples에서: 이 방법은 다시 한번 경쟁자들을 제치고 평균 F1-score 0.62를 달성했습니다. F1-score는 모델이 가짜 부분을 추가하지 않고 얼마나 잘 형태를 포착하는지를 측정합니다.
• Mip-NeRF 360에서: 여기에는 기하학적 구조를 측정할 완벽한 "정답(ground truth)"이 없지만, 이 방법은 장면의 고품질 새로운 뷰(new views)를 생성해 냈으며, 이는 3D 모델이 새로운 각도를 설득력 있게 렌더링할 만큼 정확하다는 것을 보여줍니다.

이 논문은 노이즈가 섞인 픽셀 단위의 깊이 예측을 그대로 3D로 들어 올리는 방식이 불가능하다는 점을 명시적으로 배제합니다. 저자들은 개별 픽셀이 표면의 "범위"나 "연속성"을 이해하지 못하기 때문에 이 방식이 실패한다고 주장합니다. SurfSVR은 픽셀을 일관된 영역으로 먼저 조직화함으로써 훨씬 더 강력하고 신뢰할 수 있는 3D 결과를 얻을 수 있음을 증명합니다.

트레이드오프 (Trade-off)

완벽할까요? 논문은 SurfSVR이 일부 단순한 방법들보다 실행 시간이 더 오래 걸린다고 언급합니다. DTU 장면 하나를 처리하는 데 단일 고성능 GPU 기준으로 약 **0.9시간(54분)**이 소요되는데, 이는 다른 방법들의 0.5시간과 비교됩니다. 저자들은 이 추가적인 시간이 스마트한 2D 표면 지도를 구축하고 유령을 제거하기 위한 추가 검사를 수행하는 데 사용된다고 설명합니다. 그들은 이것이 합리적인 트레이드오프라고 제안합니다: 약간의 시간을 더 투자하여 유령 같은 아티팩트 없이 훨씬 더 깨끗하고 정확한 3D 모델을 얻는 것입니다.

결론적으로, SurfSVR은 더 나은 3D 재구성을 위한 핵심은 단순히 개별 픽셀을 더 열심히 보는 것이 아니라, 더 큰 그림을 이해하는 데 있다는 것을 시사합니다. 2D 사진을 스마트하고 일관된 표면의 집합으로 취급함으로써, 이 방법은 3D 빌더가 상세할 뿐만 아니라 구조적으로도 견고한 모델을 만들도록 유도하며, 오랫동안 이 분야를 괴롭혀온 유령 같은 아티팩트들을 효과적으로 몰아냅니다.