여러 장의 2차원 사진 모음으로부터 현실 세계의 3차원 모델을 생성하는 것은 컴퓨터 비전 분야의 근본적인 과제입니다. 수십 년 동안 과학자들은 이를 해결하기 위해 두 가지 주요 접근 방식에 의존해 왔습니다. 첫 번째로 알려진 멀티뷰 스테레오(multi-view stereo)는 인간의 뇌처럼 작동합니다. 이는 동일한 물체를 다양한 각도에서 바라보고, 일치하는 점들을 찾아내며, 그 거리를 계산하여 표면을 나타내는 조밀한 점 구름(dense cloud of dots)을 구축합니다. 두 번째 방식인 3D 가우시안 스플래팅(3D Gaussian Splatting)은 더 새로운 방법으로, 장면을 고체 객체가 아니라 공간에 떠 있는 작고 색이 있는 투명한 타원형들의 떼로 표현합니다. 카메라가 이 떼를 바라볼 때, 타원체들은 서로 섞여 선명하고 사실적인 이미지를 만들어냅니다. 이 새로운 방식은 매우 빠르고 놀라운 시각적 결과를 만들어내지만, 실제 3차원 형상을 구축하는 데 있어서는 중대한 결함이 있습니다. 카메라가 볼 수 있는 각도가 적거나 물체가 다른 것에 의해 가려진 영역에서, 이 떠다니는 타원체들은 서로 떨어지거나 불안정한 유령 같은 구조물을 형성할 수 있는데, 이는 사진상으로는 좋아 보일지 몰라도 실제의 단단한 표면을 나타내지는 못합니다.

우한 대학교와 항저우 전기 대학교의 연구진은 이 문제를 해결하기 위해 CoMVS-GS라고 불리는 새로운 프레임워크를 개발했습니다. 그들의 목표는 떠다니는 타원체의 속도와 시각적 품질을 전통적인 점 기반 방식의 기하학적 신뢰성과 결합하는 것이었습니다. 이들은 두 기술을 별개의 도구로 취급하는 대신, 이를 하나의 과정으로 엮어냈습니다. 그 결과, 이 시스템은 작은 물체와 넓은 야외 환경 모두에 대해 정확하고 단단한 3D 메쉬(mesh)를 재구성할 수 있게 되었습니다. 이는 빛 조건이 까다롭거나 장면의 일부가 가려진 경우에도 마찬가지입니다. 연구진은 더 느린 기존 방식의 강점을 더 빠른 최신 방식으로 안내함으로써, 떠다니는 아티팩트(artifacts)를 제거하고 시각적으로 설득력 있으면서도 기하학적으로 정밀한 표면을 생성할 수 있음을 발견했습니다.

과정은 주요 최적화가 시작되기 전의 중요한 단계로부터 시작됩니다. 전통적인 방식은 종종 희소한 점 집합(sparse set of points)에서 시작하여 컴퓨터가 어떻게 채워야 할지 추측해야 하는 큰 간극을 남깁니다. 대신 연구진은 표준 멀티뷰 스테레오 알고리즘에 의해 생성된 조밀한 점 구름을 사용하여 모델을 초기화했습니다. 그들은 이 점들을 가져와서, 처음부터 이 점들이 국부적인 표면의 방향 및 두께와 일치하도록 떠다니는 타원체의 형태를 잡았습니다. 벽을 쌓으려고 할 때, 공중에 몇 개의 벽돌을 흩뿌려 놓고 그것들이 평평한 선으로 내려앉기를 바라는 대신, 이 새로운 방식은 건설이 시작되기 전부터 벽돌을 있어야 할 위치에 벽의 표면에 맞춰 정확히 배치하는 것과 같습니다. 이는 시스템에 강력한 기하학적 출발점을 제공하여, 학습 초기 단계에서 타원체가 불안정한 구조를 형성하는 것을 방지했습니다.

모델이 초기화된 후, 연구진은 두 기술 사이의 연속적인 피드백 루프를 도입했습니다. 시스템은 장면의 모든 지점이 얼마나 멀리 떨어져 있는지를 보여주는 본질적인 그림인 깊이 지도(depth map)를 렌더링하고, 이를 사용하여 멀티뷰 스테레오 알고리즘을 정교화합니다. 다시, 정교해진 멀티뷰 스테레오 알고리즘은 더 정확한 깊이 지도를 생성하며, 이는 다시 떠다니는 타원체를 수정하는 데 사용됩니다. 이러한 상호 감독(mutual supervision)은 시스템이 자신의 작업을 끊임없이 확인하게 함을 의미했습니다. 만약 타원체가 있어서는 안 될 곳으로 떠다닌다면, 멀티뷰 스테레오 데이터가 그것을 다시 끌어당길 것입니다. 반대로 멀티-뷰 스테레오 데이터가 질감(texture)의 부족으로 인해 불확실하다면, 조밀한 타원체의 떼가 안정적인 가이드 역할을 제공할 것입니다. 이러한 주고받는 정교화 과정을 통해 모델은 이전 방식들이 다루기 어려워했던 간극을 채우고 표면을 매끄럽게 만들 수 있었습니다.

마지막 단계는 정교해진 타원체들을 3D 객체를 나타내는 와이어프레임 피부인 솔리드 메쉬(solid mesh)로 변환하는 과정을 포함했습니다. 많은 기존 방식은 3차원 공간 전체를 아주 작은 큐브들의 격자로 나누고 각 큐브 내의 표면을 계산하려고 시도합니다. 이 접근 방식은 큐브의 크기에 민감합니다. 큐브가 너무 크면 세부 사항이 손실되고, 너무 작으면 특히 대규모 야외 장면에서 컴퓨터의 메모리가 부족해집니다. 연구진은 델로네 그래프 컷 메싱(Delaunay graph-cut meshing)이라는 다른 기술을 사용하여 이 함정을 피했습니다. 경직된 격자에 의존하는 대신, 이 방법은 표면 점들을 직접 연결하고 카메라의 시선을 사용하여 공간의 어느 부분이 객체의 내부이고 어느 부분이 외부인지를 결정합니다. 이를 통해 연구진은 격자 기반 접근 방식과 관련된 메모리 부담이나 세부 사항 손실 없이 깨끗하고 완전한 표면을 만들 수 있었습니다.

연구팀은 DTU 벤치마크를 포함한 여러 데이터셋, 그리고 GauU-Scene V2 및 MatrixCity 데이터셋에서 추출한 대규모 야외 장면의 새로운 서브셋을 대상으로 그들의 방법을 테스트했습니다. DTU 벤치마크에서 그들의 방식은 기존의 최고 기술들과 경쟁할 만한 평균 오차율을 달eric했으며, 종종 재구성된 기하학적 정확도 면에서 기존 기술들을 능가했습니다. 야외 장면에서는 그 차이가 더욱 두드러졌습니다. 다른 방식들이 물이나 건물 외벽 같은 영역에서 떠다니는 파편이나 커다란 구멍을 만들어낸 반면, CoMVS-GS는 깨끗하고 연속적인 표면을 생성했습니다. 연구진은 그들의 방식이 경쟁 모델들이 5,000만 개 이상의 면(faces)을 가진 것에 비해 훨씬 적은 평균 약 876만 개의 면을 가진 메쉬를 생성하면서도 더 높은 기하학적 정확도를 유지했다는 점에 주목했습니다. 이러한 압축성은 모델이 간극을 채우기 위해 불필요한 복잡성을 추가하지 않고도 장면의 진정한 형태를 더 효율적으로 포착했음을 시사합니다.

이 연구에는 그들의 시스템 중 어떤 부분이 가장 중요한지에 대한 테스트도 포함되었습니다. 조밀한 점 구방 초기화를 제거했을 때, 모델은 특히 날카로운 각도에서 바라본 건물 외벽과 같은 평평한 표면에서 수렴하는 데 어려움을 겪었습니다. 상호 감독 루프를 제거했을 때는 기하학적 정확도가 떨어지고 표면이 덜 매끄러워졌습니다. 마지막으로, 새로운 메싱 기술을 전통적인 격자 기반 방식으로 되돌렸을 때, 결과물인 모델은 구멍과 불완전한 영역을 보여주었으며, 이는 그들의 그래프 컷 접근 방식이 대규모 야외 장면의 복잡성을 처리하는 데 필수적이었음을 확인시켜 주었습니다. 연구진은 멀티뷰 스테레오를 단순히 최종 단계로서가 아니라 초기화, 지속적인 감독, 그리고 표면 추출의 원천으로서 통합함으로써, 두 방식이 단독으로는 도달할 수 없는 수준의 기하학적 안정성을 달성할 수 있었다고 결론지었습니다.

이 방법이 상당한 진전을 의미하지만, 저자들은 반사가 심하거나 투명한 표면에서 발생하는 문제, 즉 서로 다른 카메라 뷰 사이에서 일치하는 점을 찾는 것이 어려운 문제에 여전히 직면해 있음을 인정합니다. 또한, 깊이 지도를 주기적으로 정교화하는 과정은 계산 비용을 추가하며, 이는 매우 높은 해상도의 장면에서 요인이 될 수 있습니다. 그러나 결과는 전통적인 사진 측량법의 기하학적 엄격함과 현대적인 신경 렌더링의 효율성을 결합하는 것이 더 견고하고 정확한 3D 재구성을 향한 실행 가능한 경로임을 입증합니다. 이 연구는 3D 모델링의 미래가 서로 다른 기술 중 하나를 선택하는 데 있는 것이 아니라, 각자의 강점을 활용하여 서로의 약점을 극복하도록 만드는 방식, 즉 기술들이 함께 작동하게 만드는 데 있다는 것을 시사합니다.