Loss-Guided Density Control and Efficient Backward Optimisation for Compact Gaussian Splatting

단 몇 장의 사진만을 사용하여 북적이는 도시 광장이나 조용한 숲과 같은 실제 세계의 장면을 완벽한 3차원 모델로 구축한다고 상상해 보십시오. 수년 동안 과학자들은 이러한 모델을 현실적으로 보이게 만드는 동시에 컴퓨터에 빠르게 로드될 수 있을 만큼 작게 유지하기 위해 고군분투해 왔습니다. 목표는 당신이 어떤 각도에서든 이미지가 흐려지거나 컴퓨터가 느려지지 않고 자유롭게 돌아다니며 볼 수 있는 디지털 트윈을 만드는 것입니다. 3D 가우시안 스플래팅(3D Gaussian Splatting)이라 불리는 최근의 돌파구는 장면을 단단한 메쉬(mesh)가 아니라 수백만 개의 작고 흐릿한 타원형 구름으로 표현함으로써 판도를 바꾸어 놓았습니다. 이 타원들을 최종 이미지를 형성하기 위해 겹쳐지는 부드럽고 빛나는 색채의 구름이라고 생각하십시오. 이 방식은 놀라운 이미지를 즉각적으로 만들어내지만, 이 구름들을 어떻게 배치할지 컴퓨터에게 가르치는 과정은 종종 느리고 낭비적입니다. 컴퓨터는 이미 이미지가 선명한 곳에 너무 많은 구름을 만들고, 세부 정보가 누락된 곳에는 충분히 만들지 못하여, 모델이 비대해지고 학습하는 데 오랜 시간이 걸리게 됩니다.

청두 공과대학교와 선전 센싱 데이터 테크놀로지 기업의 연구진은 더 빠르고 효율적인 새로운 모델 학습 방법을 제안했습니다. 그들의 접근 방식은 세 가지 주요 개선 사항에 집중합니다: 컴퓨터가 불필요한 구름을 만드는 것을 막고, 도움이 되지 않는 것들을 제거하며, 배후의 계산 과정을 가속화하는 것입니다. 이미지가 약간 흐릿해질 때마다 맹목적으로 더 많은 구름을 추가하는 대신, 그들의 새로운 방법은 일정 기간 동안 이미지의 실제 오차를 살펴봅니다. 만약 특정 영역의 이미지가 여러 차례에 걸쳐 잘 재구성되었다면, 시스템은 그곳에 구름을 추가하는 것을 멈춰야 한다는 것을 알게 됩니다. 시스템은 여전히 제대로 보이지 않아 고군분투하고 있는 지점에서만 새로운 구름이 형성되도록 허용합니다. 이는 모델이 아무런 역할도 하지 못한 채 속도만 늦추는 중복된 조각들로 가득 차는 것을 방지합니다.

모델이 새로운 구름을 추가한 후, 연구진은 뒷정리를 하는 방법도 도입했습니다. 그들은 너무 희미해서 보이지 않거나 너무 흔들려서 쓸모가 없는 구름을 식별하는 테스트를 개발했습니다. 이러한 불안정한 또는 보이지 않는 구름들은 가지치기되어 더 날렵하고 효과적인 형태들만을 남깁니다. 전체 과정을 더욱 빠르게 만들기 위해, 팀은 무거운 작업을 처리하는 근본적인 컴퓨터 코드를 다시 작성했습니다. 데이터를 컴퓨터의 그래픽 프로세서가 더 매끄럽게 읽을 수 있도록 정리함으로써, 이미지가 어떻게 변해야 하는지 계산하는 데 걸리는 시간을 단축했습니다. 이는 마치 사서가 책을 선반에 정리하여 이용자가 다음 책을 집을 때 방을 가로질러 왔다 갔다 할 필요 없이 바로 집을 수 있게 하는 것과 같습니다. 책은 동일하지만, 그것을 얻기 위한 경로는 훨씬 짧아진 것입니다.

이 연구의 결과는 매우 유의미합니다. 정원에 있는 자전거라든지 사원에 있는 탱크와 같은 복잡한 데이터셋을 대상으로 테스트했을 때, 새로운 방법은 이전 기술들에 비해 전체 학습 시간을 큰 폭으로 줄였습니다. 자전거 장면을 대상으로 한 특정 테스트에서, 학습 시간은 224초 이상에서 단 190초로 줄어들었으며, 장면을 구성하는 데 사용된 최종 구름의 개수는 947,000개 이상에서 약 570,000개로 거의 절반 가까이 감소했습니다. 더 적은 수의 구름을 사용하고 더 빨리 끝냈음에도 불구하고, 최종 이미지의 품질은 높게 유지되었으며 시각적 선명도와 색상 정확도는 기존의 느린 방식과 매우 유사했습니다. 연구진은 언제 세부 사항을 추가하고 언제 그것을 제거할지에 대해 더 똑똑하게 행동함으로써, 이 장면들을 매력적으로 만드는 시각적 충실도를 희생하지 않고도 작고 고품질인 3D 모델을 만들 수 있다는 것을 발견했습니다. 이는 디지털 세계를 만드는 미래가 단순히 더 많은 데이터를 추가하는 것이 아니라, 더 높은 정밀도로 데이터를 관리하는 데 달려 있음을 시사합니다.