당신이 몇 장의 서로 다른 각도에서 찍은 사진만을 사용하여 방의 완벽한 3D 모델을 만들려고 한다고 상상해 보세요. 오랫동안 이 작업을 수행하는 가장 좋은 방법은 예술가 팀을 고용하여 방의 아주 작은 세부 사항까지 정성스럽게 그려내고 조각하는 데 몇 시간, 혹은 며칠을 소비하는 것과 같았습니다. 이것을 "최적화(optimization)"라고 부르는데, 결과는 놀라웠지만 비디오 게임이나 가상 현실처럼 방을 즉각적으로 보여주어야 하는 환경에는 너무 느렸습니다.

그 후, 과학자들은 "3D 가우시안 스플래팅(3D Gaussian Splatting)"이라는 영리한 지름길을 발견했습니다. 공간을 채우기 위해 그림을 그리는 대신, 수백만 개의 작고 흐릿한 3D 풍선(가우시안이라고 불림)을 사용했습니다. 이 풍선들의 크기, 색상, 위치를 조정함으로써, 어떤 각도에서도 실시간으로 볼 수 있는 실제 같은 장면을 만들어낼 수 있었습니다. 하지만 기존의 "지름길" 방식들은 큰 결함이 있었습니다. 바로 너무 경직되어 있었다는 점입니다. 그들은 지루하고 텅 빈 벽이든 복잡하고 상세한 조각상이든 상관없이 똑같은 수의 풍선을 무작와 같이 배치했습니다. 이는 컴퓨터 자원을 빈 공간에 낭비하게 만들었고, 정작 정교한 부분이 필요한 곳에는 풍선이 부족하게 만들어 결과물을 흐릿하거나 디테일이 누락되게 만들었습니다.

여기에, 스마트하고 적응형인 건설팀처럼 행동하는 새로운 방식인 ATSplat이 등장했습니다. 모든 곳에 풍선을 무작정 배치하는 대신, ATSplat은 몇 개의 "앵커(anchor)" 지점에서 시작하여 "이 장면에서 실제로 구축하기 어려운 곳이 어디인가?"라고 묻습니다. 만약 복잡한 모서리나 가늘고 섬세한 물체를 발견하면, 그곳에 즉시 더 많은 풍선을 피워 올립니다. 반면 평범한 벽을 본다면 풍선을 드문드문 배치합니다. 이 "적응형(adaptive)" 접근 방식 덕분에 ATSplat은 단 311,000개의 풍선만으로 고품질의 3D 장면을 1초 미만의 시간에 구축할 수 있었습니다. 이전의 인스턴트 방식들이 비슷한 결과를 내기 위해 170만 개 이상의 풍선이 필요했던 것과 대조적입니다. 이 논문은 풍선을 어디에나 두는 것보다, 어디에 두느냐에 따라 영리하게 행동하는 것이 속도와 고품질의 디테일이라는 두 마리 토끼를 모두 잡는 길임을 시사합니다.

문제점: "픽셀 트랩(The Pixel Trap)"

ATSplat이 왜 중요한지 이해하려면, 먼저 이전의 "인스턴트" 방식들이 어떻게 작동했는지 살펴봐야 합니다. 장면을 재현하기 위해 카메라 화면의 픽포 픽셀 그리드를 들여다보고 있다고 상상해 보세요. 기존 방식들은 "화면의 모든 픽셀마다 하나의 3D 풍선을 만들고 그것을 세상 밖으로 밀어내겠다"라고 말했습니다.

이는 효율적으로 들릴 수 있지만, 사실은 함정입니다. 만약 당신이 거대하고 텅 빈 흰 벽이 있는 방의 사진을 찍었다면, 그 벽은 수천 개의 픽셀을 가질 수 있습니다. 기존 방식은 벽에 아무런 디테일이 필요 없음에도 불구하고 그 빈 벽을 위해 수천 개의 풍선을 만들어낼 것입니다. 반면, 구석에 있는 아주 작고 정교한 꽃병이 있다면, 벽에 너무 많은 풍량을 낭비한 탓에 꽃병을 제대로 만들기 위한 "풍선 예산"이 부족해질 수 있습니다.

이 논문은 이러한 "픽셀 정렬(pixel-aligned)" 방식이 근본적으로 결함이 있다고 주장합니다. 왜냐하면 3D 오브젝트의 수를 실제 장면의 복잡성이 아니라 카메라의 해상도에 종속시키기 때문입니다. 이는 마치 집의 설계도가 견고한 기초 부분인지 섬세한 스테인드글라스 부분인지 상관없이, 설계도의 매 인치마다 벽돌 하나를 배치하여 집을 짓는 것과 같습니다.

해결책: "적응형 토큰(Adaptive Token)" 전략

ATSplat은 **적응형 3D 토큰(Adaptive 3D Tokens)**을 도입하여 판도를 바꿉니다. 이 토큰들을 스마트한 정찰병이라고 생각하십시오.

1. 정찰대 (희소 초기화 - Sparse Initialization): 모든 픽셀에 정찰병을 보내는 대신, ATSplat은 깊이(depth)에 대한 빠른 추측을 바탕으로 3D 공간의 거칠고 투박한 위치들에 몇 명의 정찰병을 보냅니다. 이 정찰병들은 장면의 "비계(scaffold)" 또는 뼈대를 형성합니다.
2. 확장 (적응형 토큰 확장 - Adaptive Token Expansion): 이것이 마법 같은 부분입니다. 시스템이 장면을 구축하는 동안, 각 정찰병이 얼마나 잘 수행하고 있는지 확인합니다. 만약 정찰병이 지루한 구역(예: 평범한 벽)에 있다면 그대로 유지됩니다. 하지만 정찰병이 까다로운 구역(예: 복잡한 의자나 나뭇가지)에 있고, 시스템이 이를 제대로 구현하는 데 어려움을 겪고 있다는 것을 깨달으면, **적응형 토큰 확장(Adaptive Token Expansion)**이 트리거됩니다.
3. 결과: "까다로운" 정찰병은 더 많은 상세 정보를 가진 여러 개의 새로운 정찰병으로 분열됩니다. 이는 건설팀이 특정 구석을 만드는 것이 어렵다는 것을 깨닫고, 쉬운 부분은 그대로 둔 채 그 지점에만 즉시 새로운 작업 팀을 파견하는 것과 같습니다.

이 논문은 좋은 결과를 얻기 위해 반드시 거대하고 조밀한 오브젝트 구름이 필요한 것은 아니라는 점을 명시적으로 밝힙니다. 핵심은 오브젝트를 얼마나 많이 가지고 있느냐가 아니라, 어디에 배치하느냐라는 것입니다. 3D 오브젝트의 배치를 카메라의 픽셀 그리드로부터 분리함으로써, ATSplat은 자원을 정확히 필요한 곳에 집중할 수 있습니다.

실제 작동 방식

이 시스템은 단 한 번의 순방향 패스(forward pass)로 작동하며, 이는 입력 이미지를 보고 거의 즉시 3D 모델을 생성한다는 의미입니다. 논문에 기술된 단계별 흐름은 다음과 같습니다:

• 1단계: 장면의 여러 사진(예: 12장의 이미지)을 가져옵니다.
• 2단계: 신경망을 사용하여 거친 3D 지도를 만들고 몇 개의 "앵커 토큰(anchor tokens)"(정찰병)을 배치합니다.
• 3단계: 이 토큰들을 정교화하는 "디코더(decoder)"를 실행합니다. 이 과정 중에 적응형 토큰 확장(ATE) 모듈이 "불확실성(uncertainty)"을 체크합니다.
• 4단계: 시스템이 장면의 특정 부분에 대해 확신이 없는 경우(높은 불확실성), 해당 토큰을 여러 개의 새로운 토큰으로 확장합니다. 이 새로운 토큰들은 특히 그 어려운 영역을 위해 더 많은 3D 풍선(가우시안)을 생성하는 데 사용됩니다.
• 5단계: 마지막으로 장면을 렌더링합니다.

논문은 이 과정이 "렌더링 오차 맵(rendering error maps)"에 의해 감독된다고 언급합니다. 본질적으로, 시스템은 실제로 실수를 저지르기 전에 어디에서 실수를 할지 예측하는 법을 배우며, 이를 통해 선제적으로 자원을 확장할 수 있습니다.

결과: 속도와 효율성

저자들은 RealEstate10K(실내 홈 비디오)와 DL3DV(실내외 혼합 장면)라는 두 가지 주요 데이터셋에서 ATSplat을 테스트했습니다. 결과는 놀라웠습니다:

• 품질: ATSplat은 최첨단(state-of-the-art) 렌더링 품질을 달성했습니다. 즉, 이미지는 이전의 최고 방식들과 비슷하거나 오히려 더 좋게 보였습니다.
• 효율성: ATSplat은 조밀한 픽셀 정렬 방식보다 5.7배 적은 3D 가우시안을 사용했습니다. 예를 들어, 고해상도 테스트(512 × 960)에서 ATSplat은 단 311,000개의 가우시안만을 사용한 반면, 경쟁 모델인 DepthSplat은 거의 600만 개가 필요했습니다.
• 속도: 재구축(reconstruction)은 단일 상용 GPU에서 1초 미만이 소요되었습니다. 일단 구축되면, 장면은 **1136 FPS(초당 프레임 수)**로 렌더링될 수 있는데, 이는 실시간 애플리케이션에 매우 적합한 엄청난 속도입니다.

또한 논문은 ATSplat이 얇은 구조물이나 복잡한 기하학적 구조가 있는 "도전적인 영역"에서 특히 뛰어난 성능을 보인다고 강조합니다. 이는 기존의 인스턴트 방식들이 취약한 부분입니다. 카메라 각도가 입력 사진으로부터 멀리 떨어진 어려운 시나리오 테스트에서도, ATSplat은 높은 품질을 유지한 반면 다른 방식들은 원래의 카메라 광선(rays)에 의존하느라 어려움을 겪었습니다.

논문이 주장하지 않는 것

ATSplat이 아직 모든 시나리오에 완벽하다고 주장하는 것은 아니라는 점을 유의해야 합니다. 저자들은 현재 시스템이 토큰을 확장하기는 하지만, 나중에 중복되는 것으로 판명되었을 때 이를 "가지치기(pruning, 제거)" 하지는 않는다고 언급했습니다. 그들은 향에 가지치기 메커니즘을 추가하면 훨씬 더 효율적이 될 수 있다고 제안합니다.

또한, 시스템이 테스트된 데이터셋에서는 잘 작동하지만, 특정 학습 없이 "인 더 와일드(in-the-wild)" 이미지(인터넷의 무작위 사진)에서도 완벽하게 작동한다고 주장하지는 않습니다. 다만 이는 향후 연구를 위한 유망한 방향이라고 제안합니다. 결과는 단순한 시뮬레이션이나 추측이 아니라 특정 데이터셋에 대한 측정된 실험을 바탕으로 합니다.

요약

3D 재구축의 세계에서 ATSplat은 "조밀한 것"보다 "영리한 것"이 더 낫다는 것을 시사합니다. 희소한 시작점에서 출발하여 장면이 어려운 곳에만 적응적으로 확장함으로써, 눈 깜짝할 사이에 고품질의 3D 세계를 구축합니다. 이는 수백만 개의 풍선을 가질 필요 없이, 중요한 곳에 배치할 풍선을 정확히 아는 것이 중요하다는 것을 증명합니다. 이러한 접근 방식은 게임, 가상 현실, 로보틱스 분야에서 더 빠르고 효율적인 3D 경험을 열어주어, 디지털 세계가 물리적 세계만큼 실제적이고 반응성 있게 느껴지도록 만들 수 있습니다.