💻 computer science

3DGBGS: 3D Granular Ball Gaussian Splatting for Compact Novel View Synthesis

이 논문은 새로운 시점 합성을 위해 SfM 포인트 클라우드를 3D 그래뉼러 볼(granular balls)로 적응적으로 분할하여 앵커 초기화 및 스케일 사전 정보를 최적화함으로써, 렌더링 품질을 유지하면서도 모델 저장 용량과 앵커 수를 크게 줄이는 컴팩트한 앵커 기반 프레임워크인 3DGBGS를 제안한다.

원저자: Meng Yang, Shuyin Xia, Dawei Dai, YiWang

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Meng Yang, Shuyin Xia, Dawei Dai, YiWang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 오직 흩어진 디지털 먼지 더미만을 사용하여 세상의 완벽하고 사실적인 3D 복제본을 만들려고 노력하고 있다고 상상해 보십시오. 이것은 '새로운 시점 합성(Novel View Synthesis)'이라는 분야의 핵심으로, 컴퓨터가 카메라가 실제로 보지 못한 각도에서 장면의 새로운 사진을 생성하는 방법을 학습하는 과정입니다. 오랫동안 이를 위한 최고의 도구는 마치 수백만 개의 작고 독립적인 물감 점을 하나씩 찍어서 걸작을 그리려는 것과 같았습니다. 이 방식은 효과적이긴 했지만, 매우 느리고 엄청난 양의 저장 공간을 필요로 했습니다. 마치 친구에게 나무 사진 한 장을 보여주기 위해 배낭에 도서관 전체를 담아 가려는 것과 같았죠.

그 후, '3D 가우시안 스플래팅(3D Gaussian Splatting)'이라는 새로운 기술이 등장했습니다. 이 기술은 단순한 점 대신, 부드럽고 빛나는 젤리빈 같은 작은 3D 타원체들을 사용하여 매끄러운 실시간 이미지를 혼합하여 만들어냅니다. 이는 빠르고 아름다웠지만, 여전히 문제가 있었습니다. 맑은 푸른 하늘이나 평범한 흰 벽처럼 크고 빈 공간이 있는 곳에서, 컴퓨터가 만약을 대비해 너무 많은 젤리빈을 계속 추가한다는 점이었습니다. 이로 인해 디지털 파일은 거대하고 무거워졌습니다. 연구자들의 큰 과제는 이것이었습니다: 어떻게 하면 불필요한 젤리빈으로 하드 드라이브를 채우지 않으면서도 완벽한 화질을 유지할 수 있을까?

여기, 디지털 먼지를 위한 스마트한 정리꾼 역할을 하는 새로운 방법인 3DGBGS가 등장했습니다. 이 논문의 연구자들은 현재 컴퓨터가 3D 장면을 구축하는 방식이 마치 항상 같은 크기의 쿠키 커터를 사용하는 것과 비슷하다는 점을 깨달았습니다. 만약 당신이 같은 커터로 거대한 쿠키와 아주 작은 부스러기를 모두 자르려 한다면, 몇 개의 큰 조각만 있으면 될 곳에 부스러기 더미가 생기는 혼란이 발생할 것입니다. 이 논문은 장면을 구축하기 전에 데이터를 더 스마트하게 그룹화하는 방법을 제안하며, '입자형 볼 컴퓨팅(Granular Ball Computing)'이라는 개념을 사용합니다.

디지털 먼지(포인트 클라우드)를 콘서트장의 인파라고 생각해 보십시오. VIP 구역처럼 인파가 밀집되고 혼란스러운 곳이 있는 반면, 경기장 뒤쪽처럼 사람들이 흩어져 있고 차분한 곳도 있습니다. 기존 방식은 모든 사람을 똑같이 취급하여, 넓은 들판에 서 있는 사람들조차도도 한 명 한 명 밑에 작은 '앵커(지지대)'를 두었습니다. 이는 단 몇 개만 있으면 될 곳에 숲처럼 울창한 지지대들을 만들어냈습니다.

새로운 3DGBGS 방식은 현명한 군중 관리자처럼 행동합니다. 컴퓨터는 군중을 살피며 이렇게 말합니다. "이 매끄럽고 빈 공간에서는 단 하나의 커다란 우산으로도 넓은 그룹을 덮을 수 있어." 하지만 복잡하고 세밀한 구역에서는, 아무도 소외되지 않도록 "작고 정밀한 우산"으로 전환합니다. 이 '우산'들이 바로 **3D 입자형 볼(3D Granular Balls)**입니다.

마법이 일어나는 과정은 다음과 같습니다:

스마트한 그룹화: 데이터를 경직된 격자에 강제로 맞추는 대신, 컴퓨터는 이 데이터들을 유연한 3D 볼 형태로 그룹화합니다. 큰 볼은 벽이나 하늘 같은 단조롭고 매끄러운 부분을 덮고, 작은 볼은 나뭇가지나 얼굴 같은 복잡한 부분을 밀착하여 감쌉니다.
더 적은 앵커: 하나의 큰 볼이 전체 매끄러운 영역을 대표할 수 있기 때문에, 컴퓨터는 장면을 지탱하기 위해 훨씬 적은 수의 '앵커' 지지대가 필요합니다. 이 논문은 이 방식이 시작 앵커의 수를 약 37.1% 줄이고, 최종 앵커의 수를 10.0% 줄였다는 것을 발견했습니다.
더 나은 크기 예측: 이 볼의 크기는 또한 컴퓨터에게 '젤리빈(가우시안)'의 크기가 어느 정도여야 하는지를 알려줍니다. 이는 컴퓨터가 나중에 시행착오를 거치며 추측하는 대신, 즉시 올바른 크기를 예측할 수 있도록 돕습니다.

결과는 인상적입니다. 이 "스마트 우산" 전략을 사용함으로써, 연구자들은 3D 모델의 파일 크기를 평균 9.8% 줄일 수 있음을 보여주었습니다. 더욱 중요한 점은, 이 과정을 통해 화질을 저하시키지 않았다는 것입니다. 실제로 일부 테스트에서는 이 새로운 방식이 더 적은 메모리를 사용하면서도 오히려 약간 더 선명한 이미지를 만들어냈습니다.

이 논문은 우리가 장면을 구축할 때 왜 고정된 균일 격자(표준 레고 브릭 크기 같은)를 반드시 사용해야 하는지에 대한 생각에 명시적으로 반론을 제기합니다. 그들은 이러한 "일률적인" 접근 방식이 실제 세계의 장면에는 비효율적이라는 점을 입증했습니다. 실제 세계는 본래 무질서하고 불균일하기 때문입니다. 대신, 그들은 우리의 건축 블록 크기를 물체의 모양에 맞게 조정하는 것이 효율성의 핵심이라고 제안합니다.

요약하자면, 3DGBGS는 성을 쌓기 위해 백만 개의 작은 벽돌이 필요한 것이 아니라, 때로는 벽을 위한 몇 개의 거대한 벽돌과 탑을 위한 몇 개의 작은 벽돌만 있으면 된다는 것을 증명합니다. 이는 3D 세계를 더 작고, 빠르고, 똑같이 아름답게 만드는 방법이며, 때로는 세부 사항을 보는 가장 좋은 방법이 모든 모래알을 하나하나 보는 것이 아니라 해변의 전체적인 형상을 보는 것임을 입증합니다.

기술 요약: 3DGBGS: 컴팩트한 신규 뷰 합성을 위한 3D 입자형 볼 가우시안 스플래팅 (3D Granular Ball Gaussian Splatting)

문제 정의

3차원 가우시안 스플래팅(3DGS)은 명시적인 가우시안 프리미티브와 미분 가능한 래스터화를 활용하여 고품질의 실시간 신규 뷰 합성(novel-view synthesis)을 위한 새로운 표준을 확립했습니다. 그러나 3DGS의 효율성은 조ละเอียด한(coarse-to-fine) 정제 과정에 의존하며, 이는 특히 대규모 장면이나 매끄러운 질감을 가진 영역에서 표현의 중복성을 초래할 수 있습니다.

저장 및 최적화 오버헤드를 해결하기 위해, 최근의 "앵커 기반(anchor-based)" 방법들(예: Scaffold-GS)은 구조적 특징점 추출(SfM) 포인트 클라우드로부터 유도된 희소한 앵커를 중심으로 국소 가우시안 분포를 구성합니다. 이러한 방법들은 일반적으로 포인트 클라우드를 규칙적인 그리드로 양자화하는 **고정된 복셀화(fixed voxelization)**를 통해 앵커를 구축합니다. 이 방식은 안정적이기는 하지만, 실제 세계의 SfM 데이터가 가진 공간적 비균일성을 반영하지 못한다는 단점이 있습니다. 구체적으로는 다음과 같습니다:

과잉 분할(Over-segmentation): 벽이나 배경과 같은 매끄러운 영역이 과도한 공간 지원 유닛을 할당받아, 디테일을 추가하지 않으면서 모델 크기만 증가시킵니다.
표현 부족(Under-representation): 거친 복셀화는 복잡한 기하학적 구조, 폐쇄 경계(occlusion boundaries), 또는 구조적으로 복잡한 영역의 미세한 국소 디테일을 포착하지 못할 수 있습니다.

핵-과제는 국소적인 포인트 클라우드의 복잡도에 적응하여 앵커의 중복성을 줄이면서도 필요한 구조적 지지력을 보존할 수 있는 유연한 다중 입도(multi-granularity) 공간 스캐폴드를 구축하는 것입니다.

방법론

저자들은 **GBC(Granular Ball Computing)**를 앵커 기반 3DGS 파이프라인에 통합한 3DGBGS(3D Granular Ball Gaussian Splatting) 프레임워크를 제안합니다. GBC는 "대규모 우선(large-scale first)"이라는 인간의 인지 원리에서 영감을 얻었으며, 조ละเอียด한(coarse-to-fine) 과정을 통해 데이터를 다양한 규모의 입자형 볼(granular balls)로 적응적으로 조직합니다.

3DGBGS 파이프라인은 세 가지 주요 단계로 구성됩니다:

1. 적응형 입자형 볼 구축 (Adaptive Granular Ball Construction)

고정된 복셀화 대신, 3DGBGS는 비균일한 SfM 포인트 클라우드를 일련의 3D 입자형 볼( $GB_j$ )로 재귀적으로 분할합니다.

분할 전략: 알고리즘은 PCA 기반의 이진 분할 전략을 사용합니다. 포인트 집합의 공간 공분산을 계산하고 주 고유벡터 방향을 따라 분할합니다.
중단 조건: 분할은 포인트 집합이 특정 조건(포인트 수가 최소 임계값 $N_{min}$ 미만으로 떨어지거나, 재귀 깊이가 최대치 $D_{max}$ 에 도달하거나, 집합이 공간적으로 조밀하면서(작은 반경) 외관상 일관성(낮은 색상/질감 분산)을 갖추는 경우)을 만족할 때 종료됩니다.
결과: 이를 통해 매끄럽고 중복된 영역에는 더 크고 넓은 입자형 볼을, 복잡한 기하학적 또는 질감 영역에는 더 작고 미세한 입자형 볼을 생성합니다.

2. 입자형 볼 앵커 초기화 (Granular Ball Anchor Initialization, GBAI)

생성된 입자형 볼의 중심( $\mu_j$ )은 앵커 스캐폴드( $A_{GB}$ )의 위치를 초기화하는 데 사용됩니다.

메커니즘: 고정된 복셀 중심과 달리, GBAI는 국소적인 SfM 포인트 분포에 의해 적응적으로 결정되는 앵커 레이아웃을 생성합니다.
이점: 매끄러운 영역에서는 더 적고 큰 앵커가 영역을 커버하고, 복잡한 영역에서는 더 밀도 높고 작은 앵커가 디테일을 보존합니다. 이는 초기 공간 지원 유닛의 수를 크게 줄여줍니다.

3. 입자형 볼 스케일 사전 정보 (Granular Ball Scale Prior, GBSP)

입자형 볼의 반경( $r_j$ )은 각 앵커로부터 생성되는 가우시안 프리미티브의 국소 스케일 사전 정보를 제공하는 데 활용됩니다.

스케일 융합: 초기 스케일은 앵커 간의 최근접 이웃 거리(표준 방식)와 입자형 볼의 반경을 융합하여 도출됩니다. 반경 기반의 사전 정보는 안정성을 보장하기 위해 최근접 이웃 스케일에 의해 제약됩니다.
이점: 이를 통해 생성된 가우시안의 초기 공간적 범위가 기초가 되는 포인트 클라우드 분포와 일치하도록 하여, 밑바탕이 되는 기하학적 구조와 맞지 않는 지나치게 작거나 큰 프리미티브가 생성되는 것을 방지합니다.

초기화 이후, 3DGBGS는 가벼운 MLP를 사용하여 가우시안 속성(불투명도, 색상, 스케일, 회전)을 예측하고 미분 가능한 스플래팅을 사용하여 렌더링하는 표준 Scaffold-GS 최적화 파이프라인을 따릅니다. 학습 목적 함수는 $L_1$ , DSSIM, 그리고 볼륨 정규화 손실을 사용하는 Scaffold-GS와 동일합니다.

핵심 기여

3DGBGS 프레임워크: 고정된 복셀화를 적응형 3D 입자형 볼 분할로 대체하는 컴팩트한 앵커 기반 3D 가우시안 스플래팅 프레임워크입니다. 이는 포인트 클라우드 분포에 적응하는 구조 인식형 공간 지원을 제공합니다.
GBAI 및 GBSP 모듈:
- GBAI: 입자형 볼 중심을 사용하여 컴팩트한 앵커 위치를 초기화함으로써, 매끄러운 영역에서의 중복된 공간 지원을 줄입니다.
- GBSP: 입자형 볼 반경을 활용하여 국소 스케일 사전 정보를 제공함으로써, 생성된 가우시안이 국소 공간 구조에 더 잘 부합하도록 합니다.
성능 효율성: 본 방법은 모델의 컴팩트함과 렌더링 품질 사이의 유리한 균형을 달가하며, SfM 포인트의 적응형 조직이 시각적 충실도를 희생하지 않으면서도 저장 공간 및 최적화 비용을 줄일 수 있음을 입증합니다.

실험 결과

저자들은 4개의 실제 벤치마크(Mip-NeRF 360, Tanks&Temples, Deep Blending, BungeeNeRF)에 걸친 19개 장면에 대해 3DGBGS를 평가했습니다. 이 방법은 베이스라인인 앵커 기반 접근 방식인 Scaffold-GS와 직접 비교되었습니다.

앵커 감소: 3DGBGS는 Scaffold-GS와 비교했을 때 평균적으로 초기 앵커 수를 37.1%, 최종 앵커 수를 10.0% 줄였습니다.
저장 효율성: 모델 저장 용량이 평균 9.8% 감소했습니다.
렌더링 품질: 상당한 파라미터 감소에도 불구하고, 3DGBGS는 Scaffold-GS와 대등한 렌더링 품질을 유지했습니다. 특정 벤치마크(예: BungeeNeRF)에서는 더 적은 앵커를 사용하면서도 PSNR과 SSIM에서 약간의 향상을 보이기도 했습니다.
계산 비용: 앵커 성장 스케줄 분석 결과, 3D-GBGS는 렌더링 품질을 유지하면서도 지속적으로 더 적은 최종 앵커와 낮은 GFLOPs(특정 사례에서 최대 ~29% 감소)를 유지했습니다.

의의 및 주장

본 논문은 3DGS와 입자형 볼 컴퓨팅(Granular Ball Computing) 사이의 자연스러운 호환성이 더 효율적인 적응형 모델링 프로세스를 가능하게 한다고 주장합니다. GBC의 "조ละเอียด한(coarse-to-fine)" 및 "온디맨드(on-demand)" 정제 원리를 모방함으로써, 3DGBGS는 공간적으로 비균일한 데이터를 처리할 때 발생하는 균일 복셀화의 한계를 해결합니다.

저자들은 자신들의 연구가 컴팩트한 신규 뷰 합성을 위한 **적응형 입자형 조직(adaptive granular-ball organization)**의 효과를 입증한다고 강조합니다. 이들은 앵커 수와 저장 용량의 감소가 단순히 기존 특징을 압축한 결과가 아니라, 장면의 본질적인 복잡도에 맞춰 공간 스캐폴드 구축 방식을 근본적으로 재구성했기 때문에 가능했다고 주장합니다. 이 방법은 앵커 기반 표현과 관련된 메모리 점유율 및 계산 오버헤드를 크게 낮추면서도 고품질의 신규 뷰를 렌더링하는 능력을 보존합니다.

저자들이 언급했듯이, 향후 연구에서는 구조적으로 복잡한 장면에서 컴팩트함과 품질 사이의 트레이드오프를 더욱 정교하게 다듬기 위해 이방성(anisotropic) 입자 표현 및 학습 가능한 분할 전략을 탐구할 예정입니다.