💻 computer science

ImprovedGS+: A High-Performance C++/CUDA Re-Implementation Strategy for 3D Gaussian Splatting

ImprovedGS+ 는 LichtFeld-Studio 프레임워크 내에서 하드웨어 최적화 커널과 적응형 스케줄링을 활용하여 3D 가우시안 스플래팅의 고성능 C++/CUDA 재구현으로, 최첨단 기준선보다 우수한 재구성 품질을 달성하면서도 훈련 시간과 매개변수 복잡성을 크게 줄입니다.

원저자: Jordi Muñoz Vicente

게시일 2026-03-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jordi Muñoz Vicente

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터 화면에 초현실적인 3D 풍경을 그려 넣으려 한다고 상상해 보세요. 이를 수행하던 기존 방식 (3D 가우스 스플래팅이라고 불림) 은 페인트 통을 들고 캔버스에 수천 개의 작은 무작위 점들을 던지는 것과 같습니다. 일부 점은 제자리에 떨어지지만, 많은 점은 낭비되며 컴퓨터가 모든 점의 위치를 끊임없이 확인하고 재확인해야 하므로 과정이 느립니다.

이 논문은 **ImprovedGS+**를 소개하는데, 이는 페인트 통을 고속 레이저 유도 페인트 분사기로 업그레이드하는 것과 같습니다. 이는 소프트웨어 코드를 완전히 재작성하여, "느리지만 유연한" 언어 (Python) 에서 그래픽 카드와 직접 소통하는 "빠르고 엄격한" 언어 (C++/CUDA) 로 전환한 것입니다.

다음은 그들이 어떻게 더 빠르고 더 나은 결과를 얻었는지 간단한 비유를 통해 설명한 것입니다:

1. "스마트 분할" (Long-Axis-Split)

문제: 기존 방식에서 컴퓨터가 특정 지점에 더 많은 디테일이 필요할 때, 점 하나를 복사해 두 개로 분할했는데, 이는 종종 맹목적으로 이루어졌습니다. 마치 제빵사가 빵을 두 개의 무작위 조각으로 잘라 샌드위치 모양에 하나라도 맞기를 바라는 것과 같았습니다.
해결책: ImprovedGS+ 는 Long-Axis-Split을 사용합니다. 무작위로 자르는 대신, 제빵사가 빵을 살펴보고 길고 얇은 모양을 파악한 뒤 길이를 따라 완벽하게 슬라이스하는 것입니다.

작동 원리: 소프트웨어는 3D 점의 "가장 긴" 방향을 식별하고 오직 그 방향으로만 분할합니다.
결과: 이는 컴퓨터의 주두뇌 (CPU) 가 멈춰서 대화할 필요 없이 그래픽 카드 (GPU) 에서 즉시 수행됩니다. 이는 인간이 칼을 사용하는 대신 제빵사가 1 나노초 만에 빵을 자르는 레이저 절단기를 가진 것과 같습니다.

2. "에지 탐정" (Laplacian Filter)

문제: 기존 방식은 때때로 평평한 표면 (예: 빈 벽) 에 혼란을 느껴 너무 많은 점을 추가하여 "노이즈"나 정전기를 생성했는데, 이는 수신 상태가 나쁜 TV 화면과 같았습니다.
해결책: 팀은 그래픽 카드에서 직접 실행되는 맞춤형 "에지 탐정"을 구축했습니다. 이 탐정은 이미지를 살펴尖锐한 가장자리나 실제 형태 (예: 컵의 테두리나 나무의 가장자리) 가 있는 곳에만 새로운 점을 추가합니다.

결과: 지루하고 평평한 부분은 무시하고 흥미로운 부분에 에너지를 집중합니다. 이로써 컴퓨터가 빈 공기에 점을 그리는 시간을 낭비하지 않게 됩니다.

3. "스마트 스케줄" (Exponential Scale Scheduler)

문제: 장면을 그리는 법을 배우는 것은 까다롭습니다. 초반에 너무 빠르게 그리면 디테일을 놓치고, 후반에 너무 느리게 그리면 끝내지 못합니다.
해결책: 그들은 코치처럼 행동하는 학습 스케줄을 만들었습니다.

1 단계 (스프린트): 시작 시, 점들은 전체 장면을 빠르게 덮기 위해 매우 빠르게 이동하고 성장하도록 지시받습니다.
2 단계 (마라톤): 시간이 지남에 따라 "속도 제한"이 점차 낮아집니다. 점들은 나뭇잎이나 벽돌 질감 같은 미세한 디테일을 포착하기 위해 tiny 하고 정밀한 조정을 위해 속도를 늦춥니다.
결과: 장면은 빠르게 구축되지만, 그 후 매우 날카롭고 사실적으로 보이도록 안정화됩니다.

결과: 더 빠르고, 더 작고, 더 훌륭함

저자들은 유명한 3D 장면 세트 (Mip-NeRF360) 에서 이를 테스트했습니다. 그들이 발견한 바는 다음과 같습니다:

속도: 학습 시간을 약 27% 단축했습니다. 한 장면을 구축하는 데 과거에 1 시간이 걸렸다면, 이제는 약 43 분이 걸립니다. 장면당 약 17 분을 절약했습니다.
효율성: 동일한 또는 더 나은 화질을 얻기 위해 **13% 적은 점 (가우스)**을 사용했습니다. 이는 더 적은 붓질로 걸작을 그리는 것과 같습니다.
화질: 일부 테스트에서는 더 적은 자원을 사용했음에도 불구하고 화질 (명확도 점수인 PSNR 로 측정) 이 이전 최선 방법보다 실제로 더 높았습니다.

결론

**ImprovedGS+**는 3D 페인팅 도구의 "저수준" 재설계입니다. 컴퓨터의 모국어 (C++/CUDA) 를 사용하고 점의 분할 및 배치에 대한 스마트하고 특수화된 규칙을 사용함으로써, 이전의 최선 도구들보다 더 빠르고, 더 적은 메모리를 사용하며, 더 선명한 이미지를 생성하는 시스템을 만들었습니다. 이는 문제를 해결하기 위해 더 많은 자원을 투입할 필요가 없으며, 기존에 가진 자원을 훨씬 더 효율적으로 조직화하기만 하면 된다는 것을 증명합니다.

기술 요약: ImprovedGS+

문제 제기

최근 3D 가우시안 스플래팅 (3DGS) 의 발전은 재구성 충실도와 계산 효율성 간의 균형을 맞추는 방향으로의 전환을 필요로 하게 되었습니다. ImprovedGS 와 같은 기존 전략은 밀도 증가 (densification) 를 위한 견고한 프레임워크를 제공하지만, 종종 고수준의 Python 로직에 의존합니다. 이러한 의존성은 과도한 호스트 - 장치 동기화와 여러 번의 메모리 통과로 인해 병목 현상을 초래하여 훈련 처리량과 시간 효율성을 제한합니다. 과제는 이러한 전략을 재설계하여 복잡한 대규모 환경에 필요한 시각적 품질을 훼손하지 않으면서 동기화 오버헤드를 최소화하는 저수준의 네이티브 구현으로 전환하는 데 있습니다.

방법론

저자들은 LichtFeld-Studio 프레임워크 내에서 C++ 과 CUDA 를 사용하여 네이티브로 개발된 ImprovedGS 전략의 고성능 재구현인 **ImprovedGS+**를 제안합니다. 이 방법론은 Python 기반 로직에서 최적화된 커널로의 전환을 목표로 하며, 다음 세 가지 주요 기술 혁신에 중점을 둡니다:

1. NMS 를 포함한 커스텀 라플라시안 기반 중요도 커널
밀도 증가를 위한 정밀한 구조적 중요도 맵을 생성하기 위해, 저자들은 고수준 프레임워크 호출을 Canny 에지 감지 로직을 모방한 정제된 CUDA 네이티브 파이프라인으로 대체했습니다:

전처리: 노이즈를 필터링하기 위해 회색조 변환과 가우시안 블러 (5×5) 를 수행하며, 이를 상수 메모리 (Constant Memory) 에 저장합니다.
기울기 추출: Sobel 연산자를 사용하여 크기와 방향을 병렬로 계산합니다.
비최대 억제 (NMS): 커스텀 박리 (thinning) 커널이 기울기 벡터 방향의 크기를 비교하여 기하학적 매니폴드를 분리합니다.
결과: 이 접근법은 실제 기하학적 경계에만 프리미티브가 배치되도록 보장하여 "밀도 증가 드리프트"를 방지하는 "박리된 구조적 척추"를 생성하며, 중앙값 정규화는 광도적 이상치를 완화합니다.

2. 직접 CUDA 커널 장축 분할 (LAS)
ImprovedGS+ 는 표준 등방성 분할 및 복제를 단일 특수화 CUDA 커널로 구현된 전용 장축 분할 (Long-Axis-Split, LAS) 전략으로 대체합니다.

통합 로직: 여러 번의 메모리 통과가 필요한 원래 Python 구현과 달리, 전체 분할 로직은 하나의 커널에 캡슐화되어 개별 가우시안 수준에서 기하학적 및 속성 연산을 병렬로 계산합니다.
수치적 일관성: 커널은 축소 연산 중 수치적 일관성을 보장하기 위해 원시 저장 데이터 (크기에 대한 로그 공간) 에서 작동합니다.
최적화된 변환: 새로운 가우시안 위치에 대한 전역 좌표 변환은 주축에 해당하는 회전 행렬의 특정 열을 추출하여 최적화됩니다. 이는 연산을 전체 3×3 행렬 - 벡터 곱셈 (9 번의 곱셈, 6 번의 덧셈) 에서 단순한 선형 스케일링 (3 번의 곱셈) 으로 줄입니다.
알고리즘: 분할은 가장 긴 축을 $\alpha=0.5$ 배, 이차 축을 $\gamma=0.85$ 배 축소하고, 로그이트 공간으로 변환하기 전에 불투명도를 $\beta=0.6$ 배 감소시키는 과정을 포함합니다.

3. 적응형 학습 스케줄 및 정제
저자들은 가우시안 복제 제거를 보상하기 위해 2 단계 정제 과정과 수정된 학습률을 도입했습니다:

지수 스케일 스케줄러: 초기 높은 스케일률 (0.020) 에서 최종 값 (0.002) 으로 지수 감쇠 ( $\gamma=0.1$ ) 를 사용하여 전환하는 학습률 스케줄입니다. 이는 1 단계에서의 빠른 볼륨 확장과 2 단계에서의 정밀 정제를 용이하게 합니다.
위치 학습률 최적화: 기준선 (0.00004~0.000002) 에 비해 위치 학습률이 크게 증가 (초기 0.000128, 감쇠 후 0.0000128) 되었습니다. 이는 더 세분화된 이동과 정밀한 프리미티브 배치를 가능하게 합니다.
전역 워밍업 단계: 처음 세 번의 밀도 증가 단계 (반복 500, 1000, 1500) 에서는 기울기 임계값 마스킹이 중단됩니다. 이는 엄격한 구조적 정제가 시작되기 전에 넓은 저기울기 표면을 가진 야외 장면이 충분히 채워지도록 하여, 가우시안이 순수하게 에지 점수에 기반하여 분할되도록 합니다.
고정 밀도 증가 간격: 계산 오버헤드를 최소화하기 위해 밀도 증가 창은 30 개의 총 단계 (반복 500 에서 15,000 까지) 로 제한됩니다.

주요 기여

네이티브 C++/CUDA 구현: Python 오버헤드를 제거하고 호스트 - 장치 동기화를 크게 줄인 ImprovedGS 의 완전한 저수준 재창조.
장축 분할 (LAS) 커널: 분할, 복제, 전역 좌표 변환을 단일 통과로 수행하는 커스텀 CUDA 커널로, 메모리 사용과 계산 속도를 최적화합니다.
향상된 에지 감지: 평면 표면의 스티플 노이즈를 줄이고 밀도 증가를 실제 기하학적 경계에 집중시키는 NMS 를 포함한 커스텀 라플라시안 기반 중요도 커널.
적응형 스케줄링: 초기 수렴 속도와 최종 지표 (PSNR/SSIM) 를 개선하는 지수 스케일 스케줄러와 최적화된 위치 학습률의 도입.

실험 결과

실험은 NVIDIA RTX A4500 GPU 를 사용하여 Mip-NeRF360 데이터셋 (9 개 장면) 에서 수행되었으며, ImprovedGS+ 를 MCMC 기준선 및 ADC 전략과 비교했습니다.

1M 예산 변형: 최첨단 MCMC 기준선과 비교하여 ImprovedGS+(1M 예산) 는 다음을 달성했습니다:
- 훈련 시간 26.8% 감소(세션당 17 분 절약).
- 사용된 가우시안 13.3% 감소.
- 우수한 시각적 품질, PSNR 0.15dB 증가 (28.79 대 28.64) 및 SSIM 증가 (0.859 대 0.848).
풀 변형: ADC 기준선과 비교하여 전체 ImprovedGS+ 변형은 다음을 보여주었습니다:
- 1.28dB PSNR 증가(29.38 대 28.10).
- 38.4% 매개변수 복잡도 감소(1.688M 가우시안 대 2.741M).
- MCMC 1M 기준선과 동일한 시간 창 내에서 훈련이 완료되어 더 높은 아키텍처 처리량을 나타냄.
절대 연구: 지수 스케일 스케줄러를 제거하면 최종 지표에서 측정 가능한 하락이 발생했습니다 (예: Bonsai 장면에서 PSNR 0.42dB 하락). 이는 구조적 세부 사항을 안정화하기 위한 그 필요성을 확인시켜 줍니다.

중요성 및 주장

이 논문은 ImprovedGS+ 가 LichtFeld-Studio 생태계 내에서 장면 재구성을 위한 새로운 파레토 최적 프론트를 확립한다고 주장합니다. 이는 속도, 품질, 사용성이라는 핵심 기둥을 유지하는 확장 가능하고 고속의 솔루션으로 접근 방식을 검증합니다.

저자들은 그들의 방법이 최대 허용 예산을 소진하지 않고도 고충실도 재구성을 달성한다고 강조합니다 (예: MCMC 의 1.000M 에 비해 "Room" 장면에서 0.591M 가우시안만으로 우수한 PSNR 달성). 이 작업은 고수준 로직에서 최적화된 저수준 커널로의 전환과 전략적 알고리즘 수정 (LAS, 적응형 스케줄링) 의 결합이 시각적 충실도를 유지하거나 향상시키면서 훈련 지연과 매개변수 복잡도를 크게 줄일 수 있음을 보여줍니다.