기술 요약: GPU 친화적 그래픽스 텍스처 코딩을 이용한 3D 가우시안 스플래팅 데이터의 압축

문제 정의

3D 가우시안 스플래팅(3DGS)은 학습된 기하학적 프리미티브(Gaussian spatial distributions를 가진 형태)로 구성된 고품질 3D 장면 모델을 생성함으로써 새로운 뷰 합성(novel view synthesis) 분야에서 강력한 기술로 부상했습니다. 그러나 3DGS 모델은 상당한 메모리를 요구한다는 실질적인 한계가 있습니다. 이는 주로 장면의 세부 사항을 포착하기 위해 필요한 방대한 수의 프리미티브와, 시점 의존적 색상(view-dependent color)을 모델링하기 위해 사용되는 구형 조화 함수(spherical harmonic, SH) 계수와 같이 프리미티브당 할당되는 광범위한 파라미터 때문입니다.

기존의 압축 방식들은 데이터 감소를 보여주었으나, 현대적인 렌더링 파이프라인과 관련하여 결정적인 한계를 가집니다. 즉, GPU의 병렬 디코딩 및 렌더링 능력을 활용하지 못한다는 점입니다. 표준 이미지 압축 기술(예: JPEG)은 가변 비트레이트와 엔트로피 코딩에 의존하는 경우가 많아, 복잡한 장면을 효율적으로 렌더링하는 데 필수적인 랜덤 액세스(random access)를 저해합니다. 또한, 전통적인 텍스처 압축 방식은 고정된 2D 그리드에 맞춰 설계되었기 때문에 3DGS 데이터 조직에 내재된 재정렬(reordering) 능력을 쉽게 활용할 수 없습니다.

방법론

본 논문은 표준 그래픽스 텍스처 코딩 방식(구체적으로 BC1 및 BC7과 같은 블록 트렁케이션 코딩 변형)을 3DGS 파라미터에 적응시키는 압축 프레임워크를 제안합니다. 핵심 방법론은 세 가지 주요 기술적 축에 기반합니다.

1. GPU 친화적 고정 비트레이트 압축

저자들은 데이터를 고정된 비트 수로 압축하는 텍스처 압축 형식(BC1, BC7)을 활용합니다. 이러한 설계는 다음을 가능하게 합니다:

• 랜덤 액세스: 임의의 압축 블록은 비트스트림에서의 위치(블록 인덱스 × 블록당 비트 수)를 계산함으로써 독립적으로 위치를 찾고 디코딩될 수 있습니다.
• 병렬 디코딩: 이러한 랜덤 액세스 덕분에 GPU 코어는 순차적인 데이터 스트림을 기다리지 않고 프리미티브를 병렬로 디코딩하고 렌더링할 수 있습니다.
• 하드웨어 가속: 이 방법은 현대적 GPU에서 발견되는 전용 텍스처 디컴프레션 하드웨어 지원을 활용하여 대역폭 사용량과 에너지 소비를 최소화합니다.

2. 색상 정렬을 통한 데이터 재조직

주요 혁신은 압축 전 3DGS 프리미티브를 재조직하는 것입니다. 고정된 2D 텍스처의 픽셀 위치와 달리, 3DGS 프리미티브는 (알파 블렌딩 단계에서 카메라와의 거리에 따라 정렬된다는 전제하에) 렌더링 로직에 영향을 주지 않고 재정렬될 수 있습니다.

• 색상 기반 정렬: 저자들은 RGB 벡터에 비트 인터리빙(bit-interleaving) 기법을 적용하여 24비트 정수 값을 생성한 후 이를 정렬합니다.
• 클러스터링: 이 정렬은 유사한 색상을 가진 프리미티브들을 연속적인 블록으로 그룹화합니다. 블록 트렁케이션 코딩(BTC)은 블록 내 분산(variance)이 낮을 때 성능이 가장 좋으므로, 이러한 재조직은 고정 비트레이트에서의 재현 오차(왜곡)를 크게 줄여줍니다.
• 공간적 고려: 색상 정렬이 주요 동력이지만, 공간적 근접성 또한 고려될 수 있음을 인정하며, 더 큰 그룹 내에서의 독립적인 색상 정렬이 BTC 효율성에 효과적임을 보여줍니다.

3. 계층적 및 다중 스트림 조직

대규모 장면과 다양한 데이터 특성을 처리하기 위해, 본 논문은 계층적 데이터 조직을 도입합니다.

• 파라미터 분리: 위치(position), 형태(shape), 외관(appearance, SH 계수)을 분리합니다. 외관 파라미터는 0이 아닌 SH 계수의 개수에 따라 더욱 세분화됩니다.
• 다중 비트스트림: 서로 다른 파라미터 특성을 가진 프리미티브(예: 축소된 SH 계수를 가진 것 vs 전체 SH 계수를 가진 것)를 별도의 비트스트림으로 그룹화합니다. 이를 통해 랜덤 액세스를 유지하면서도 서로 다른 데이터 서브셋에 대해 서로 다른 고정 비트레이트 코딩 전략을 적용할 수 있습니다.
• 블록 재배열: 프리미티브당 16개의 SH RGB 계수를 $4 \times 4$ RGB 블록으로 재배열합니다. 본 논문은 단일 프리미티브의 계수를 패킹하거나, 색상 유사성을 극대화하기 위해 여러 프리미티브의 동일한 차수 계수를 하나의 블록으로 모으는 등 다양한 구성을 탐구합니다.

주요 기여

• GPU 네이티브 압축: 본 논문은 3DGS 데이터를 표준 그래픽스 텍스처 형식을 사용하여 압축할 수 있음을 입증하였으며, 이를 통해 실시간 성능에 필요한 랜덤 액세스를 훼손하지 않으면서 현대적 GPU에서 효율적인 병렬 디코딩 및 렌더링을 가능하게 합니다.
• BTC를 위한 색상 정렬: 색상 유사성에 따라 3DGS 프리미티브를 재정렬하는 것이 고정 비트레이트 압축(BTC)의 효율성을 크게 향상시켜, 상수 비트레이트 제약과 관련된 전형적인 왜곡 페널티를 극복할 수 있음을 보여줍니다.
• 유연한 비트레이트 할당: 파라미터 속성에 따라 데이터를 여러 비트스트림으로 조직함으로써, 장면 전체에 걸쳐 가변 비트레이트 할당(예: 확산 성분에는 고품질 BC7을, 경면/고차 계수에는 저품질 BC1을 사용)을 적용하면서도 특정 데이터 블록에 대한 랜덤 액세스 능력을 보존할 수 있습니다.
• 실제 구현: 본 연구는 부동 소수점 SH 계수를 8비트 정수로 양자화하고, 이를 텍스처 구조로 조직한 뒤, 표준 압축 도구(Compressonator)를 사용하여 DDS 파일을 생성하는 구체적인 파이프라인을 제공합니다.

실험 결과

저자들은 공식 3DGS 구현의 "bicycle", "bonsai", "garden" 장면에 대해 실험을 수행했습니다. 실험에서는 32비트 부동 소수점 파라미터를 BC1 및 BC7 형식을 사용하는 다양한 압축 방식과 비교했습니다.

• 양자화 베이스라인: 적절한 스케일링이 적용되었을 때, SH 계수를 압축 없이 8비트로 양자화하는 것은 미미한 시각적 손실(PSNR > 46 dB)만을 초래했습니다.
• 정렬의 영향: 정렬되지 않은 데이터에 표준 BC1/BC7을 적용하면 심각한 품질 저하(PS로 10–20 dB 하락)가 발생했습니다. 그러나 압축 전 색상 정렬을 적용하면 극적인 개선이 나타났습니다.
  • BC1의 경우, 정렬을 통해 PSNR이 약 4–6 dB 향상되었습니다.
  • BC7의 경우, 특정 블록 배치에 따라 PSNR이 5–16 dB 향상되었습니다.
• 최적의 구성: 최적의 결과는 첫 번째(확산) SH 계수와 나머지(경면) SH 계수를 분리했을 때 달성되었습니다. 첫 번째 블록에 BC7을 사용하고 나머지 블록에 BC1을 사용하는 방식과 색상 정렬을 결합했을 때, 시각적으로 무손실에 가까운 압축(PSNR > 38 dB)을 달로하면서도 메모리 사용량을 크게 줄였습니다(압축되지 않은 32비트 부동 소수점 대비 SH 데이터당 약 9 바이트까지 감소).
• 시각적 품질: 렌더링된 뷰와 비디오에 대한 시각적 검사는 아티팩트가 주로 색상 외관에 국한됨을 확인시켜 주었습니다. 가우시안 프리미티브의 매끄러운 경계 덕분에 색상 양자화 아티팩트는 급격한 전환을 만들지 않아 움직임 속에서 식별하기 어려웠습니다.

의의 및 주장

본 논문은 제안된 방법이 고충실도 3D 장면 표현과 GPU 렌더링의 실질적 제약 사이의 간극을 성공적으로 메운다고 주장합니다. 3DGS 프리미티브의 재정렬 자유도를 활용함으로써, 저자들은 전통적으로 가변 비트레이트 이미지 코딩보다 효율성이 떨어지는 고정 비트레이트 텍스처 압축이 3DGS 데이터에 대해 매우 효과적일 수 있음을 입증했습니다.

이 연구의 의의는 수백만 개의 프리미티브를 가진 대규모의 매우 상세한 3D 장면을 실시간으로 렌더링할 수 있게 한다는 점에 있습니다. 이 방법은 병렬 GPU 실행에 필요한 랜덤 액세스를 보존하고, 필요할 때까지 데이터를 압축된 상태로 유지하여 메모리 대역폭 요구 사항을 줄이며, 디컴프레션을 위한 전용 하드웨어 가속을 활용합니다. 저자들은 GPU 기반 디컴프레션이 시각적 품질의 저하를 거의 느끼지 못할 수준으로 달성될 수 있다고 결론지으며, 이는 확장 가능한 3DGS 배포를 위한 실행 가능한 솔루션임을 밝히고 있습니다.