RAP: Fast Feedforward Rendering-Free Attribute-Guided Primitive Importance Score Prediction for Efficient 3D Gaussian Splatting Processing

이 논문은 3D 가우스 스플래팅 (3DGS) 에서 렌더링 없이 가우스 속성과 지역 통계만으로 원시 (primitive) 의 중요도를 빠르게 예측하여 재구성 및 압축 효율성을 극대화하는 'RAP'라는 새로운 방법을 제안합니다.

핵심

3D Gaussian Splatting 의 '불필요한 짐'을 날려버리는 RAP: 쉬운 설명

이 논문은 **3D Gaussian Splatting **(3DGS)이라는 최신 3D 기술이 가진 큰 문제점을 해결하는 새로운 방법, RAP을 소개합니다.

한마디로 말해, **"3D 장면을 만들 때, 실제로는 쓸모없는 '쓰레기' 데이터들을 자동으로 찾아내서 버려주는 똑똑한 청소부"**라고 생각하시면 됩니다.

---

1. 왜 이런 게 필요할까요? (문제 상황)

3DGS 는 마치 **수백만 개의 반짝이는 구슬 **(가우시안)을 뿌려서 3D 장면을 만드는 기술입니다. 이 구슬들이 모여서 우리가 보는 아름다운 3D 이미지를 만들어내죠.

하지만 여기서 문제가 생깁니다.

• 과도한 생산: 이 기술은 장면을 더 정교하게 만들려고 구슬을 무작정 많이 뿌립니다.
• 비효율: 그중에는 **실제로는 아무런 빛도 내지 않는 '빈 구슬'이나 '중복된 구슬'**이 수백만 개나 섞여 있습니다.
• 결과: 저장 공간은 엄청나게 커지고, 컴퓨터가 이걸 다 처리하느라 느려집니다.

2. 기존 방법들은 왜 불편할까요?

지금까지 이 '쓸모없는 구슬'을 찾아내는 방법들은 크게 두 가지였는데, 둘 다 귀찮은 점이 많았습니다.

1. **렌더링 **(그리기)
   • 비유: "이 구슬이 정말 예쁜지 확인하려면, 모든 각도에서 사진을 찍어서 비교해봐야 해."
   • 단점: 구슬이 100 만 개라면, 100 만 번이나 사진을 찍고 비교해야 하므로 시간이 너무 오래 걸립니다. 마치 100 만 개의 사물을 하나하나 손으로 들어보며 무게를 재는 것과 같습니다.
2. **학습 **(기억)
   • 비유: "이 장면을 위해 새로운 AI 를 따로 훈련시켜야 해."
   • 단점: 장면을 조금만 바꿔도 (예: 배경을 바꾼다면) 다시 처음부터 훈련을 해야 해서 번거롭습니다.

3. RAP 는 어떻게 해결하나요? (해결책)

이 논문에서 제안한 RAP은 완전히 다른 접근법을 씁니다.

핵심 아이디어: "구슬을 그려보지 않아도, 구슬 자체의 모양과 주변 상황만 봐도 쓸모없다는 걸 알 수 있다!"

RAP 은 마치 현미경으로 구슬을 자세히 관찰하는 전문가처럼 행동합니다.

• **속성 **(Attribute) 구슬의 색깔, 크기, 투명도를 봅니다.
  • 예: "이 구슬은 투명도가 거의 0 이네? 그냥 안 보이니까 버려도 되겠다."
  • 예: "이 구슬은 너무 작아서 눈에 안 띄네? 버려."
• **이웃 관계 **(Neighborhood) 구슬이 주변에 얼마나 혼자 떨어져 있는지를 봅니다.
  • 예: "이 구슬은 주변에 아무도 없는데 혼자 떠다니고 있네? 아마 실수해서 생긴 것 같아. 버려."

이렇게 **그림을 그리는 과정 **(렌더링)을 생략하고, 구슬의 속성 데이터만으로 "이건 중요함 (Keep)", "이건 쓰레기 (Discard)"를 판단합니다.

4. RAP 의 작동 원리 (창의적인 비유)

RAP 은 **작은 두뇌 **(MLP)를 가지고 있습니다. 이 두뇌는 다음과 같은 훈련을 받습니다.

1. 데이터 수집: 구슬들의 크기, 색깔, 투명도, 주변과의 거리 등을 15 가지 특징으로 뽑아냅니다.
2. 훈련: "이 구슬들을 버렸을 때, 원래 장면이 얼마나 망가지는지"를 보며 학습합니다.
   • **보상 **(Loss) "너무 많이 버려서 장면이 망가졌으면 점수 감점!", "너무 적게 버려서 용량이 줄지 않았으면 점수 감점!"
   • 균형: "적당한 양만 버려서 장면은 예쁘게 유지하고, 용량은 최대한 줄여라!"
3. 실전: 훈련이 끝나면, 새로운 3D 장면이 들어오자마자 그림을 그리지 않고 바로 "이건 버려, 이건 살려"라고 1 초 만에 판단합니다.

5. RAP 의 장점 (왜 이것이 혁신인가?)

• ⚡ 초고속: 그림을 그릴 필요가 없으니, 기존 방법보다 훨씬 빠릅니다. (약 2~4 배 빠름)
• 🔄 범용성: 특정 장면을 위해 다시 훈련할 필요가 없습니다. 어떤 3D 장면이든 **바로 적용 **(Plug-and-Play) 가능합니다.
• 📉 압축 효과: 불필요한 구슬을 깔끔하게 제거해서, 파일 크기를 획기적으로 줄이면서도 화질은 거의 떨어뜨리지 않습니다.

요약

RAP은 3D 장면 속에 숨겨진 **불필요한 데이터 **(쓰레기 구슬)를 찾아내는 초고속 스캐너입니다.
기존에는 "그려서 확인"하는 방식이었다면, RAP 은 **"속성을 보고 바로 판단"**하는 방식을 써서, 시간을 아끼고 공간을 절약하면서도 화질은 그대로 유지해줍니다.

이 기술이 적용되면, 우리가 3D 콘텐츠를 더 가볍고 빠르게 다운로드하고, 더 많은 3D 장면을 스마트폰에서도 부드럽게 볼 수 있게 될 것입니다!

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

**3D Gaussian Splatting (3DGS)**은 고품질의 3D 장면 재구성과 실시간 렌더링을 가능하게 하는 획기적인 기술로 부상했습니다. 그러나 3DGS 는 고충실도 렌더링을 위해 수백만 개의 가우시안 원시 (primitive) 를 생성하며, 이 과정에서 다음과 같은 문제들이 발생합니다.

• 불필요한 중복성: 최적화 및 밀도 증가 (densification) 과정에서 많은 수의 중복되거나 기여도가 낮은 원시들이 생성됩니다.
• 기존 중요도 평가 방법의 한계:
  1. 속성 기반 (Attribute-based): 불투명도 (opacity) 나 크기 (scale) 와 같은 단순 규칙을 사용하지만, 중첩된 원시 간의 복잡한 상호작용을 반영하지 못해 정확도가 낮습니다.
  2. 렌더링 기반 (Rendering-based): 여러 뷰에서 렌더링하여 기여도를 측정합니다. (예: LightGaussian, MesonGS). 이는 정확하지만 뷰 수에 비례하여 계산 시간이 선형적으로 증가하며, 특수한 미분 가능 래스터라이저가 필요해 모듈화와 확장성이 떨어집니다.
  3. 학습 기반 (Learning-based): 재구성과 함께 마스크를 학습하지만, 특정 장면에 종속되어 다른 데이터셋으로의 일반화가 어렵고, 장면이 변경되면 scores 를 다시 계산해야 합니다.

따라서, 렌더링 없이 (Rendering-free), 빠른 속도로 (Fast), 어떤 장면에서도 적용 가능한 (Generalizable) 원시 중요도 예측 방법이 절실히 필요했습니다.

2. 제안 방법론: RAP (Methodology)

저자들은 **RAP (Rendering-free Attribute-guided primitive importance score Prediction)**을 제안했습니다. 이는 렌더링 기반 계산을 배제하고, 가우시안의 **고유 속성 (intrinsic attributes)**과 **국소 이웃 통계 (local neighborhood statistics)**를 기반으로 중요도 점수를 예측하는 피드포워드 (feedforward) 방식입니다.

A. 중요도 인식 특징 추출 (Importance-aware Feature Extraction)

각 가우시안 원시에 대해 15 차원 특징 벡터를 구성합니다. 이는 다음 두 가지로 나뉩니다.

1. 고유 속성 (Intrinsic Attributes):
   • 평균 K-NN 거리 (Spatial isolation)
   • 색상 이방성 (Color anisotropy, 뷰 의존적 색상 변화)
   • 정렬된 스케일 ($s_0, s_1, s_2$) 및 부피 (Volume)
   • 불투명도 (Opacity) 및 DC 색상
2. 정규화 통계 (Normalized Statistics):
   • 전역 정규화 (Global Z-score): 전체 장면의 평균과 표준편차를 기준으로 정규화하여 장면 간 일관성을 확보.
   • 국소 정규화 (Local Z-score): K-NN 이웃을 기준으로 정규화하여 지역적 대비 (redundancy) 를 강조.
   • 특징: 모든 특징은 [0, 1] 범위로 클리핑 및 선형 재스케일링되어 강건성을 높입니다.

B. 학습 프레임워크 및 최적화 (Learning Framework)

경량화된 **MLP (Multi-Layer Perceptron)**를 사용하여 15 차원 특징 벡터를 0~1 사이의 중요도 점수로 매핑합니다. 모델 학습 시 다음 세 가지 손실 함수를 결합하여 사용합니다.

1. 렌더링 손실 (Rendering Loss):
   • 예측된 중요도 점수로 가우시안의 불투명도와 스케일을 부드럽게 재가중치 (soft reweighting) 하여 렌더링합니다.
   • 목표: 중요도가 낮은 원시를 제거하더라도 렌더링 품질 (PSNR, SSIM) 이 유지되도록 유도.
2. 프러닝 인식 손실 (Pruning-aware Loss):
   • 네트워크가 모든 원시에 높은 점수를 부여하는 자명한 해 (trivial solution) 를 방지합니다.
   • 예측된 평균 점수를 사전에 정의된 목표 값 ($S_{target}$) 에 가깝게 규제하여 불필요한 원시를 제거하도록 강제합니다.
3. 중요도 분포 정규화 (Significance Distribution Regularization):
   • 엔트로피를 최대화하도록 하여 점수 분포가 0 과 1 사이에서 잘 분리되고 매끄럽게 퍼지도록 합니다.
   • 이는 임의의 임계값 (threshold) 으로 프러닝을 수행할 때 유연성을 보장합니다.

학습 및 추론 프로세스:

• 학습: 소수의 장면 (DL3DV-10K 등) 에서만 학습하며, 다양한 뷰를 샘플링하여 일반화 능력을 키웁니다.
• 추론: 학습이 완료되면 렌더링이 전혀 필요 없습니다. 단순히 특징 벡터를 MLP 에 입력하여 즉시 중요도 점수를 얻고, 이를 기반으로 프러닝을 수행합니다.

3. 주요 기여 (Key Contributions)

1. RAP 프레임워크 제안: 렌더링 없이 고유 속성과 이웃 통계만으로 원시 중요도를 직접 예측하는 최초의 효율적인 프레임워크입니다.
2. 차별화된 특징 설계: 평균 K-NN 거리, 색상 이방성 등 15 차원의 컴팩트하고 판별력 있는 특징 벡터를 설계했습니다.
3. 강력한 일반화 및 효율성: 소수 장면 학습으로 unseen 데이터셋에 효과적으로 일반화되며, 렌더링 기반 방법보다 훨씬 빠른 추론 속도를 제공합니다.
4. 다양한 하위 작업 통합: 3DGS 재구성, 압축 (MPEG GSC), 전송 등 다양한 파이프라인에 플러그 앤 플레이 (plug-and-play) 방식으로 통합 가능합니다.

4. 실험 결과 (Results)

저자는 Mip-NeRF360, Deep Blending, Tanks&Temples 등 다양한 데이터셋에서 RAP 를 평가했습니다.

• 프러닝 성능 (Post-hoc Pruning):
  • 기존 방법 (LightGaussian, MesonGS, C3DGS 등) 대비 모든 데이터셋과 프러닝 비율에서 PSNR, SSIM, LPIPS 측면에서 우수한 성능을 보였습니다.
  • 특히 60% 프러닝 시, 경쟁 방법 대비 최대 0.5dB PSNR 향상을 기록했습니다.
  • BD-Rate 분석에서 Mip-NeRF360-Outdoor 기준 **-42.63%**의 개선 효과를 보였으며, 이는 저장 공간 대비 재구성 품질이 월등히 높음을 의미합니다.
• 계산 속도:
  • 렌더링 기반 방법 (LightGaussian 등) 보다 훨씬 빠릅니다. (예: Mip-Indoor 기준 RAP 5.72초 vs LightGaussian 22.71초).
  • 계산 시간이 뷰 수에 의존하지 않고 원시 개수에만 비례하므로 대규모 장면에서도 확장성이 뛰어납니다.
• 재구성 중 통합 프러닝 (Pruning-in-the-Loop):
  • 학습 과정 중 1500 iterations 마다 40% 의 원시를 제거하는 방식으로 통합했을 때, 모델 크기는 1/3~1/5 로 감소했으나 PSNR 저하는 미미했습니다.
  • 오히려 불필요한 원시를 제거함으로써 최적화 방향이 개선되어 Vanilla 3DGS 보다 더 높은 PSNR 을 기록한 장면도 있었습니다.
• 압축 효율 (MPEG GSC):
  • MPEG 가우시안 스플래팅 코딩 (GSC) 파이프라인에 통합 시, 모든 비트레이트에서 15~20% 의 BD-Rate 개선을 보여주어 압축 효율을 크게 높였습니다.

5. 의의 및 결론 (Significance)

RAP 는 3D Gaussian Splatting 의 실용화를 위한 핵심 병목 현상인 저장 공간 및 메모리 부담을 해결하는 획기적인 솔루션입니다.

• 렌더링 의존성 제거: 기존 방법들의 가장 큰 약점인 "뷰 의존적 렌더링 계산"을 완전히 제거하여, 대규모 장면 처리 및 실시간 애플리케이션에 적용 가능한 속도를 달성했습니다.
• 범용성: 특정 장면 재학습 없이도 다양한 데이터셋에 적용 가능한 일반화 능력을 입증했습니다.
• 미래 지향성: 3DGS 기반의 콘텐츠 생성, 전송, 압축 (MPEG 표준 등) 분야에서 표준적인 중요도 평가 모듈로 자리 잡을 수 있는 잠재력을 가지고 있습니다.

결론적으로, RAP 는 3DGS 의 효율성을 극대화하면서도 화질을 유지하는 가장 빠르고 강력한 프러닝 (pruning) 솔루션으로 평가됩니다.