MUGSQA: Novel Multi-Uncertainty-Based Gaussian Splatting Quality Assessment Method, Dataset, and Benchmarks

이 논문은 가우시안 스플래팅 (GS) 기반 3D 재구성의 품질 평가 문제를 해결하기 위해 인간 시각 행동을 모방한 다중 거리 주관적 평가 방법을 제안하고, 입력 데이터의 다양한 불확실성을 고려한 새로운 데이터셋 (MUGSQA) 과 재구성 방법의 견고성 및 기존 평가 지표 성능을 검증하는 벤치마크를 구축했습니다.

핵심

🍽️ 1. 배경: 새로운 요리법 (Gaussian Splatting) 의 등장

과거에는 3D 장면을 만들려면 무거운 돌덩이 (메쉬) 나 점 (포인트 클라우드) 을 쌓아야 했습니다. 하지만 최근 **'구스플래팅'**이라는 새로운 요리법이 등장했습니다. 이 방법은 3D 공간을 수만 개의 작은 '구슬' (가우시안) 로 채워서, 아주 빠르고 선명한 3D 영상을 만들어냅니다.

하지만 문제는 이 '구슬 요리'를 만드는 방법들이 너무 다양하다는 것입니다. 어떤 방법은 빛을 잘 반사하고, 어떤 방법은 구슬을 잘 쌓습니다. 그런데 어떤 요리법이 더 맛있는지 (품질이 좋은지) 판단할 기준이 없었습니다.

🕵️‍♂️ 2. 문제점: 왜 기존 평가는 실패했나?

기존의 평가 방법들은 두 가지 큰 결함이 있었습니다.

1. 재료의 불확실성을 무시함: 요리사가 재료를 다룰 때, 재료가 얼마나 신선한지 (해상도), 재료가 얼마나 많은지 (입력 뷰 개수), 요리사가 얼마나 멀리서 보는지 (거리), **초기 레시피가 정확한지 (초기 점구름)**에 따라 요리 결과가 달라집니다. 기존 연구들은 이 '재료의 불확실성'을 고려하지 않고, 완벽한 재료로만 실험했습니다.
2. 사람의 눈과 동떨어진 평가: 사람들은 3D 물체를 볼 때 한곳에 고정되어 보지 않습니다. 가까이서 자세히 보기도 하고, 멀리서 전체를 보기도 하며, 빙글빙글 돌며 봅니다. 하지만 기존 평가는 고정된 화면이나 한 번의 거리에서만 점수를 매기게 했습니다.

🛠️ 3. 해결책: MUGSQA (새로운 평가 시스템)

저자들은 이 문제를 해결하기 위해 MUGSQA라는 새로운 프로젝트를 시작했습니다.

• 다양한 재료 테스트: 55 개의 3D 모델 (원재료) 을 준비하고, 여기에 54 가지의 다양한 '불확실성' 상황을 적용했습니다.
  • 예: 고화질 사진 72 장 vs 저화질 사진 9 장, 멀리서 찍은 사진 vs 가까이서 찍은 사진 등.
• 다양한 요리사 (알고리즘) 초청: 6 가지 다른 구스플래팅 방법들을 불러와 이 다양한 상황에서 요리를 시켰습니다.
• 새로운 시식 방법 (다중 거리 평가): 참가자들에게 3D 물체를 보여줄 때, 가까이서, 중간 거리에서, 멀리서 번갈아 가며 돌려보게 했습니다. 마치 미식가가 요리를 다양한 각도에서 맛보듯 말입니다.

📊 4. 결과: 무엇을 발견했나?

이 실험을 통해 두 가지 중요한 '레스토랑 가이드 (벤치마크)'를 만들었습니다.

① 요리사 (알고리즘) 실력 평가

• 어떤 요리법이 재료 (입력 데이터) 가 부족하거나 나빠도 맛있는 요리를 만들 수 있는지 확인했습니다.
• 결과: 'Mip-Splatting'이라는 요리법이 가장 안정적으로 좋은 결과를 냈습니다. 반면, 거대한 장면을 위한 요리법들은 작은 물체 (단일 객체) 를 만들 때는 오히려 맛이 떨어졌습니다.

② 미식가 (품질 평가 도구) 실력 평가

• 컴퓨터가 자동으로 "이 요리는 80 점이다"라고 점수를 매기는 기존 도구들이 실제로 사람의 입맛 (사람이 매긴 점수) 과 일치하는지 확인했습니다.
• 결과: 놀랍게도, 기존의 2D 이미지 평가 도구들은 3D 구스플래팅의 품질을 제대로 평가하지 못했습니다. 마치 2D 사진으로 3D 요리의 맛을 판단하려는 것과 같아서, 깊은 학습을 한 최신 도구 (DBCNN) 를 제외하면 대부분 실패했습니다.

💡 5. 결론: 왜 이 연구가 중요한가?

이 연구는 **"3D 구스플래팅 기술이 더 발전하려면, 재료의 불완전함을 고려한 새로운 평가 기준과 도구 (메트릭) 가 필요하다"**고 외치고 있습니다.

지금까지 우리는 3D 기술의 품질을 평가할 때 너무 단순한 방법만 썼는데, 이제 **사람이 실제로 3D 물체를 어떻게 경험하는지 (거리, 각도, 재료 상태)**를 반영한 정교한 평가 시스템이 필요하다는 것을 증명했습니다.

한 줄 요약:

"새로운 3D 요리법 (구스플래팅) 의 맛을 제대로 평가하려면, 재료 상태 (불확실성) 를 다양하게 테스트하고, 사람이 실제로 돌려보며 맛보는 방식 (다중 거리) 으로 점수를 매겨야 하며, 기존 2D 평가 도구로는 부족하다는 것을 증명했습니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 3D 가우시안 스플래팅 (GS) 의 부상: 가우시안 스플래팅 (Gaussian Splatting, GS) 은 고화질 렌더링과 실시간 성능을 동시에 만족하여 3D 객체 재구성의 핵심 기술로 급부상했습니다.
• 평가의 부재: 다양한 GS 기반 재구성 방법들이 등장하고 있지만, 입력 데이터의 불확실성 (Uncertainty) 하에서 이러한 방법들의 지각적 품질을 평가하는 표준은 여전히 부재합니다.
• 기존 벤치마크의 한계:
  • 기존 품질 평가 데이터셋은 주로 이미지, 포인트 클라우드, 메시에 집중되어 있으며, GS 특유의 왜곡을 다루지 못합니다.
  • 기존 GSQA 데이터셋은 주로 '압축'에 의한 열화를 다루며, 실제 재구성 과정에서 발생하는 입력 불확실성 (sparse views, low resolution, inaccurate point clouds 등) 으로 인한 왜곡을 충분히 반영하지 못합니다.
  • 주관적 평가 (SQA) 방법이 고정된 시점이나 단일 거리에서만 객체를 보여줌으로써, 사용자가 상호작용하거나 몰입형 환경에서 가우시안 객체를 동적으로 관찰하는 실제 행동을 반영하지 못합니다.

2. 제안 방법론 (Methodology)

가. 통합 다거리 주관적 품질 평가 (Unified Multi-distance SQA)

• 동적 관찰 시뮬레이션: 사용자가 가우시안 객체를 다양한 거리와 시점에서 관찰하는 실제 행동을 모방하기 위해, 다거리 (Multi-distance) 평가 방식을 도입했습니다.
• 렌더링 방식: 각 소스 모델에 대해 기준 비디오 (Reference Video) 와 왜곡 비디오 (Distortion Video) 를 생성하며, 시점 - 객체 거리를 회전 각도 ($\theta$) 의 함수로 정의하여 1.2m, 1.5m, 1.8m 의 거리가 교차하며 변화하는 180 프레임의 비디오를 생성했습니다.

나. MUGSQA 데이터셋 구축

• 데이터 소스: Sketchfab 에서 선정한 55 개의 고해상도 3D 메시 (OBJ 형식) 를 Ground Truth 로 사용했습니다.
• 다중 불확실성 (Multiple Uncertainties) 시뮬레이션: 실제 재구성 환경에서 발생할 수 있는 4 가지 주요 불확실성을 조합하여 54 가지 시나리오를 생성했습니다.
  1. 입력 뷰의 수 (View Quantity): 9 개 (희소), 36 개 (표준), 72 개 (밀집).
  2. 입력 뷰의 해상도 (View Resolution): 480x480, 720x720, 1080x1080.
  3. 시점 - 객체 거리 (View-to-object Distance): 1m, 2m, 5m.
  4. 초기 포인트 클라우드 정확도 (Point Cloud Initialization): 모델 표면 또는 전체 장면에서 무작위 샘플링 (이상적 vs 노이즈 포함).
• 재구성 방법: 6 가지 GS 기반 방법 (3DGS, LightGaussian, Mip-Splatting, Scaffold-GS, EAGLES, Octree-GS) 을 사용하여 재구성을 수행했습니다.
• 데이터 규모: 총 2,414 개의 재구성된 모델 (PLY 형식) 을 생성했으며, 2,452 명의 참가자가 참여한 크라우드소싱 실험을 통해 226,800 개 이상의 유효한 주관적 점수를 확보했습니다.

다. 데이터 처리 및 분석

• 점수 필터링: 훈련 단계 점수 일관성, ITU-R BT.500-13 기준의 점수 분포, Golden Units (GUs) 기반 필터링을 거쳐 최종적으로 101,555 개의 유효 점수를 확보하고 평균 의견 점수 (MOS) 를 산출했습니다.

3. 주요 기여 (Key Contributions)

1. 통합 다거리 SQA 방법론 제안: 가우시안 객체의 실제 사용자 경험을 반영한 새로운 주관적 평가 프로토콜을 제안했습니다.
2. MUGSQA 데이터셋 구축: 다양한 불확실성과 여러 재구성 방법을 고려한 대규모 가우시안 객체 품질 평가 데이터셋을 공개했습니다.
3. 재구성 방법의 강건성 (Robustness) 벤치마크: 다양한 불확실성 조건 하에서 대표적인 GS 재구성 방법들의 성능과 안정성을 평가하는 벤치마크를 구축했습니다.
4. 기존 객관적 지표의 성능 벤치마크: 기존 2D 이미지 품질 평가 지표 (IQA) 들이 GS 재구성 품질을 얼마나 잘 예측하는지 분석하고 한계를 규명했습니다.

4. 실험 결과 (Results)

가. 재구성 방법의 강건성 평가

• 성능: Mip-Splatting이 전체 강건성 점수 ($R_{overall}$) 에서 가장 높은 성능을 보였습니다. 3DGS, EAGLES, LightGaussian 도 양호한 성능을 보였습니다.
• 한계: 대규모 장면 재구성을 위해 설계된 Octree-GS와 Scaffold-GS는 단일 객체 재구성에서는 성능이 저하되었습니다. 이는 다중 스케일 렌더링 최적화 및 coarse-to-fine 학습 전략의 중요성을 시사합니다.

나. 객관적 품질 평가 지표 (IQA Metrics) 성능

• 전체적 부진: 기존 2D 풀-레퍼런스 (FR) 및 노-레퍼런스 (NR) 이미지 품질 평가 지표들은 GS 재구성 품질과 MOS 간의 상관관계가 낮았습니다.
  • FR 지표: CW-SSIM 과 VSI 가 상대적으로 좋았으나, PSNR, SSIM, LPIPS 등은 성능이 미미했습니다.
  • NR 지표: 전통적인 NIQE, PIQE 는 거의 무용지물이었습니다.
• 딥러닝 기반 지표: DBCNN은 미세 조정 (Fine-tuning) 후 높은 성능을 보이며, 딥러닝 기반 접근법의 중요성을 입증했습니다.
• 결론: 2D 렌더링 결과만으로는 가우시안 객체의 품질을 평가하기에 부족하며, GS 특성에 맞춘 새로운 품질 평가 지표 (GSQA Metrics) 의 개발이 시급함을 강조했습니다.

5. 의의 및 결론 (Significance)

• 표준화 기반 마련: GS 재구성 방법들의 공정한 비교와 지속적인 개선을 위한 표준 벤치마크와 데이터셋을 제공했습니다.
• 불확실성 연구의 확장: 입력 조건의 불확실성이 재구성 품질에 미치는 영향을 체계적으로 분석할 수 있는 환경을 조성했습니다.
• 향후 방향: 기존 2D 기반 지표의 한계를 극복하고, 가우시안 속성 (Gaussian attributes) 을 고려한 새로운 다중 모달 (Multi-modal) 품질 평가 지표 설계의 필요성을 제기하며, 이 분야의 표준화된 발전을 촉진했습니다.

이 연구는 3D 가우시안 스플래팅 기술의 실용화를 위해 필수적인 품질 평가 체계의 공백을 메우고, 향후 더 정교한 재구성 알고리즘 및 평가 지표 개발을 위한 토대를 마련했다는 점에서 큰 의의를 가집니다.