P-GSVC: Layered Progressive 2D Gaussian Splatting for Scalable Image and Video

이 논문은 이미지와 비디오의 확장 가능한 재구성을 위해 베이스 레이어와 향상 레이어로 구성된 2D 가우스 스플래팅을 제안하고, 레이어 간 호환성과 안정적인 점진적 재구성을 보장하기 위해 레이어 간 가우스를 동시에 최적화하는 결합 학습 전략을 통해 기존 순차적 학습 방식보다 PSNR 을 크게 향상시킨 P-GSVC 프레임워크를 소개합니다.

핵심

P-GSVC: 이미지와 비디오를 위한 '점진적' 2D 가우시안 스프래팅

이 논문은 P-GSVC라는 새로운 기술을 소개합니다. 이 기술은 이미지와 비디오를 압축하고 전송할 때, 인터넷 속도가 느리거나 기기가 다를 때에도 화질을 조절하며 부드럽게 재생할 수 있게 해주는 혁신적인 방법입니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제점: "가장 중요한 것"만 고르면 왜 망가질까?

기존의 방식 (Pruning) 은 마치 가장 맛있는 재료만 골라 요리하는 것과 비슷했습니다.

• 상황: 요리사 (알고리즘) 가 모든 재료를 다 섞어서 맛있는 요리를 만들었습니다.
• 문제: 인터넷이 느려서 재료 일부를 버려야 할 때, "맛에 기여도가 가장 적은 재료"부터 버렸습니다.
• 결과: 문제는 버린 재료가 단순히 '맛을 조금 더 좋게 해주는 것'이 아니라, **요리의 기본 뼈대 (소스나 국물)**였다는 점입니다. 그래서 버린 순간 요리는 형체를 잃고 구멍이 숭숭 뚫린 비참한 상태가 됩니다. (논문 Fig 1a 참조)

2. 해결책: P-GSVC 의 '층 (Layer)' 구조

P-GSVC 는 이 문제를 해결하기 위해 층 (Layer) 이 있는 구조를 만들었습니다. 이를 3 층짜리 케이크에 비유해 볼까요?

• 기초층 (Base Layer): 케이크의 스펀지 빵 부분입니다. 가장 기본적인 모양과 구조를 담당합니다. 이 부분만 있어도 "아, 케이크구나!"라고 알 수 있습니다.
• 보강층 1 (Enhancement Layer 1): 크림과 과일 조각을 얹는 단계입니다. 모양이 더 선명해지고 맛 (세부 정보) 이 살아납니다.
• 보강층 2 (Enhancement Layer 2): 마지막 장식 (체리, 초콜릿) 을 올리는 단계입니다. 최고급 화질로 완성됩니다.

핵심 아이디어:
기존 방식은 "가장 맛있는 것"을 먼저 골랐다면, P-GSVC 는 "기본적인 뼈대를 먼저 만들고, 그 위에 세부 사항을 쌓아 올리는" 방식으로 설계되었습니다. 그래서 인터넷이 느려서 보강층을 못 받아도, 기초층만으로도 구멍이 뚫리지 않은 완전한 케이크를 볼 수 있습니다.

3. 기술적 혁신: "함께 훈련하는" 비법 (Joint Training)

이 케이크를 만들 때 가장 어려운 점은 각 층을 따로따로 만드는 것입니다.

• 기존 방식 (Sequential Training):

  • 먼저 빵 (기초층) 을 구워놓고 완전히 식힙니다.
  • 그 다음, 그 위에 크림을 바르려고 합니다.
  • 문제: 빵이 이미 딱딱하게 굳어있어서 크림이 잘 붙지 않거나, 크림을 바르려고 빵을 건드리면 빵이 무너집니다. (논문 Fig 2b 참조)
  • 결과: 빵은 좋지만, 크림을 얹으면 전체적인 조화가 깨져서 최종 화질이 떨어집니다.

• P-GSVC 의 방식 (Joint Training):

  • 동시 훈련: 빵을 굽는 동안에도, 크림을 바르는 손놀림을 함께 연습합니다.
  • 비유: 요리사가 빵을 굽는 동시에 크림을 준비하고, 서로의 영향을 고려하며 함께 최적의 조합을 찾습니다.
  • 사이클링 (Cyclic Training): 빵, 크림, 장식을 번갈아 가며 반복해서 다듬습니다. 한 단계만 집중하지 않고, 전체적인 흐름을 유지하며 다듬습니다.
  • 결과: 어떤 층을 떼어내도 (인터넷 속도 조절), 그 순간의 화질이 가장 이상적인 상태로 유지됩니다.

4. 왜 이것이 중요한가요?

이 기술은 스마트폰, 태블릿, TV 등 다양한 기기와 빠른 인터넷, 느린 4G 등 다양한 환경에서 영상을 볼 때 큰 장점이 있습니다.

• 유연한 스트리밍: 인터넷이 느리면 기초층만 받아서 빠르게 보고, 속도가 빨라지면 자동으로 더 많은 층 (세부 정보) 을 받아 화질을 높입니다.
• 화질 유지: 중간 단계에서도 영상이 깨지거나 구멍이 생기는 현상이 없습니다.
• 효율성: 기존 방식보다 화질 (PSNR) 이 최대 2.6dB 까지 향상되었습니다. 이는 눈으로 봤을 때 훨씬 더 선명하고 깨끗하다는 뜻입니다.

5. 요약

P-GSVC는 이미지를나 비디오를 레고 블록처럼 층층이 쌓아 올리는 기술입니다.
기존 방식은 "가장 중요한 블록"만 먼저 쌓다가 나중에 나머지 블록을 붙이려다 전체가 무너지는 문제가 있었지만, P-GSVC 는 모든 블록이 서로 맞물리도록 함께 설계했습니다.

그래서 인터넷이 느려도 영상은 끊기지 않고, 기기가 작아도 화질은 유지되며, 최종적으로 더 선명한 영상을 볼 수 있게 해주는 차세대 영상 코덱 기술입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 가변 비트레이트 (Scalable) 코덱은 네트워크 대역폭 변동이나 이기종 장치에 적응하기 위해 중요도 기반의 점진적 디코딩을 지원합니다. 최근 3D 가우시안 스플래팅 (3DGS) 이 3D 씬 표현에서 혁신을 이루었으며, 이를 2D 이미지 및 비디오 (2DGS) 로 확장하는 연구가 진행되고 있습니다.

그러나 2D 가우시안 스플래팅을 확장 가능한 (Scalable) 점진적 코딩으로 적용하는 데는 다음과 같은 근본적인 어려움이 존재합니다:

• 단순한 순위 기반 계층화의 실패: 가우시안 스플래트를 기여도에 따라 단순히 순위를 매겨 계층을 나누는 방식 (예: 기여도가 높은 것만 베이스 레이어에 배치) 은 하위 레이어에서 심각한 아티팩트 (구멍, 구조 붕괴) 를 유발합니다. 이는 스플래트들이 서로 긴밀하게 의존하며 과적합 (Overfitting) 되어 있기 때문입니다.
• 순차적 학습의 한계 (Cross-layer Optimization Conflict): 3DGS 에서 사용되던 '베이스 레이어를 고정하고 향상 레이어를 순차적으로 학습'하는 방식은 2D 비디오에서는 실패합니다. 비디오는 시간적 동역학 (움직임, 조명 변화) 이 존재하여 레이어 간, 그리고 시간 간 의존성이 매우 높습니다. 순차적 학습 시 레이어를 전환할 때 최적화 목표가 급변하여 불안정한 수렴 (Unstable Convergence) 과 서브옵티멀 로컬 미니마 (Suboptimal Local Minima) 에 빠지게 되어, 중간 해상도/품질의 재구성이 저하됩니다.

2. 제안 방법론 (Methodology: P-GSVC)

저자들은 P-GSVC (Progressive Gaussian Splat Video Coding) 를 제안하며, 이는 이미지와 비디오 모두에 적용 가능한 계층적 점진적 2D 가우시안 스플래팅 프레임워크입니다.

핵심 구성 요소

1. 계층적 2D 가우시안 표현 (Layered Representation):

   • 입력 데이터를 베이스 레이어 ($L_0$) 와 일련의 향상 레이어 ($\Delta L_1, \Delta L_2, ...$) 로 구성합니다.
   • 베이스 레이어는 저해상도/저품질의 완전한 씬을 제공하고, 향상 레이어는 고주파수 세부 정보를 추가하여 점진적으로 품질을 높입니다.
   • 각 프레임은 베이스 가우시안 세트와 향상 가우시안 세트의 합집합으로 렌더링됩니다.

2. 공동 학습 전략 (Joint Training Strategy) - 핵심 기여:

   • 기존 순차적 학습 (Sequential Training) 의 문제점을 해결하기 위해 동시 최적화 (Simultaneous Optimization) 를 도입했습니다.
   • 동작 원리: 각 학습 반복 (Iteration) 에서 최종 레벨 (Full fidelity) 과 임의의 중간 레벨 (Intermediate level) 을 동시에 렌더링하여 손실 함수를 계산합니다.
   • 순환 선택 (Cyclic Selection): 중간 레벨을 무작위로 선택하는 대신, 베이스부터 최상위 직전까지 순환적 (Cyclic) 으로 선택합니다. 이는 특정 레벨에 편중되거나 학습이 멈추는 것을 방지하고, 모든 레이어의 최적화 궤적을 정렬시켜 레이어 간 호환성을 보장합니다.
   • 손실 함수: $L = L_2(\text{Full}, \text{GT}) + L_2(\text{Intermediate}, \text{Downsampled GT})$ 형태로 정의되어, 베이스 레이어가 대략적인 구조를, 향상 레이어가 세부 사항을 담당하도록 유도합니다.

3. 비디오 특화 기술 (GSVC 기반):

   • 시간적 예측: P-프레임은 이전 프레임의 가우시안을 기반으로 예측합니다.
   • 가우시안 가지치기 (GSP) 및 증강 (GSA): 시각적 품질에 기여도가 낮은 스플래트는 제거하고, 빠른 움직임이나 새로운 객체가 있는 영역에는 새로운 스플래트를 주입합니다.
   • 동적 키프레임 선택 (DKS): 장면 전환을 감지하여 새로운 I-프레임을 삽입합니다.

4. 양자화 (Quantization):

   • 효율적인 압축을 위해 위치, 회전 (Cholesky 벡터), 색상 파라미터에 대해 고정밀도 부동소수점 및 비대칭 양자화, 벡터 양자화 (VQ) 를 적용하여 비트스트림 크기를 줄입니다.

3. 주요 기여 (Key Contributions)

• 최초의 확장 가능 2DGS 프레임워크: 이미지와 비디오 모두에 적용 가능한 계층적 점진적 2D 가우시안 스플래팅 프레임워크인 P-GSVC 를 최초로 제안했습니다.
• 공동 학습 전략의 유효성 입증: 순차적 레이어 학습의 한계를 극복하고, 레이어 간 최적화 충돌을 해결하여 안정적인 점진적 재구성을 가능하게 하는 공동 학습 (Joint Training) 전략을 제안했습니다.
• 성능 향상: 기존 순차적 학습 방법 대비 이미지 및 비디오에서 상당한 PSNR 개선을 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: 이미지 (Kodak, DIV-HR), 비디오 (UVG 1080p).
• 비교 대상:
  • Pruning: 단일 모델 학습 후 기여도 기반 가지치기 (아티팩트 발생 심함).
  • Monolithic: 각 레벨별 독립 학습 (품질 상한선, 확장성 없음).
  • Sequential (LIG 등): 기존 순차적 레이어 학습 방식.
• 정량적 성능:
  • 이미지 (DIV-HR): 순차적 학습 대비 최대 2.6 dB 의 PSNR 향상.
  • 비디오 (UVG): 순차적 학습 대비 최대 1.9 dB 의 PSNR 향상.
  • 시각적 품질: Pruning 방식에서 발생하는 구멍 (Holes) 이나 구조 붕괴가 P-GSVC 에서는 사라졌으며, Monolithic 방식과 유사한 고품질을 유지하면서 확장성을 확보했습니다.
• 비율 - 왜곡 (Rate-Distortion): 양자화 후 SHVC(기존 표준) 와 비교 시, 순차적 학습 대비 격차를 크게 줄였으며, 확장성 도입에 따른 품질 손실 (Overhead) 이 약 1.1 dB 이내로 제한되었습니다.

5. 의의 및 결론 (Significance)

• 적응형 미디어 전송의 새로운 패러다임: P-GSVC 는 가우시안 스플래트를 이미지 및 비디오 인코딩을 위한 새로운 원시 자료 (Primitive) 로 자리 잡게 하여, 기존 전통적 코덱 (JPEG2000, SHVC) 과 신경망 기반 코덱 사이의 간극을 메웠습니다.
• 실시간 렌더링 및 확장성: 인코딩 비용은 높을 수 있으나 (오프라인 환경에서 한 번만 수행), 디코딩 시에는 실시간 렌더링 (약 1200 fps) 이 가능하며, 대역폭이나 장치 성능에 따라 필요한 레이어만 선택하여 디코딩할 수 있는 진정한 확장성 (Scalability) 을 제공합니다.
• 미래 전망: 이 연구는 가변 네트워크 환경과 이기종 디바이스에서의 미디어 스트리밍을 위해, 가우시안 스플래팅 기반의 효율적이고 확장 가능한 코딩 기술의 가능성을 입증했습니다.