GSStream: 3D Gaussian Splatting based Volumetric Scene Streaming System

이 논문은 3D 가우스 스플래팅 (3DGS) 의 대용량 데이터 전송 문제를 해결하기 위해, 다중 사용자의 협업 및 역사적 데이터를 기반으로 한 뷰포트 예측 모듈과 심층 강화 학습 기반의 비트레이트 적응 모듈을 통합한 새로운 볼륨 장면 스트리밍 시스템인 'GSStream'을 제안하고 그 우수성을 입증합니다.

핵심

🎬 1. 문제 상황: "너무 무거운 3D 영화"

최근 **3D 가우시안 스플래팅 (3DGS)**이라는 기술이 등장하면서, 컴퓨터 화면에 3D 장면을 아주 사실적이고 선명하게 보여줄 수 있게 되었습니다. 마치 고화질 4K 영화를 보는 것처럼 생생하죠.

하지만 이 기술에는 치명적인 단점이 하나 있습니다. 데이터 양이 너무 방대하다는 것입니다.

• 비유: 마치 고해상도 3D 장면을 보려면 거대한 화물 열차를 매일매일 보내야 하는 상황입니다.
• 문제: 인터넷 회선 (도로) 이 좁거나 트래픽이 많으면 이 화물 열차가 제때 도착하지 못해, 화면이 끊기거나 (버퍼링) 매우 흐릿해집니다.

기존 연구자들은 이 화물을 더 작게 줄이려고 했지만, 여전히 실시간으로 보내기엔 너무 무거웠습니다.

🚀 2. 해결책: "GSStream (지능형 배달 시스템)"

저자들은 이 문제를 해결하기 위해 GSStream이라는 시스템을 만들었습니다. 이 시스템은 두 가지 핵심 기술을 섞어서 작동합니다.

🧠 기술 1: "예측형 배달 기사" (협동 뷰포트 예측)

기존 시스템은 사용자가 어디를 볼지 모르고, 모든 것을 다 보내거나 단순히 "가까운 것"부터 보냈습니다. 하지만 GSStream 은 사용자가 다음에 어디를 볼지 미리 예측합니다.

• 비유: 배달 앱이 "아침에 커피를 마시고, 점심엔 김밥을 시키는" 당신의 습관을 기억하고, 다음 주문을 미리 준비하는 것과 같습니다.
• 특이점: 이 시스템은 나만의 습관뿐만 아니라, 다른 사람들도 비슷한 패턴으로 움직인다는 사실 (협동 학습) 도 함께 배웁니다.
  • 예를 들어, "대부분의 사람들은 이 박물관에 가면 오른쪽 벽을 먼저 본다"는 공통된 경향을 학습하고, "하지만 이 사용자는 왼쪽을 더 자주 본다"는 개인적인 습관도 함께 기억합니다.
  • 덕분에 사용자가 고개를 돌리기 전에 필요한 장면을 미리 준비해 두어, 끊김 없는 경험을 제공합니다.

⚖️ 기술 2: "똑똑한 트럭 운전사" (강화 학습 기반 비트레이트 적응)

예측이 끝났다면, 이제 어떤 화물을 얼마나 보낼지 결정해야 합니다. 인터넷 속도가 갑자기 느려지면 무조건 다 보내면 안 되죠.

• 비유: 트럭 운전사가 도로 상황 (인터넷 속도) 을 보고, "지금 도로가 막히니까 중요한 화물 (사용자가 보는 부분) 은 고화질로, 중요하지 않은 화물 (배경) 은 저화질로 바꿔서 보낸다"고 판단하는 것입니다.
• 기술: 이 시스템은 **인공지능 (강화 학습)**이 스스로 학습합니다.
  • "이런 상황에서 이렇게 보냈더니 사용자가 만족했어!" -> 보상을 받습니다.
  • "이렇게 보냈더니 화면이 끊겼어!" -> 패널티를 받습니다.
  • 이 과정을 반복하며, 매 순간의 인터넷 상황과 사용자의 행동에 맞춰 가장 최적의 화질과 데이터 양을 자동으로 조절합니다.

🏗️ 3. 시스템의 구조 (어떻게 작동할까?)

1. 준비 단계: 3D 장면을 작은 정육면체 조각 (타일) 으로 잘게 나눕니다. 그리고 각 조각을 고화질, 중화질, 저화질 등 여러 단계로 준비해 둡니다.
2. 예측 단계: 사용자가 VR 안경을 쓰고 있는 동안, AI 가 "다음 1 초 뒤에는 사용자가 저쪽을 볼 것이다"라고 예측합니다.
3. 선택 단계: AI 는 "지금 인터넷 속도가 이 정도니까, 사용자가 볼 부분만 고화질로, 나머지는 저화질로 보내자"고 결정합니다.
4. 전송: 선택된 데이터만 빠르게 사용자에게 전송되어 화면에 그려집니다.

🏆 4. 결과: 왜 이 기술이 특별한가?

저자들은 32 명의 사람들과 다양한 3D 장면을 이용해 실험을 했습니다. 그 결과, 기존 방식들보다 화질이 훨씬 선명하고 인터넷 데이터 사용량은 효율적이었습니다.

• 기존 방식: "무조건 다 보내거나", "가까운 것부터 보내거나", "단순한 규칙대로 보내거나" -> 화면이 끊기거나 화질이 떨어짐.
• GSStream: "사용자가 어디를 보려는지 미리 알고, 상황에 맞춰 똑똑하게 보내기" -> 끊김 없는 고화질 3D 경험.

💡 요약

GSStream은 마치 사용자의 눈과 마음을 읽는 똑똑한 3D 배달 시스템입니다.

1. 사용자의 습관과 다른 사람들의 패턴을 함께 학습해서 "다음에 무엇을 볼지" 미리 예측합니다.
2. 인터넷 상황을 실시간으로 분석해서, "중요한 부분은 고화질로, 덜 중요한 부분은 저화질로" 지능적으로 데이터를 조절합니다.

이 기술 덕분에 앞으로 우리는 무거운 3D 데이터를 다운로드하지 않고도, 실시간으로 아주 선명하고 매끄러운 가상 현실 세계를 즐길 수 있게 될 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

• 3D 가우시안 스플래팅 (3DGS) 의 데이터량 문제: 최근 3DGS 는 실시간 방사선장 (Radiance Field) 렌더링을 통해 몰입감 있는 고품질 볼륨 장면 표현을 가능하게 했으나, 이를 위해 방대한 양의 데이터가 필요합니다. 이는 제한된 대역폭 환경에서의 실시간 스트리밍에 심각한 병목 현상을 초래합니다.
• 기존 기술의 한계:
  • 뷰포트 예측의 부족: 3DGS 를 위한 전용 사용자 뷰포트 궤적 데이터셋이 부재하여 효과적인 예측 모델 개발이 어렵습니다. 또한, 기존 방법들은 사용자 간의 개별적인 행동 차이 (개인별 선호도, 습관) 를 고려하지 않고 균일하게 처리하여 예측 정확도가 낮습니다.
  • 비트레이트 적응의 복잡성: 다양한 볼륨 장면은 타일 (Tile) 의 수가 서로 다릅니다. 기존 딥러닝 기반 비트레이트 적응 방법은 상태 (State) 와 행동 (Action) 공간의 변동성 (Variability) 을 처리하는 데 한계가 있으며, 네트워크 조건과 사용자 행동 변화에 따른 동적 할당이 부족합니다.
  • 데이터셋 부재: 3DGS 기반 볼륨 장면용 사용자 행동 데이터셋이 존재하지 않아 학습 및 시뮬레이션이 제한적이었습니다.

2. 제안 방법 (Methodology: GSStream)

저자들은 GSStream이라는 새로운 볼륨 장면 스트리밍 시스템을 제안하며, 크게 두 가지 핵심 모듈과 데이터셋 구축을 통해 문제를 해결합니다.

가. 협업 뷰포트 예측 모듈 (Collaborative Viewport Prediction, CVP)

• 목적: 사용자의 미래 뷰포트를 정확하게 예측하여 필요한 데이터만 선별적으로 전송합니다.
• 구조:
  • 협업 사전 정보 추출 (CPE): 다수의 사용자 데이터를 학습하여 공통된 패턴과 개별 사용자의 고유한 임베딩 (Embedding) 을 추출합니다. 크로스 어텐션 (Cross-Attention) 메커니즘을 사용하여 사용자 간 상호작용과 시간적 흐름을 동시에 학습합니다.
  • 역사적 사전 정보 추출 (HPE): 개별 사용자의 과거 뷰포트 시퀀스를 분석하여 시간적 의존성을 학습합니다. MLP 와 iTransformer 를 활용하여 시계열 예측 성능을 극대화합니다.
• 특징: 개인별 행동 관성 (Inertia) 과 집단적 패턴을 결합하여 기존 단일 사용자 기반 예측보다 높은 정확도를 달성합니다.

나. DRL 기반 비트레이트 적응 모듈 (DRL-based Bitrate Adaptation, DBA)

• 목적: 예측된 뷰포트와 현재 네트워크 대역폭을 기반으로 각 타일의 최적 품질 레벨을 동적으로 결정합니다.
• MDP (Markov Decision Process) 모델링:
  • 상태 (State): 현재 대역폭, 예측된 미래 뷰포트 시퀀스, 볼륨 장면 내 모든 타일의 특징 정보 (위치, 중요도 점수 등) 를 포함합니다.
  • 행동 (Action): 각 타일에 대해 전송할 품질 레벨을 선택하는 선호도 점수 (Preference Score) 를 출력합니다.
  • 보상 (Reward): 전송된 타일의 점수 증가량 (Progressive Streaming), 중요도 점수, 그리고 지연 시간 (Delay) 을 고려하여 설계되었습니다.
• 알고리즘: DDPG (Deep Deterministic Policy Gradient) 알고리즘을 사용합니다.
  • 공유 특징 추출 (SFE): 타일의 공간적 특징 (Set Abstraction, Feature Propagation 모듈 활용) 과 뷰포트의 시간적 특징을 통합합니다. 이는 타일 수가 scene 마다 달라지는 변동성 (Variability) 문제를 해결하기 위해 순서 없는 집합 (Unordered Set) 을 처리할 수 있는 구조를 채택했습니다.
  • Actor-Critic 구조: Actor 는 최적의 행동 (타일 선택) 을, Critic 는 행동의 가치를 평가합니다.

다. 데이터셋 구축

• 3DGS 콘텐츠용 최초의 종합적인 사용자 뷰포트 궤적 데이터셋을 구축했습니다.
• 32 명의 참가자가 15 개의 다양한 실내/실외 장면 (1 분씩) 을 탐색하도록 하여 864,000 프레임 이상의 데이터를 수집했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 3DGS 기반 스트리밍 시스템: CVP(협업 예측) 와 DBA(DRL 기반 적응) 모듈을 통합하여 사용자 행동 예측 정확도와 네트워크 효율성을 동시에 향상시킨 GSStream 을 제안했습니다.
2. 전용 데이터셋 개발: 3DGS 장면용 15 개 장면과 32 명 사용자의 행동 데이터를 포함한 대규모 데이터셋을 구축하여 향후 연구의 기반을 마련했습니다.
3. 변동성 해결: 타일 수와 상태 공간이 장면마다 다른 문제를 해결하기 위해 Set Abstraction 및 Feature Propagation 모듈을 DRL 에 적용하여 유연한 비트레이트 할당 전략을 제시했습니다.

4. 실험 결과 (Results)

• 비교 대상: ViVo, CaV3, GS3D 등 기존 볼륨 장면 스트리밍 시스템 및 3DGS 웹 뷰어와 비교했습니다.
• 화질 (SSIM): 제안된 GSStream 은 ViVo 대비 118.9%, CaV3 대비 9.4%, GS3D 대비 10.9% 높은 평균 뷰포트 SSIM 을 기록했습니다. 특히 네트워크 대역폭이 제한된 상황에서도 일관된 고화질을 유지했습니다.
• 네트워크 효율성: 다른 방법들이 대역폭을 효율적으로 활용하지 못하거나 데이터 전송량이 불안정한 반면, GSStream 은 모든 대역폭 조건 (40, 80, 120 Mbps) 에서 안정적이고 최적화된 데이터 전송을 보여주었습니다.
• 시간적 화질: 초기 탐색 단계부터 중후반까지 일관된 화질 향상을 보였으며, CaV3 나 GS3D 보다 후반부 시각적 디테일 유지 능력이 월등히 뛰어났습니다.
• Ablation Study: CVP 모듈에서 협업 정보 (CPE) 나 역사적 정보 (HPE) 중 하나를 제거할 경우 예측 오차 (MAE) 가 증가하여, 두 정보의 융합이 필수적임을 입증했습니다.

5. 의의 및 결론 (Significance)

• 실시간 3DGS 스트리밍의 실현: 3DGS 의 높은 화질과 대용량 데이터之间的矛盾을 해결하여, 제한된 네트워크 환경에서도 고품질 볼륨 장면 스트리밍을 가능하게 했습니다.
• 지능형 적응 스트리밍: 단순한 규칙 기반이나 이진 선택을 넘어, 사용자의 행동 패턴과 네트워크 상태를 심층적으로 학습하여 동적으로 최적의 전송 전략을 수립하는 새로운 패러다임을 제시했습니다.
• 미래 연구의 기반: 구축된 데이터셋과 시스템 아키텍처는 향후 동적 볼륨 비디오 (Volumetric Video) 스트리밍 및 3DGS 코덱 개발 등 관련 분야의 연구에 중요한 토대가 될 것입니다.

요약하자면, GSStream은 3D Gaussian Splatting 기술의 실용적 배포를 위해, 사용자 행동 예측의 정확도 향상과 변동적인 환경에 적응하는 지능형 비트레이트 제어를 결합하여 기존 시스템 대비 월등한 성능을 입증한 획기적인 연구입니다.