Splats in Splats++: Robust and Generalizable 3D Gaussian Splatting Steganography

1. 문제 정의 (Problem Statement)

3D 가우시안 스플래팅 (3DGS) 은 시각적 충실도와 계산 효율성 사이의 균형을 이루어 3D 재구성 분야에서 혁신을 일으켰습니다. 그러나 3DGS 자산의 저작권 보호와 소유권 추적이 시급한 과제로 대두되었습니다. 기존 3DGS 스테가노그래피 (정보 은닉) 방법들은 다음과 같은 한계를 가지고 있었습니다:

• 사용성 저하: 은닉 정보를 삽입하기 위해 3DGS 의 기본 렌더링 파이프라인이나 속성을 변경하여, 일반 사용자의 기존 렌더링 경험과 하류 작업 (Downstream tasks) 을 방해함.
• 낮은 용량과 충실도: 높은 용량의 데이터를 숨기려면 원본 자산의 기하학적 일관성이 깨지거나 시각적 품질이 저하됨.
• 취약한 강건성: 구조적 왜곡 (Pruning) 이나 적대적 공격 (Adversarial attacks) 에 취약하여 숨겨진 메시지가 쉽게 유출되거나 파괴됨.

이러한 문제들을 해결하기 위해 원본 3DGS 의 속성과 파이프라인을 변경하지 않으면서도, 높은 용량, 강건성, 그리고 시각적 충실도를 모두 만족하는 통합된 스테가노그래피 프레임워크가 필요했습니다.

2. 제안 방법론 (Methodology: Splats in Splats++)

저자들은 "Splats in Splats++"라는 새로운 프레임워크를 제안하며, 이는 3DGS 표현 내부에 3D/4D 콘텐츠를 직접 은닉하는 통합적이고 파이프라인 무관 (Pipeline-agnostic) 한 접근법입니다.

핵심 기술 요소:

1. 중요도 등급별 구면 조화 함수 (SH) 계수 암호화:

   • 3DGS 에서 색상은 구면 조화 함수 (Spherical Harmonics, SH) 계수로 표현됩니다.
   • 저자들은 SH 계수의 주파수 대역별 중요도를 분석하여, 저주파 (Low-order) 성분은 시각적 특성이 중요하므로 보호하고, 고주파 (High-order) 성분은 인간의 시각적 인지에 덜 민감하므로 정보 은닉에 활용하는 전략을 취했습니다.
   • 숨겨진 메시지의 SH 계수를 원본의 고주파 SH 계수에 비트 단위 XOR 연산 등을 통해 암호화하여 삽입함으로써, 시각적 왜곡을 최소화하면서 높은 용량을 확보합니다.

2. 해시 그리드 기반 불투명도 매핑 (Hash-Grid Guided Opacity Mapping):

   • 숨겨진 장면의 기하학적 구조를 복원하기 위해 불투명도 (Opacity) 정보를 매핑합니다.
   • 단순한 점별 매핑 대신, **멀티-레졸루션 해시 그리드 (Multi-resolution Hash Grid)**를 사용하여 3D 좌표를 잠재 공간 (Latent space) descriptors 로 변환합니다.
   • 이를 경량 MLP(다층 퍼셉트론) 와 결합하여 숨겨진 장면의 불투명도 매니폴드를 연속적이고 기하학적으로 일관되게 예측하도록 합니다. 이는 숨겨진 메시지가 구조적 공격에 의해 유출되는 것을 방지합니다.

3. 기울기 기반 불투명도 일관성 손실 (Gradient-Gated Opacity Consistency Loss):

   • 원본 장면과 숨겨진 장면이 기하학적으로 분리되지 않도록 강력한 결합을 유도합니다.
   • **불투명도 기울기 (Opacity Gradient)**를 활용하여, 안정적인 영역에서는 두 장면의 불투명도를 강하게 일치시키고, 활발한 최적화가 일어나는 영역에서는 제약을 완화하는 게이팅 메커니즘을 도입했습니다.
   • 이를 통해 원본과 숨겨진 장면을 하나의 통합된 표현으로 결합하여 구조적 공격 (예: 가우시안 제거) 에 대한 강건성을 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 범용적이고 강력한 프레임워크: 원본 3DGS 의 속성 (Attributes) 을 변경하지 않고도 3DGS 자체에 3D 콘텐츠를 은닉할 수 있는 최초의 통합 스테가노그래피 솔루션을 제시했습니다. (기존 3DGS 및 확장 버전 모두 적용 가능)
2. 중요도 기반 암호화: SH 계수의 주파수 중요도를 분석하여, 시각적 품질을 해치지 않으면서 은닉 정보를 삽입하는 '중요도 등급별 암호화' 방식을 고안했습니다.
3. 기하학적 일관성 유지: 해시 그리드와 MLP 를 활용한 불투명도 매핑 메커니즘을 통해 숨겨진 장면의 기하학적 충실도를 높이고, 키 (Key) 크기를 최소화했습니다.
4. 강건성 강화: 적응형 불투명도 제어 전략과 기울기 기반 게이트를 통해 구조적 왜곡 및 3D 적대적 공격 (GSPure 등) 에 대한 저항력을 크게 향상시켰습니다.

4. 실험 결과 (Results)

다양한 데이터셋 (Mip-NeRF360, Tanks & Temples, NeRF-Synthetic 등) 과 작업 (3D, 4D 동적 장면) 에서 기존 방법 (GS-Hider, SecureGS, 3DGS+StegaNeRF) 과 비교 평가되었습니다.

• 시각적 충실도 (Fidelity):
  • 원본 장면과 숨겨진 장면 모두에서 최고의 PSNR, SSIM, LPIPS 성능을 기록했습니다.
  • 기존 방법들이 보였던 아티팩트나 색상 왜곡 없이 선명한 렌더링 결과를 제공합니다.
• 효율성 (Efficiency):
  • 기존 신경망 기반 은닉 방법들보다 렌더링 속도가 3 배 빠릅니다 (약 100 FPS 달성).
  • 학습 시간도 기존 방법의 절반 수준으로 단축되었습니다.
• 강건성 (Robustness):
  • Opacity Pruning 및 GSPure와 같은 공격 하에서도 숨겨진 메시지의 복원력이 탁월했습니다.
  • 특히 GSPure 공격 시, 기존 방법들은 메시지 PSNR 이 급격히 하락하거나 복원이 불가능해지는 반면, 제안된 방법은 높은 충실도를 유지했습니다.
• 범용성 (Versatility):
  • 2D 이미지 은닉, 4D 동적 장면 (4DGS) 스테가노그래피로 확장 적용이 가능함을 입증했습니다.
  • 메쉬 추출 (Mesh extraction), 3D 분할 (Segmentation) 등 다양한 하류 작업에서도 원본과 숨겨진 장면을 모두 정상적으로 사용할 수 있음을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 3DGS 기반 디지털 자산의 저작권 보호를 위한 새로운 패러다임을 제시합니다.

• 실용성: 기존 3DGS 렌더링 엔진 (SIBR Viewer 등) 과의 호환성을 유지하여, 사용자에게는 은닉 사실이 전혀 드러나지 않는 '투명성'을 보장합니다.
• 보안성: 구조적 공격과 적대적 공격에 강한 내성을 가지며, 소유권 증명 및 출처 추적 (Provenance tracking) 에 필수적인 기술적 기반을 마련했습니다.
• 확장성: 정적 3D 씬뿐만 아니라 동적 4D 씬까지 적용 가능한 범용성을 보여줌으로써, 메타버스, XR, 디지털 트윈 등 다양한 3D 콘텐츠 생태계에서의 적용 가능성을 높였습니다.

결론적으로, **Splats in Splats++**는 3DGS 자산의 가치와 취약성 사이의 긴장 관계를 해결하며, 고품질, 고강건성, 그리고 높은 사용성을 동시에 달성한 획기적인 스테가노그래피 솔루션입니다.