기술 요약: NGS-Marker: 3D Gaussian Splatting을 위한 견고한 네이티브 워터마킹

1. 문제 정의

3D Gaussian Splatting(3DGS)의 급격한 도입은 실시간 고충실도 렌더링에 혁명을 일으켰으나, 저작권 보호와 관련하여 심각한 취약점을 초래했습니다. 기존의 3DGS 워터마킹 기술은 주로 사전 학습된 디코더를 사용하여 렌더링된 2D 이미지에서 워터마크를 삽입하거나 추출하는 간접적 보호(indirect protection) 방식에 의존합니다. 이 접근 방식은 두 가지 결정적인 한계를 가집니다:

1. 시각적 저하: 렌더링된 이미지에 신호를 삽입하면 필연적으로 3D 콘텐츠의 시각적 충실도가 변하게 됩니다.
2. 부분 침해에 대한 취약성: 3DGS의 명시적이고 모듈화된 특성(장면이 독립적인 Gaussian 프리미티브들의 집합임)으로 인해, 공격자는 프리미티브의 하위 집합(예: 특정 객체나 캐릭터)을 추출하여 새로운 장면을 만드는 방식으로 재사용할 수 있습니다. 이처럼 부분적인 재사용으로 인해 렌더링된 이미지의 분포가 크게 변화할 경우, 기존의 이미지 기반 탐지기는 성능이 급격히 저하되어 무작위 추측 수준(정확도 약 50%)에 머물게 됩니다.

본 논문은 현재의 간접 방식들이 효과를 발휘하지 못하는 흔하지만 미개척된 오용 시나리오로 **부분 침해(Partial Infringement)**를 식별하였습니다.

2. 방법론: NGS-Marker

저자들은 **네이티브 워터마킹(native watermarking)**을 위해 설계된 최초의 프레임워크인 NGS-Marker를 제안합니다. 간접 방식과 달리, NGS-Marker는 렌더링된 이미지를 매개체로 사용하지 않고 Gaussian 프리미티브에 직접 작용합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 인젝터(Injector)와 익스트랙터(Extractor)의 공동 학습

시스템은 워터마크 인젝터와 메시지 익스트랙터를 공동 학습시키는 섭동(perturbation) 기반 전략을 채택합니다.

• 입력: 장면으로부터 샘플링된 Gaussian 프리미티브의 로컬 패치.
• 인젝터: 섭동 특징 생성기($P_g$)와 디코더($P_d$)로 구성됩니다. 로컬 프리미티브와 메시지(CLIP 텍스트 인코더를 통해 인코딩됨)를 입력받아 미세한 섭동을 예측합니다. 이 섭동은 원래의 프리미티브에 더해져 워터마크가 삽입된 패치를 생성합니다.
• 익스트랙터: 인젝터의 아키텍처를 미러링하며, 워터마크가 삽입된 프리미티브를 입력으로 사용하여 임베딩된 메시지를 디코딩합니다.
• 손실 함수: 학습은 비가시성(원래 패치와 워터마크가 삽입된 패치의 렌더링 이미지 간 MSE 최소화)과 정확도(원래 메시지와 디코딩된 메시지 간의 Binary Cross Entropy 최소화)를 최적화합니다.

B. 점진적 워터마크 임베딩

학습된 인젝터를 단순하게 적용하는 방식(예: 블록 단위 또는 반복적 주입)은 경계 불일치와 누적된 왜곡을 유발합니다. 이를 해결하기 위해 NGS-Marker는 그래디언트 기반 점진적 최적화 전략을 사용합니다:

• 학습된 익스트랙터를 동결(frozen)하고 가이드로 사용합니다.
• 타겟 3D 장면을 그래디언트 하강법을 통해 최적화하여, 무작위로 샘플링된 어떤 로컬 영역이라도 올바른 워터마크 정보를 포함하도록 합니다.
• 이 접근 방식은 반복적인 직접 수정으로 인한 충돌을 피하면서, 전체 장면에 걸쳐 균일한 워터마크 분포를 유지하고 높은 렌더링 품질을 보장합니다.

C. 소유권 검증

검증은 네이티브 3D 데이터 상에서 직접 수행됩니다. 사용자가 의심스러운 영역을 선택하여 익스트랙터에 입력하면, 디코딩된 메시지를 자신의 개인 ID와 비교합니다. 또한 본 논문은 추론된 소유자에 따라 프리미티브의 색상을 지정하여 직관적인 침해 자산 위치 파악을 가능하게 하는 시각화 방법을 제안합니다.

D. 확장된 기능

• 하이브리드 보호: NGS-Marker는 공동 손실 함수를 최적화함으로써 간접 보호 방식과 결합될 수 있으며, 이를 통해 네이티브 프리미티브 레벨과 렌더링된 이미지 레벨 모두에서 보호를 제공합니다.
• 멀티모달 워터마킹: 본 프레임워크는 이진 메시지에 국한되지 않습니다. 텍스트 인코더와 최종 MLP를 이미지 전용 인코더/디코더로 교체함으로써 이미지 기반 워터마킹을 지원합니다.

3. 주요 기여

1. 부분 침해의 식별: 본 논문은 기존의 이미지 기반 워터마킹 방식이 3D 자산이 부분적으로 표절되었을 때 탐지 정확도가 무작위 추측 수준으로 떨어지는 현상을 강조합니다.
2. 네이티브 보호 프레임워크: NGS-Marker는 로컬 3DGS 프리미티브에 대한 미세하고 네이티브한 보호를 가능하게 하는 최초의 프레임워크로, 렌더링 없이 3D 데이터로부터 직접 소유권 검증을 수행할 수 있게 합니다.
3. 점진적 최적화 전략: 저자들은 균일한 워터마크 커버리지와 높은 렌더링 품질을 보장하는 그래디언트 기반 임베딩 전략을 도입하여, 일회성 또는 반복적 주입 방식의 한계를 극복했습니다.
4. 유연성 및 견고성: 본 프레임워크는 하이브리드 보호(네이티브 + 간접)와 멀티모달 입력(텍스트 및 이미지)을 지원하며, 노이즈, 회전, 스케일링, 희소화(sparsification)와 같은 일반적인 왜곡에 대해 강력한 내성을 보여줍니다.

4. 실험 결과

부분 침해 시나리오를 시뮬레이션하기 위해 공개 3D 데이터셋(24개 훈련 장면, 4개 테스트 장면)을 사용하여 광범ening한 실험을 수행했습니다.

• 정확도: 부분 침해 시나리오에서 기존 베이스라인(3D-GSW, GaussianMarker, GuardSplat)은 약 50%의 비트 정확도(무작위 추측)를 기록했습니다. 반면, NGS-Marker는 16비트 메시지에 대해 97.94%의 Bit-Accuracy와 96.60%의 3D-Accuracy(프리미티브 레벨 분류)를 달성했습니다.
• 렌더링 품질: NGS-Marker는 시각적 충실도를 보존하는 데 있어 간접 방식보다 크게 앞섰습니다. 이러한 변화에 대응하려고 시도할 때 간접 방식의 PSNR이 종종 30 미만으로 떨어지는 것과 달리, NGS-Marker는 40.17의 PSNR과 0.995의 SSIM을 달성했습니다.
• 견고성: 본 방법은 가우시안 노이즈, 회전, 스케일링, 밀집화(densification), 드롭아웃, 이동 등의 공격에 대해 강력한 복원력을 입증하였으며, 결합된 공격 하에서도 96% 이상의 정확도를 유지했습니다.
• Ablation 연구: 연구 결과, 매우 작은 로컬 영역(최소 2,048개 프리미티브)에서도 효과가 유지됨을 보여주었으나, 샘플링 입도($\delta$)가 작아질수록 수렴 시간은 증가했습니다.

5. 의의 및 주장

본 논문은 보호의 패러다임을 간접(이미지 기반)에서 네이티브(프리미티브 기반)로 전환함으로써 3D 콘텐츠 보호의 중요한 공백을 메운다고 주장합니다. 그 의의는 다음과 같습니다:

• 부분 침해 문제 해결: 현재의 최첨단 방식들이 완전히 실패하는 시나리오인, 3D 자산의 일부만 재사용되었을 때도 신뢰할 수 있는 소유권 탐지 메커니즘을 제공합니다.
• 충실도 보존: 프리미티브에 직접 작용하고 점진적 최적화를 사용함으로써, 렌더링 출력물을 수정할 때 발생하는 시각적 저하를 방지합니다.
• 실제 배포 가능성: 기존의 간접 방식과 통합될 수 있고 이미지(멀티모달) 워터마크를 지원하는 능력은 실제 세계의 프라이버시 민감 및 정체성 인식 저작권 주장에 적응 가능하게 만듭니다.

저자들은 3D 인코딩/디코딩 기술이 2D 기술에 비해 아직 성숙하지 않았음을 언급하며, 임의로 큰 장면에 대한 효율적인 분할 전략이 향로 개선 과제로 남아있음을 인정했습니다. 그러나 NGS-Marker가 진화하는 3DGS 저작권 보호 환경에 있어 견고하고 유연하며 필수적인 솔루션임을 확언합니다.