Where, What, Why: Toward Explainable 3D-GS Watermarking

이 논문은 3D 가우스 스플래팅 (3D Gaussian Splatting) 표현에 내재된 'Trio-Experts'와 'SBAG' 모듈을 활용하여 워터마크의 위치와 품질 보전을 분리하고, 채널별 그룹 마스크를 통해 왜곡에 강인하면서도 고화질을 유지하며 워터마크 선택의 근거를 설명 가능한 3D 워터밍킹 프레임워크를 제안합니다.

핵심

이 논문은 **'3D Gaussian Splatting (3D-GS)'**이라는 최신 3D 기술에 **디지털 워터마크 (저작권 표시)**를 넣는 새로운 방법을 소개합니다.

쉽게 말해, **"3D 물체를 훔쳐가도, 변형해도, 원작자의 이름이 지워지지 않도록 하는 똑똑한 보안 시스템"**을 개발했다는 이야기입니다.

이 복잡한 기술을 일반인이 이해하기 쉽게 **세 가지 핵심 질문 (어디에, 무엇을, 왜)**과 비유를 들어 설명해 드리겠습니다.

---

🎨 배경: 3D 물체가 너무 쉽게 복사됩니다

지금 영화, 게임, 메타버스에서 쓰이는 3D 그래픽은 '3D-GS'라는 기술로 만들어집니다. 이 기술은 매우 사실적이고 빠르지만, 단점이 하나 있습니다. 코드가 그대로 복사되어 도용되기 쉽다는 것입니다. 마치 누군가 내 그림을 복사해서 내 이름만 지우고 팔아먹는 것과 같습니다.

이 논문은 그 3D 데이터 안에 **보이지 않는 '디지털 지문'**을 박아두는 방법을 제안합니다.

---

🔍 핵심 3 가지: Where, What, Why (어디에, 무엇을, 왜)

이 연구팀은 워터마크를 넣을 때 세 가지 질문을 명확히 답했습니다.

1. Where (어디에 넣을 것인가?): "안전한 곳만 골라라"

• 비유: 3D 물체는 수백만 개의 작은 점 (가우스 입자) 으로 이루어진 구름 같습니다. 이 구름 전체에 마킹을 하면 그림이 흐트러집니다.
• 해결책: 연구팀은 **'3 명의 전문가 (Trio-Experts)'**를 고용했습니다.
  • 지형 전문가: 구조가 튼튼한 곳 (흔들리지 않는 곳) 을 찾습니다.
  • 색감 전문가: 눈에 띄지 않게 변형할 수 있는 색감을 찾습니다.
  • 중복 전문가: 같은 모양이 여러 개 있어서 하나를 바꿔도 전체에 영향이 없는 '여분'을 찾습니다.
• 결과: 이 전문가들이 "여기가 안전하고, 변형해도 그림이 망가지지 않는 곳이야"라고 추천한 곳에만 워터마크를 넣습니다. 이를 **'SBAG (안전 게이트)'**라고 부릅니다.

2. What (무엇을 넣을 것인가?): "잘게 쪼개서 숨겨라"

• 비유: 워터마크를 넣을 때, 3D 점의 모든 속성 (위치, 크기, 회전, 색상 등) 을 다 건드리면 그림이 망가집니다.
• 해결책: **'채널별 그룹 마스크'**라는 장치를 썼습니다.
  • 마치 특정 색상만 칠할 수 있는 페인트 붓처럼, 워터마크를 넣을 때 '위치'나 '회전' 같은 특정 속성만 건드리고, '색상'이나 '밝기' 같은 중요한 속성은 건드리지 못하게 막습니다.
  • 이렇게 하면 워터마크는 들어갔는데, 눈에는 전혀 안 보입니다.

3. Why (왜 이렇게 해야 할까?): "서로 싸우지 않게 하라"

• 비유: 그림을 그리면서 동시에 도장을 찍으려다 보면, 도장을 찍는 손이 그림을 지워버릴 수 있습니다. (그림의 질이 떨어지고 워터마크도 깨집니다.)
• 해결책: **'분리된 훈련 (Decoupled Finetuning)'**을 했습니다.
  • 워터마크 담당 팀: 워터마크를 넣는 점들만 수정합니다.
  • 그림 품질 담당 팀: 워터마크와 상관없는 점들만 수정해서 그림을 예쁘게 만듭니다.
  • 두 팀이 서로 간섭하지 않게 완전히 분리해서 일하게 하니, 그림은 예쁘게 유지되면서 워터마크도 튼튼하게 남습니다.

---

🛡️ 이 기술의 놀라운 능력

이 방법은 다음과 같은 공격에도 끄떡없습니다.

1. 이미지 공격: 3D 이미지를 찍어서 자르거나, 노이즈를 넣거나, JPEG 로 압축해도 워터마크가 살아납니다. (비유: 그림을 찢거나 구겨도 지문은 남아있음)
2. 모델 공격: 3D 데이터 자체를 변형하거나, 점 (Gaussian) 을 20% 삭제하거나 복제해도 워터마크가 깨지지 않습니다. (비유: 구름의 일부를 잘라내도 구름의 정체는 변하지 않음)
3. 해석 가능성: "어디에 왜 넣었는지"를 설명할 수 있습니다. "이 점들은 구조가 튼튼해서 여기에 넣었고, 저 점들은 색감이 중요해서 건드리지 않았다"라고 **감사 (Audit)**가 가능합니다.

📊 결론: 왜 이 논문이 중요한가요?

기존 방법들은 그림이 흐려지거나 (화질 저하), 워터마크가 쉽게 깨지는 문제가 있었습니다. 하지만 이 연구팀은 **"어디에 넣을지, 무엇을 건드릴지, 왜 분리할지"**를 철저히 설계해서, 화질은 그대로 유지하면서 (PSNR 0.83dB 향상) 워터마크 정확도도 1.24%나 높였습니다.

한 줄 요약:

"3D 물체를 훔쳐가도, 변형해도 원작자의 이름을 지울 수 없게 만드는, 화질은 그대로이고 보안은 튼튼한 '보이지 않는 도장' 기술을 개발했습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 3D 가우스 스플래팅 (3D Gaussian Splatting, 3D-GS) 은 실시간 성능과 높은 충실도로 인해 3D 콘텐츠 생성의 사실적인 표준 (de facto standard) 으로 급부상하고 있습니다.
• 문제점: 3D-GS 모델은 명시적 (explicit) 파라미터를 가지며 직접 편집이 가능하다는 장점이 있지만, 이로 인해 무단 복제, 변조, 저작권 정보 삭제 및 불법 재배포가 매우 쉬워졌습니다.
• 기존 기술의 한계:
  • 기존 3D-GS 워터마킹 연구 (WateRF, 3DGSW 등) 는 렌더링된 이미지나 주파수 도메인에 의존하는 경우가 많아, 뷰포인트 변화에 따라 워터마크가 불안정해지거나 시각적 품질이 저하되는 문제가 있었습니다.
  • 핵심 과제: 3D 가우스 원시 (primitives) 중 어디에 (Where) 워터마크를写入할지, 무엇을 (What) 어떻게 인코딩할지, 그리고 왜 (Why) 그 선택이 타당한지 설명 가능한 (explainable) 프레임워크가 필요했습니다.

2. 제안 방법론 (Methodology)

논문은 "어디 (Where), 무엇 (What), 왜 (Why)"를 통합한 표현형 네이티브 (representation-native) 워터마킹 프레임워크를 제안합니다.

가. 3D 특징 인식 Trio-Experts (Where: Carrier Selection)

• 렌더링된 이미지가 아닌 3D 가우스의 원시 파라미터 (위치, 스케일, 회전, 불투명도, SH 계수) 에서 직접 특징을 추출합니다.
• 3 개의 전문가 모듈:
  1. Geometry Expert: 구조적 안정성 (스케일 등방성, 회전 일관성) 을 평가.
  2. Appearance Expert: 시각적 불감성 (고주파수 억제, 불투명도 게이트) 을 평가.
  3. Redundancy Expert: 공간적 대체 가능성 (중복도) 을 평가하여 강건성 확보.
• 이 세 가지 증거를 융합하여 워터마크를 담을 수 있는 최적의 가우스 (Carrier) 를 선정합니다.

나. 안전 및 예산 인식 게이트 (SBAG) (Where & Why)

• Safety and Budget Aware Gate (SBAG): Trio-Experts 의 증거를 바탕으로 워터마크 캐리어 (WM) 와 시각적 보상체 (VIS) 를 분리합니다.
• 작동 원리:
  • 다중 뷰 안정성과 안전 예산 (시각적 품질 저하 허용 범위) 을 충족하는 가우스만 WM 으로 선별합니다.
  • 나머지 가우스는 VIS(Visual Compensators) 로 할당하여 워터마크 삽입으로 인한 아티팩트를 보상합니다.
  • Densification: 선정된 WM 은 시각적 품질 한도 내에서 확장/밀집화되어 비트 내구성을 높입니다.

다. 채널별 그룹 마스크 (What: Channel-wise Group Mask)

• 목적: 워터마크 삽입 시 발생하는 시각적 왜곡을 최소화하고 고주파수 디테일을 보존합니다.
• 메커니즘:
  • WM 과 VIS 에 대해 채널별 (Channel-wise) 그룹 마스크를 적용하여 그래디언트 전파를 제어합니다.
  • WM 은 워터마크 손실 함수 ($L_{wm}$) 에만, VIS 는 시각적 재구성 손실 함수 ($L_{vis}$) 에만 반응하도록 그래디언트를 완전히 분리 (Decoupled) 합니다.
  • 이를 통해 파라미터 업데이트를 제한하고 국부적 아티팩트를 수정하며, 고주파수 세부 사항을 유지합니다.

라. 분리된 파인튜닝 (Decoupled Finetuning) (Why)

• EOT (Expectation Over Transformation): 다양한 공격 (블러, 노이즈, 자르기 등) 에 대한 강건성을 확보하기 위해 EOT 기반의 적대적 훈련을 수행합니다.
• 분리 최적화: WM 과 VIS 를 분리하여 훈련함으로써, 워터마크 강건성 최적화와 시각적 품질 유지 간의 경쟁 (Gradient Conflict) 을 제거합니다.
• 설명 가능성: 각 가우스가 어떤 역할을 했는지 (캐리어인지 보상체인지) 를 추적할 수 있어, 워터마크의 위치와 선택 이유에 대한 감사 가능한 (auditable) 설명을 제공합니다.

3. 주요 기여 (Key Contributions)

1. 해석 가능한 분리 파인튜닝 프레임워크: 캐리어와 보상체의 업데이트를 완전히 분리하고, 채널별 그룹 마스크를 통해 그래디언트를 라우팅하여 강건하고 시각적 손실이 없는 임베딩을 실현했습니다.
2. Trio-Experts 모듈: 렌더링 이미지가 아닌 3D-GS 파라미터 공간에서 직접 기하/외관/중복도 사전 지식 (priors) 을 추출하여 캐리어를 선택합니다.
3. SBAG (Safety and Budget Aware Gate): 적응형 예산 하에서 시각적 품질을 해치지 않으면서 워터마크 캐리어를 선택하고 밀집화하며, 이를 VIS 와 명확히 분리합니다.
4. SOTA 성능 달성: 기존 방법들보다 뛰어난 강건성과 시각적 품질을 동시에 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: Blender, LLFF, Mip-NeRF 360 등 다양한 3D-GS 벤치마크.
• 비교 대상: WateRF, GuardSplat, 3DGSW 등 최신 방법론.
• 성능 지표:
  • 시각적 품질 (PSNR): 기존 SOTA 대비 +0.83 dB 향상 (예: 35.98 dB).
  • 비트 정확도 (Bit-Accuracy): 기존 SOTA 대비 +1.24% 향상 (예: 98.46% vs 97.22%).
  • 강건성: 이미지 왜곡 (JPEG, 노이즈, 회전, 자르기 등) 및 모델 수준 변조 (가우스 제거/복제, 파라미터 노이즈) 에 대해 모든 공격에서 가장 높은 정확도를 기록했습니다.
  • 용량: 32 비트, 48 비트, 64 비트 메시지 길이 모두에서 우수한 균형을 유지했습니다.

5. 의의 및 결론 (Significance)

• 3D-GS 보안의 새로운 패러다임: 3D-GS 의 고유한 파라미터 구조를 직접 활용하여, 렌더링 의존적 방법의 한계를 극복했습니다.
• 강건성과 품질의 트레이드오프 해소: 분리된 최적화 (Decoupled Optimization) 를 통해 기존에 상충되던 '시각적 품질'과 '워터마크 강건성'을 동시에 극대화했습니다.
• 설명 가능성 (Explainability): 워터마크가 어디에, 왜 들어갔는지에 대한 투명한 추적을 가능하게 하여, 저작권 분쟁 시 감사 (Audit) 가 가능한 시스템을 구축했습니다.
• 확장성: 이 프레임워크는 동적 장면 (Dynamic Scenes) 이나 멀티모달 페이로드에도 자연스럽게 확장 가능함을 시사합니다.

이 논문은 3D-GS 기반 콘텐츠의 저작권 보호를 위한 강력하고 해석 가능한 표준 솔루션을 제시하며, 3D 자산의 안전한 배포와 활용에 중요한 기여를 할 것으로 기대됩니다.