Shallow Diffuse: Robust and Invisible Watermarking through Low-Dimensional Subspaces in Diffusion Models

1. 문제 정의 (Problem)

생성형 AI, 특히 확산 모델 (Diffusion Models) 의 급격한 발전은 이미지 생성 능력을 비약적으로 향상시켰으나, 다음과 같은 심각한 사회적 문제를 야기하고 있습니다.

• 허위 정보 및 저작권 침해: AI 생성 콘텐츠의 대량 유포로 인한 허위 정보 확산과 훈련 데이터의 무단 복제 (저작권 침해) 우려.
• 모델 붕괴 (Model Collapse): AI 생성 데이터로 재학습 시 모델의 품질과 다양성이 저하되는 문제.

이러한 문제를 해결하기 위해 워터마킹 (Watermarking) 이 필수적이지만, 기존 방법들은 다음과 같은 한계를 가집니다.

• 서버 시나리오 (Server Scenario): 초기 랜덤 시드 (Seed) 에 워터마크를 주입하는 방식 (Tree-Ring, RingID 등) 은 생성 과정과 워터마크가 강하게 결합되어 있어, 워터마크가 삽입되면 원본 이미지의 분포가 왜곡되어 일관성 (Consistency) 이 떨어집니다. 또한 초기 시드가 필요한 경우 사용자 시나리오에 적용이 어렵습니다.
• 사용자 시나리오 (User Scenario): 기존 이미지 후처리 방식은 단순한 왜곡 (블러, 리사이즈 등) 에 취약하여 강건성 (Robustness) 이 부족합니다.
• 결론: 현재까지 서버와 사용자 시나리오 모두에서 높은 일관성과 강건성을 동시에 만족하는 워터마킹 방법은 부재했습니다.

2. 방법론 (Methodology: Shallow Diffuse)

저자들은 확산 모델의 생성 과정에서 존재하는 저차원 부분 공간 (Low-dimensional Subspace) 의 특성을 활용하여 워터마킹과 생성 과정을 해리 (Decouple) 하는 새로운 방법인 Shallow Diffuse를 제안합니다.

핵심 아이디어

1. 국소 선형성 및 저랭크성 (Local Linearity & Low-rankness): 확산 모델의 후사 평균 예측기 (Posterior Mean Predictor, PMP) 는 특정 시간 단계 $t$에서 국소적으로 선형이며, 그 야코비안 (Jacobian) 행렬 $J_{\theta, t}$의 랭크가 전체 차원 $d$에 비해 매우 낮습니다.
2. 영공간 (Null Space) 활용: 워터마크 벡터 $\Delta x$를 고차원 공간에 균일하게 분포되도록 설계하면, 저랭크인 야코비안의 영공간 (Null Space) 에 워터마크의 상당 부분이 위치하게 됩니다.
   • 수학적으로 $J_{\theta, t} \Delta x \approx 0$이 성립하므로, 워터마크가 주입되어도 모델이 예측하는 이미지 $f_{\theta, t}(x_t)$는 거의 변하지 않습니다.
   • 이는 워터마크가 생성 과정 (이미지 품질) 과는 무관하게 존재함을 의미합니다.

알고리즘 프로세스

• 워터마크 주입 (Injection):
  • 특정 시간 단계 $t^*$ (실제로는 $0.3T$) 에서 노이즈 $x_{t^*}$를 계산합니다.
  • 주파수 영역 (Frequency Domain) 에서 고주파 성분에 워터마크 패턴 (원형 마스크 + 회전 랜덤 링) 을 추가합니다.
  • 서버 시나리오: 초기 잡음 $x_T$에서 $t^*$까지 역전파하여 $x_{t^*}$를 구한 후 워터마크를 주입하고 다시 $x_0$를 생성합니다.
  • 사용자 시나리오: 생성된 이미지 $x_0$를 DDIM Inversion 을 통해 $t^*$ 단계의 노이즈 $x_{t^*}$로 되돌린 후 워터마크를 주입하고 다시 $x_0$를 생성합니다.
• 워터마크 검출 (Detection):
  • 공격을 받은 이미지 $\bar{x}_0$를 $t^*$ 단계까지 역전파 (DDIM Inversion) 합니다.
  • 주파수 영역에서 미리 정의된 키 (Key) 와 비교하여 워터마크의 존재 여부를 통계적 검정 (p-value) 으로 판단합니다.

3. 주요 기여 (Key Contributions)

1. 이중 시나리오 지원: 초기 랜덤 시드가 필요한지 여부와 상관없이 서버 (생성 중) 와 사용자 (생성 후) 시나리오 모두에서 작동하는 최초의 훈련 불필요 (Training-free) 워터마킹 방법입니다.
2. 일관성과 강건성의 동시 달성: 워터마크를 생성 과정의 영공간에 배치함으로써 이미지 품질 (PSNR, SSIM, LPIPS) 을 유지하면서 동시에 다양한 공격에 대한 강건성을 확보했습니다.
3. 이론적 증명:
   • 일관성 보장 (Theorem 1): 워터마크 주입으로 인한 예측 오차가 야코비안의 랭크 $r_t$에 비례하여 매우 작음을 증명 ($r_t \ll d$).
   • 검출 가능성 보장 (Theorem 2): 워터마크가 DDIM 역전파 과정을 통해 효과적으로 복원 및 검출 가능함을 수학적으로 증명했습니다.
4. 고주파수 영역 활용: 기존 방법들이 저주파 (Low-frequency) 를 조작하여 왜곡을 유발한 것과 달리, Shallow Diffuse 는 고주파 (High-frequency) 영역에 워터마크를 삽입하여 시각적 왜곡을 최소화했습니다.

4. 실험 결과 (Results)

Stable Diffusion 2-1-base 를 기반으로 한 실험에서 기존 방법 (Tree-Ring, RingID, Gaussian Shading 등) 과 비교되었습니다.

• 일관성 (Consistency):
  • 서버 시나리오: 기존 확산 모델 기반 방법 중 가장 높은 PSNR, SSIM, CLIP-Score, FID 점수를 기록했습니다.
  • 사용자 시나리오: DDIM Inversion 오차 한계에 근접하는 최고의 일관성을 보였으며, 기존 후처리 방식보다 우수한 품질을 유지했습니다.
• 강건성 (Robustness):
  • JPEG 압축, 가우시안 블러, 노이즈, 리사이즈, 재생성 공격 (Diffusion Purification), 적대적 공격 등 15 가지 공격 유형에 대해 TPR@1%FPR 기준에서 최상위권 성능을 보였습니다.
  • 특히 RingID 나 Gaussian Shading 은 강건성은 높으나 일관성이 낮았으나, Shallow Diffuse 는 두 가지 모두에서 균형을 이뤘습니다.
• 다중 키 (Multi-key): 32 개의 서로 다른 키를 동시에 주입하더라도 강건성이 유지됨을 확인했습니다.
• 일반화: Transformer 기반 모델 (FLUX) 에도 적용 가능함이 검증되었습니다.

5. 의의 및 결론 (Significance)

Shallow Diffuse 는 확산 모델의 내재된 기하학적 구조 (저차원 부분 공간) 를 활용하여 워터마킹의 근본적인 딜레마 (일관성 vs 강건성) 를 해결했습니다.

• 실용성: 모델 재학습 (Fine-tuning) 이 필요 없으며, 서버와 사용자 양쪽에서 즉시 적용 가능합니다.
• 신뢰성: 이론적 증명과 광범위한 실험을 통해 AI 생성 콘텐츠의 출처 추적 및 저작권 보호에 신뢰할 수 있는 솔루션을 제공합니다.
• 미래 영향: 이 연구는 생성형 AI 의 책임 있는 배포와 미디어 인증 표준 수립에 중요한 기여를 할 것으로 기대됩니다.

요약하자면, Shallow Diffuse는 확산 모델의 '무의미한 공간 (Null Space)'에 워터마크를 숨김으로써, 이미지의 품질을 해치지 않으면서도 강력한 추적 기능을 제공하는 획기적인 기술입니다.