SPDMark: 강건한 비디오 워터마킹을 위한 선택적 파라미터 변위 (Selective Parameter Displacement)

1. 문제 정의 (Problem)

최근 고화질 비디오 생성 모델 (Diffusion Models 등) 의 발전으로 AI 생성 비디오의 출처 추적 (Provenance) 과 오용 방지를 위한 워터마킹의 필요성이 대두되었습니다. 그러나 기존 비디오 워터마킹 기술은 다음 세 가지 요구사항을 동시에 충족하는 데 한계가 있었습니다.

• 지각 불가능성 (Imperceptibility): 워터마크가 삽입되어도 비디오의 화질이나 시간적 일관성이 떨어지지 않아야 함.
• 강건성 (Robustness): 압축, 자르기, 프레임 삭제/삽입/교체 등 일반적인 편집 및 변형 공격 후에도 워터마크를 복구할 수 있어야 함.
• 계산 효율성 (Efficiency): 워터마크 삽입 및 추출 과정이 비디오 생성에 비해 경량이어야 함.

기존 방법들은 크게 두 가지로 나뉩니다:

1. 사후 처리 (Post-hoc): 생성된 비디오에 워터마크를 추가. (지각 불가능성은 좋으나 생성 모델의 사전 지식을 활용하지 못해 강건성이 낮고 지연 발생)
2. 생성 중 (In-generation): 생성 과정 자체에 워터마크를 임베드.
   • 노이즈 공간 (Noise-space): 초기 노이즈를 변조 (DDIM 역변환 필요). 계산 비용이 크고 시간적 조작에 취약.
   • 모델 미세 조정 (Fine-tuning): 모델 가중치를 수정. 대부분 단일 서명이나 균일 변조를 사용하여 프레임별 제어가 어렵고 시간적 조작 탐지가 제한적임.

2. 방법론 (Methodology)

이 논문은 SPDMark라는 새로운 프레임워크를 제안합니다. 이는 비디오 생성 모델의 파라미터를 선택적으로 변위 (Displacement) 시켜 워터마크를 임베드하는 In-generation 방식입니다.

• 핵심 아이디어: 선택적 파라미터 변위 (Selective Parameter Displacement, SPD)

  • 고정된 생성 모델의 파라미터 ($\Phi$) 를 직접 변경하는 대신, 학습된 **저랭크 (Low-rank) 기저 변위 (Basis Shifts)**의 희소 조합을 활성화하여 파라미터를 변위시킵니다.
  • 워터마크 키 ($\kappa$) 에 따라 각 프레임마다 다른 기저 변위가 선택되어 적용됩니다.
  • LoRA (Low-Rank Adaptation) 활용: 파라미터 효율성을 위해 기저 변위 $\zeta$를 저랭크 행렬 분해 ($A \times B$) 형태로 구현하여 학습 비용을 최소화합니다.

• 프레임별 고유 워터마크 메시지 생성

  • 시간적 조작 (프레임 순서 변경, 삭제 등) 을 탐지하기 위해, 전체 비디오 키 ($K_{base}$) 와 암호화 해시 함수를 사용하여 프레임별 고유 메시지 ($\kappa_t$) 를 생성합니다.
  • 각 프레임마다 다른 워터마크가 임베드되므로, 프레임 순서가 바뀌거나 일부가 삭제되어도 복구 가능합니다.

• 검증 및 복구 프로세스

  • 추출기 (Extractor): 각 프레임별로 워터마크 메시지를 복구하는 경량 추출기 (ResNet-50 기반) 를 사용합니다.
  • 최대 이분 매칭 (Maximum Bipartite Matching): 추출된 메시지 시퀀스와 원래 예상 메시지 시퀀스 간의 매칭을 위해 할당 알고리즘 (Hungarian Algorithm) 을 적용하여 프레임 순서를 재구성합니다.
  • 통계적 가설 검정: 매칭된 비트 수를 기반으로 워터마크의 유효성을 통계적으로 검증하여 위양성 (False Positive) 을 제어합니다.

• 학습 목표

  • 메시지 복구 손실 (Bit Recovery Loss), 지각적 유사성 손실 (LPIPS), 시간적 일관성 손실 (Temporal Consistency) 을 최소화하도록 기저 변위와 추출기를 공동 학습 (Joint Learning) 합니다.

3. 주요 기여 (Key Contributions)

1. SPD 프레임워크 제안: 비디오 확산 모델에서 다중 키 (Multi-key) 기반의 생성 중 워터마킹을 가능하게 하는 새로운 '선택적 파라미터 변위' 개념을 도입했습니다.
2. 효율적인 구현: LoRA 기반의 저랭크 기저 변위를 사용하여, 키에 따라 동적으로 조합되는 파라미터 변위를 구현함으로써 재학습 없이 다양한 키를 지원하고 추론 오버헤드를 최소화했습니다.
3. 시간적 조작 탐지 메커니즘: 프레임별 고유 메시지와 최대 이분 매칭, 통계적 검정을 결합하여 프레임 삭제, 삽입, 순서 변경 등 시간적 변형을 정밀하게 탐지하고 로컬라이즈할 수 있는 시스템을 구축했습니다.
4. 광범위한 실험 검증: 텍스트 - 비디오 (ModelScope) 및 이미지 - 비디오 (SVD-XT) 모델에서 SPDMark 의 성능을 입증하고, 다양한 공격 시나리오에서 기존 방법들보다 우수한 강건성을 보였습니다.

4. 실험 결과 (Results)

• 데이터셋 및 모델: Stable Video Diffusion (SVD-XT) 과 ModelScope (MS) 모델에서 평가 수행.
• 비디오 품질: 워터마크 삽입 후에도 Subject Consistency (SC), Motion Smoothness (MS), Background Consistency (BC) 등 VBench 지표에서 기존 방법 (VideoShield, VideoSeal, VidSig) 과 유사하거나 더 나은 화질을 유지했습니다.
• 워터마크 복구 정확도:
  • Bit Accuracy: SVD-XT 에서 99.5%, ModelScope 에서 98.8% 의 높은 정확도를 달성했습니다.
  • 강건성: 16 가지 이상의 공격 (기하학적 변형, 시간적 조작, 재압축, 스크린 녹화 등) 에 대해 평균 93.5% (SVD-XT) 및 93.9% (ModelScope) 의 복구율을 보이며, 기존 방법들을 능가했습니다.
  • 시간적 조작 탐지: 프레임 삭제/삽입 탐지 정밀도 (Precision) 와 재현율 (Recall) 이 99% 이상이며, 프레임 순서 변경 (Swap) 탐지 정확도도 100% 에 근접했습니다.

5. 의의 및 결론 (Significance)

SPDMark 는 비디오 생성 모델의 파라미터를 직접 변조하지 않고도, 저랭크 적응 (LoRA) 과 선택적 변위를 통해 고품질의 워터마크를 생성하는 효율적인 방식을 제시했습니다.

• DDIM 역변환 불필요: 기존 노이즈 기반 방법들의 높은 계산 비용과 취약점을 해결했습니다.
• 프레임 단위 제어: 단일 서명이 아닌 프레임별 고유 메시지를 통해 시간적 조작에 대한 강력한 방어 및 탐지 능력을 확보했습니다.
• 실용성: 학습된 기저 사전 (Dictionary) 하나만으로 무한한 워터마크 키를 지원할 수 있어 확장성이 높으며, 생성 모델의 화질을 해치지 않으면서도 강력한 출처 추적 및 위변조 탐지 기능을 제공합니다.

이 연구는 AI 생성 콘텐츠의 신뢰성을 확보하고, 저작권 보호 및 오용 방지를 위한 실용적인 기술적 기반을 마련했다는 점에서 의의가 큽니다.