SKeDA: A Generative Watermarking Framework for Text-to-video Diffusion Models

본 논문은 텍스트-비디오 생성 모델의 콘텐츠 무결성과 저작권 보호를 위해 프레임 재배열 및 시간적 왜곡에 강인한 'SKeDA'라는 생성형 워터마킹 프레임워크를 제안합니다.

핵심

1. 왜 이 기술이 필요한가요? (문제 상황)

요즘 AI 가 "고양이가 우주선을 타고 간다"는 말만 하면, 진짜처럼 보이는 동영상을 만들어냅니다. 하지만 문제는 누가 만들었는지, 저작권은 누구에게 있는지를 알기 어렵다는 점입니다.

• 기존 방법의 문제점: 예전에는 동영상이 다 만들어진 뒤에, 마치 요리된 음식에 소금이나 향신료를 뿌리는 것처럼 watermark(워터마크) 를 넣었습니다.
  • 단점 1: 음식 맛이 변할 수 있습니다 (화질 저하).
  • 단점 2: 음식을 자르거나 (프레임 삭제), 재가공하면 (압축) 소금이 다 날아가서 흔적이 사라집니다.

2. SKeDA 의 핵심 아이디어: "요리할 때부터 섞기"

이 논문은 "음식을 다 만든 뒤에 소금을 뿌리는 게 아니라, 요리 시작할 때부터 반죽 속에 소금을 섞어라"라고 제안합니다.

AI 가 동영상을 그리는 과정 (확산 모델) 에서, 아직 그림이 나오기 전인 '잡음 (노이즈)' 단계에 워터마크 정보를 섞어 넣습니다. 이렇게 하면 워터마크는 동영상의 DNA 와 하나가 되어, 동영상이 완성될 때 자연스럽게 함께 태어나게 됩니다.

3. SKeDA 의 두 가지 마법 도구

이 기술은 두 가지 특별한 장비를 사용합니다.

① SKe (셔플-키): "카드 섞기 장난감"

• 상황: 동영상이 100 프레임 (장면) 으로 이루어져 있다고 칩시다. 기존 방식은 1 번째 장면에 1 번 정보, 2 번째 장면에 2 번 정보를 넣었습니다. 만약 1 번째 장면을 삭제하거나 순서를 바꾸면 (카드를 섞으면), 정보가 깨져서 읽을 수 없게 됩니다.
• SKe 의 해결책: SKe 는 하나의 기본 카드 덱을 만들어서, 각 프레임마다 그 카드를 무작위로 섞어서 (Shuffle) 사용합니다.
  • 비유: 100 개의 방에 각각 다른 열쇠를 넣는 게 아니라, 하나의 열쇠를 100 번씩 섞어서 모든 방에 넣는 것과 같습니다.
  • 효과: 만약 100 개 중 50 개 방이 사라지거나 순서가 뒤바뀌어도, 남은 방들만 모아도 원래 열쇠 (워터마크) 를 다시 맞출 수 있습니다. 동영상의 일부가 잘려도 워터마크가 살아남는 것입니다.

② DA (차이점 주의): "현명한 감시 카메라"

• 상황: 동영상을 압축하거나 노이즈가 생기면, 어떤 장면은 흐릿해지고 어떤 장면은 선명해집니다. 모든 장면을 똑같이 믿고 워터마크를 읽으려다 보면, 흐릿한 장면 때문에 전체가 망가질 수 있습니다.
• DA 의 해결책: DA 는 각 장면이 얼마나 안정적인지를 실시간으로 체크합니다.
  • 비유: 감시 카메라가 "이 장면은 흔들려서 믿을 수 없으니 무시하고, 저 장면은 선명하니까 집중해서 봐!"라고 중요도에 따라 점수를 다르게 매기는 것입니다.
  • 효과: 동영상이 압축되거나 손상되어도, 가장 잘 보존된 장면들만 모아 워터마크를 정확히 찾아냅니다.

4. 이 기술의 성과 (결과)

실험 결과, SKeDA 는 다음과 같은 놀라운 성과를 냈습니다.

1. 화질은 그대로: 워터마크를 넣어도 동영상이 뭉개지거나 흐려지지 않습니다. (요리 맛은 그대로 유지)
2. 압축에도 강함: 동영상을 유튜브처럼 많이 압축하거나, 일부 장면을 잘라내도 워터마크가 사라지지 않습니다. (비유하자면, 요리를 잘게 썰어도 반죽 속에 섞인 소금 맛은 여전히 느껴집니다.)
3. 정확도: 기존 기술들보다 워터마크를 찾아내는 정확도가 훨씬 높습니다.

5. 요약

SKeDA는 AI 가 만드는 동영상을 보호하기 위해, 동영상이 만들어지는 순간부터 워터마크를 DNA 수준으로 섞어 넣는 기술입니다.

• 기존: 요리 끝난 뒤에 소금 뿌리기 → 맛 변함, 잘리면 소금 날아감.
• SKeDA: 요리 시작할 때 반죽에 소금 섞기 → 맛 변함 없음, 잘려도 소금 맛 남음.

이 기술 덕분에 앞으로 AI 가 만든 동영상이 저작권 침해를 하거나 가짜 뉴스가 되어도, **"이건 누구의 작품이고, 어디서 왔는지"**를 쉽게 증명할 수 있게 될 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

텍스트 - 비디오 (Text-to-Video, T2V) 생성 모델의 급격한 발전은 콘텐츠의 진위성, 저작권 보호, 악의적 오용에 대한 우려를 증폭시켰습니다. 이에 따라 생성된 콘텐츠에 대한 추적 가능성 (Traceability) 과 저작권 보호를 위한 워터마킹 기술이 필수적입니다.

기존의 워터마킹 기술은 다음과 같은 한계를 가지고 있었습니다:

• 사후 처리 (Post-hoc) 방식의 한계: 기존 비디오 워터마킹은 생성된 비디오의 픽셀 도메인이나 압축 도메인에 워터마크를 삽입하는 방식을 사용했습니다. 이는 시각적 아티팩트를 유발하거나, 고강도 압축, 프레임 삭제, 재인코딩과 같은 공격에 취약하여 무결성이 깨지기 쉽습니다.
• 생성형 이미지 워터마킹의 비디오 확장 한계: 최근 확산 모델 (Diffusion Model) 의 잠재 공간 (Latent Space) 에 워터마크를 직접 삽입하는 생성형 이미지 워터마킹 기법 (예: Gaussian Shading) 이 등장했으나, 이를 비디오로 확장할 때 두 가지 주요 문제가 발생합니다.
  1. 프레임 정렬 의존성: 기존 방식은 워터마크 암호화에 사용되는 프레임별 의사난수 (Pseudo-random) 시퀀스와 비디오 프레임 간의 엄격한 정렬을 전제합니다. 프레임 삭제, 순서 변경, 재인코딩 등으로 정렬이 깨지면 워터마크 추출이 불가능해집니다.
  2. 시간적 왜곡에 대한 취약성: 프레임 간 압축, 시간적抖动 (Jitter) 등 비디오 특유의 왜곡은 역변환 (Inversion) 기반 추출을 방해하여 워터마크 신호의 동기화를 해칩니다.

2. 제안 방법론: SKeDA (Methodology)

저자들은 위 문제를 해결하기 위해 SKeDA (Shuffle-Key-based Distribution-preserving Sampling & Differential Attention) 라는 새로운 생성형 워터마킹 프레임워크를 제안했습니다. 이 프레임워크는 확산 모델의 잠재 공간에 워터마크를 직접 주입하여, 비디오 생성 과정과 워터마크를 융합합니다.

핵심 구성 요소:

1. SKe (Shuffle-Key-based Distribution-preserving Sampling) 모듈 (임베딩 단계):

   • 단일 기반 시퀀스 및 순열 (Permutation): 워터마크 암호화를 위해 단일 기반 의사난수 이진 시퀀스를 생성하고, 프레임별 암호화 시퀀스는 이 기반 시퀀스의 순열 (Permutation) 로만 유도합니다.
   • 동기화 불감성 (Synchronization-tolerant): 이 설계는 워터마크 추출을 "프레임 단위의 정렬이 필요한 시퀀스 디코딩"에서 "순열에 무관한 집합 수준 (Set-level) 집계"로 변환합니다. 따라서 프레임이 재배열되거나 일부 손실되더라도 워터마크를 복원할 수 있습니다.
   • 분산 보존: 확산 모델이 요구하는 가우시안 노이즈 분포를 해치지 않으면서도 프레임 간 충분한 무작위성을 유지하여 시각적 품질 (Fidelity) 을 보장합니다.

2. DA (Differential Attention) 모듈 (추출 단계):

   • 프레임 간 차이 기반 가중치 할당: 워터마크 추출 시, DDIM 역변환 (Inversion) 을 수행하면서 프레임 간의 차이를 계산합니다.
   • 적응형 주의 메커니즘: 움직임이 적고 안정적인 프레임 (첫 프레임과의 유사도가 높은 경우) 에는 높은 가중치를, 왜곡이 심하거나 변동이 큰 프레임에는 낮은 가중치를 부여합니다.
   • 강건성 향상: 이를 통해 압축, 프레임 손실, 시간적 왜곡이 발생하더라도 안정적인 워터마크 신호를 복원할 수 있습니다.

3. 작동 프로세스:

   • 임베딩: 워터마크 비트를 XOR 로 균일화한 후, SKe 모듈을 통해 잠재 공간의 초기 노이즈 분포에 매핑합니다. 이후 확산 모델 (Stable Diffusion + AnimateDiff) 을 통해 비디오를 생성합니다.
   • 추출: 공격을 받은 비디오를 Stable Diffusion Encoder 로 잠재 공간으로 인코딩한 후, DDIM 역변환을 통해 초기 노이즈 상태를 복원합니다. DA 모듈을 적용하여 가중치 합산 후 워터마크를 복호화합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 생성형 비디오 워터마킹 방법론: T2V 확산 모델의 고유한 시간적 특성을 고려하여, 생성 품질을 유지하면서 강건성을 극대화하는 방법을 제안했습니다.
2. SKe 모듈: 단일 기반 시퀀스와 순열 기반 암호화를 도입하여 프레임 재배열 및 손실에 강인한 워터마크 추출을 가능하게 했습니다. 이는 기존 방식의 동기화 의존성을 해결했습니다.
3. DA 모듈: 프레임 간 차이를 기반으로 적응형 가중치를 부여하여, 다양한 왜곡 (압축, 노이즈, 프레임 손실) 하에서도 워터마크 복원 안정성을 크게 향상시켰습니다.
4. 재학습 불필요: 제안된 방법은 기존 T2V 모델을 재학습 (Retraining) 하지 않고도 적용 가능하며, 높은 은폐성과 추적 가능성을 동시에 달성했습니다.

4. 실험 결과 (Results)

WebVid-10M 데이터셋을 기반으로 한 실험에서 SKeDA 는 기존 방법 (HiDDeN, REVMark, Video Seal, WAM, DVMark 등) 보다 우수한 성능을 보였습니다.

• 시각적 품질 (Fidelity):

  • FVD (Fréchet Video Distance): 361.3 으로 기존 방법들 (DVMark: 382.8, HiDDeN: 436.1) 보다 낮아 (더 좋음) 비디오 품질 저하가 거의 없음을 입증했습니다.
  • CLIP Score: 0.3345 로 텍스트 프롬프트와의 의미적 일관성이 가장 높았습니다.
  • VBench: 전반적인 비디오 품질 점수 (0.7898) 에서 모든 베이스라인을 상회했습니다.

• 강건성 (Robustness):

  • 압축 저항성: H.264 (CRF=30) 및 H.265 압축 환경에서 비트 정확도 (Bit Accuracy) 가 각각 96.87%, 95% 로, 차기 최고 성능 방법보다 10% 이상 높았습니다. 심한 압축 (CRF=40, 원본 크기의 약 1%) 에서도 약 80% 의 정확도를 유지했습니다.
  • 프레임 조작: 프레임 삭제 (Drop), 순서 변경 (Swap), 평균화 (Average) 공격에 대해 99% 이상의 높은 정확도를 보였습니다.
  • 노이즈 및 기타 공격: 가우시안 노이즈, 블러, 크롭 등 다양한 공격에서도 99.9% 이상의 정확도를 유지했습니다.

• Ablation Study:

  • DPMSolver 샘플링 기법이 가장 우수했으며, DA 모듈을 추가했을 때 왜곡 환경에서 추출 정확도가 약 5% 이상 향상됨을 확인했습니다.

5. 의의 및 결론 (Significance)

SKeDA 는 텍스트 - 비디오 생성 모델의 저작권 보호와 콘텐츠 출처 추적을 위한 강력한 솔루션을 제공합니다.

• 기술적 혁신: 비디오의 시간적 특성을 고려한 워터마킹 설계 (순열 기반 암호화, 차분 주의 메커니즘) 를 통해 기존 생성형 워터마킹의 한계를 극복했습니다.
• 실용성: 높은 은폐성과 압축/변형에 대한 강력한 내성을 동시에 확보하여, 실제 배포 환경 (스트리밍, SNS 등) 에서의 적용 가능성을 높였습니다.
• 미래 전망: 이 연구는 AI 생성 콘텐츠의 신뢰성을 확보하고, 합법적인 저작권 보호 체계를 구축하는 데 중요한 기반이 될 것으로 기대됩니다. 향후 더 긴 비디오 시퀀스와 더 큰 용량의 워터마크 지원으로 확장될 예정입니다.