SIGMark: Scalable In-Generation Watermark with Blind Extraction for Video Diffusion

SIGMark 는 기존 인-제네레이션 워터마킹의 비블라인드 추출 한계와 시간적 교란에 대한 취약점을 해결하기 위해, 전역 프레임별 의사난수 코딩 키를 활용한 블라인드 추출과 3D VAE 에 최적화된 모듈을 통해 확장성과 강인성을 동시에 확보한 비디오 확산 모델용 워터마킹 프레임워크입니다.

핵심

SIGMark: AI 비디오의 '보이지 않는 지문'을 찾는 새로운 방법

이 논문은 인공지능 (AI) 이 만든 동영상을 보호하고, 누가 만들었는지 추적할 수 있게 해주는 새로운 기술인 SIGMark에 대해 설명합니다.

기존의 방법들은 마치 완성된 케이크 위에 설탕을 뿌리는 것처럼, 비디오가 만들어진 후에 물을 새겨 넣었습니다. 하지만 이 방법은 비디오 화질을 떨어뜨리는 단점이 있었죠. 반면, SIGMark 는 **비디오가 만들어지는 순간 (생성 과정)**에 물을 새겨 넣어, 화질은 그대로 유지하면서도 물을 완벽하게 숨깁니다.

하지만 기존 기술에는 두 가지 큰 문제가 있었습니다. SIGMark 는 이 두 가지를 해결했습니다.

---

1. 문제 상황: 왜 기존 기술은 힘들었을까?

문제 1: "수백만 개의 열쇠를 찾아야 하는 미로" (확장성 문제)

기존 기술은 물을 넣을 때, "이 비디오는 A 씨가 만들었고, B 씨가 만들었다"는 식으로 모든 비디오마다 고유한 열쇠와 메시지를 따로 저장해 두었습니다.

• 비유: 마치 도서관에 책이 100 만 권 있을 때, 책을 찾을 때마다 "이 책이 100 만 권 중 어느 책인지" 확인하기 위해 전체 책장 목록을 일일이 뒤져야 하는 상황과 같습니다.
• 결과: 비디오가 하나씩 늘어날수록 물을 찾아내는 비용이 기하급수적으로 늘어나서, 대규모 플랫폼에서는 사실상 불가능해졌습니다.

문제 2: "시간이 흐르면 뭉개지는 물" (시간적 강건성 문제)

현대 AI 비디오 모델은 영상을 만들 때, 여러 장의 프레임을 묶어서 처리합니다. 하지만 유튜브나 SNS 에 올라가면 프레임이 잘리거나 (클립), 일부가 사라지거나 (프레임 드롭) 순서가 바뀌는 경우가 많습니다.

• 비유: 마치 레고 블록으로 만든 성을 생각해보세요. 기존 기술은 레고 블록이 원래 순서대로 쌓여 있을 때만 "이건 내 작품이다"라고 인식했습니다. 하지만 블록이 하나 빠지거나 순서가 바뀌면, 시스템은 "이건 내 작품이 아니야"라고 오해하고 물을 찾아내지 못했습니다.

---

2. SIGMark 의 해결책: 두 가지 혁신

SIGMark 는 이 두 문제를 해결하기 위해 두 가지 똑똑한 방법을 고안했습니다.

해결책 1: "전 세계가 공유하는 공통 암호" (GF-PRC)

SIGMark 는 더 이상 각 비디오마다 고유한 열쇠를 저장하지 않습니다. 대신, **모든 비디오가 공유하는 '전체용 암호 키' (Global Frame-wise PRC Keys)**만 하나 가지고 있습니다.

• 비유: 모든 비디오에 동일한 패턴의 지문을 미리 새겨두는 것과 같습니다. 물을 찾아낼 때, "이 비디오가 100 만 개 중 어느 것인지" 일일이 비교할 필요가 없습니다. 그냥 "이 지문 패턴이 맞는지"만 확인하면 되죠.
• 효과: 비디오가 1 개든 100 만 개든, 물을 찾아내는 비용은 똑같고 매우 빠릅니다. 이것이 바로 '블라인드 추출 (Blind Extraction)'의 마법입니다.

해결책 2: "흐르는 물의 흐름을 읽는 나침반" (SGO 모듈)

비디오가 잘리거나 순서가 바뀌어도, SIGMark 는 다시 원래 순서를 찾아냅니다.

• 비유: 강물이 흐르다가 돌에 부딪혀 물살이 끊어지더라도, **물결의 움직임 (광류, Optical Flow)**을 분석하면 "아, 이 부분은 원래 여기 있었구나"라고 다시 연결해 줍니다.
• 작동 원리:
  1. 광류 분석: 비디오의 움직임이 자연스러운 구간을 찾아내어 잘린 부분을 구분합니다.
  2. 슬라이딩 윈도우: 잘린 조각들을 작은 창문처럼 움직여가며, "어디서부터 시작하면 레고 블록이 다시 맞춰질까?"를 자동으로 찾아냅니다.
• 효과: 프레임이 몇 장 사라지거나 순서가 뒤죽박죽이어도, SIGMark 는 원래의 레고 성을 다시 조립해 물을 찾아냅니다.

---

3. 요약: 왜 이것이 중요한가요?

• 화질은 100% 유지: 비디오가 만들어지는 순간 물을 넣기 때문에, 화질 저하가 전혀 없습니다.
• 거대 플랫폼도 가능: 비디오가 수백만 개가 되어도 물을 찾는 속도가 느려지지 않습니다. (확장성)
• 실제 환경에 강함: 유튜브나 SNS 에서 편집되거나 잘린 영상에서도 물을 찾아낼 수 있습니다. (강건성)

한 줄 요약:

SIGMark는 AI 가 만든 비디오에 화질은 망치지 않으면서, 시간이 지나고 편집이 되어도 **누가 만들었는지 쉽게 찾아낼 수 있는 '불멸의 지문'**을 찍어주는 기술입니다. 이제 AI 비디오의 저작권 보호와 유해 콘텐츠 추적이 훨씬 수월해질 것입니다.

기술 요약

SIGMark: 비디오 확산 모델을 위한 블라인드 추출이 가능한 확장 가능한 인-제너레이션 워터마킹

1. 연구 배경 및 문제 정의

최근 생성형 AI (AIGC), 특히 확산 모델 (Diffusion Models) 을 활용한 비디오 생성 기술이 급격히 발전하고 있습니다. 이에 따라 AI 생성 콘텐츠의 저작권 보호와 유해 콘텐츠의 출처 추적을 위한 불가시 워터마킹 (Invisible Watermarking) 기술의 중요성이 부각되고 있습니다.

기존의 워터마킹 방식은 크게 두 가지로 나뉩니다:

1. 후처리 워터마킹 (Post-processing): 생성된 비디오 프레임에 워터마킹을 적용하는 방식입니다. 이는 비디오 화질을 저하시키는 단점이 있습니다.
2. 인-제너레이션 워터마킹 (In-generation): 생성 과정 초기의 잠재 노이즈 (Latent Noise) 에 워터마킹 정보를 인코딩하여, 왜곡 없이 워터마킹된 비디오를 생성하는 방식입니다.

하지만 기존 인-제너레이션 방식은 다음과 같은 두 가지 치명적인 한계를 가지고 있습니다:

• 확장성 부족 (높은 추출 비용): 현재 방법들은 비블라인드 (Non-blind) 방식입니다. 워터마킹 추출 시 원본 메시지 - 키 쌍을 모두 저장하고 데이터베이스 전체에서 템플릿 매칭을 수행해야 하므로, 생성 요청이 늘어날수록 추출 비용이 선형적으로 증가하여 대규모 플랫폼 적용이 어렵습니다.
• 시간적 강건성 부족 (Temporal Robustness): 최신 비디오 확산 모델은 인과적 3D VAE(Causal 3D VAE) 를 사용합니다. 이 모델은 인접한 프레임 그룹을 하나의 잠재 특징으로 디코딩합니다. 비디오가 압축되거나 프레임이 삭제/삽입되는 등 시간적 교란이 발생하면 프레임 그룹핑이 깨져, 워터마킹 추출 시 잠재 특징이 왜곡되어 비트 정확도가 급격히 떨어집니다.

2. 제안 방법: SIGMark

이 논문은 위 문제들을 해결하기 위해 SIGMark(Scalable In-Generation watermarking with blind extraction) 를 제안합니다. SIGMark 는 블라인드 추출이 가능하고 시간적 교란에 강건한 확장 가능한 워터마킹 프레임워크입니다.

2.1. 글로벌 프레임별 의사난수 부호화 (GF-PRC)

블라인드 추출과 확장성을 달성하기 위해 Global Frame-wise PseudoRandom Coding (GF-PRC) 방식을 도입했습니다.

• 원리: 모든 생성 요청에서 공유되는 '글로벌 프레임별 PRC 키' 세트를 사용합니다. 각 키는 잠재 공간의 시간적 차원 (프레임 그룹) 에 할당됩니다.
• 작동 방식: 워터마킹 메시지를 PRC 키를 사용하여 무작위 템플릿 비트 시퀀스로 인코딩한 후, 초기 잠재 노이즈에 변조합니다.
• 장점:
  • 블라인드 추출: 생성 시 원본 메시지나 키를 저장할 필요가 없으며, 추출 시에도 템플릿 매칭 없이 글로벌 키만으로 복호화가 가능합니다.
  • 확장성: 추출 비용이 생성 요청 수에 비례하지 않고 일정 (Constant) 하게 유지됩니다.
  • 무결성: PRC 는 동일한 메시지를 다른 무작위 템플릿으로 인코딩할 수 있어, 초기 노이즈의 무작위성과 생성 다양성을 유지하며 왜곡을 방지합니다.

2.2. 세그먼트 그룹 정렬 모듈 (SGO)

인과적 3D VAE 를 사용하는 현대 모델의 시간적 강건성을 향상시키기 위해 Segment Group-Ordering (SGO) 모듈을 설계했습니다.

• 문제 해결: 프레임 삭제, 삽입, 자르기 등으로 인해 깨진 프레임 그룹핑을 복원합니다.
• 작동 방식:
  1. 광류 분할 (Optical Flow Segmentation): Farnebäck 광류를 사용하여 비디오를 운동 패턴이 일관된 연속된 세그먼트로 분할합니다.
  2. 슬라이딩 윈도우 감지 (Sliding-window Detection): 각 세그먼트 내에서 PRC 키를 활용하여 잠재 노이즈를 역추적 (Inversion) 하며, 올바른 프레임 그룹의 시작 위치를 자동으로 탐지합니다.
• 효과: 시간적 교란이 있더라도 올바른 프레임 그룹핑을 복원하여 정확한 잠재 특징을 추출하고 워터마킹을 복원할 수 있습니다.

3. 주요 기여

1. 문제 식별: 기존 인-제너레이션 비디오 워터마킹의 '높은 추출 비용'과 '낮은 시간적 강건성'이라는 두 가지 핵심 과제를 명확히 규명했습니다.
2. SIGMark 프레임워크 제안: GF-PRC 를 통한 블라인드 추출과 SGO 모듈을 통한 시간적 교란 복원을 결합하여, 대규모 플랫폼에서도 실용적으로 적용 가능한 확장성 있고 강건한 워터마킹 시스템을 구축했습니다.
3. 광범위한 실험 검증: 최신 비디오 확산 모델 (HunyuanVideo, Wan-2.2) 과 VBench-2.0 벤치마크를 통해 텍스트 - 비디오 (T2V) 및 이미지 - 비디오 (I2V) 작업에서 높은 비트 정확도와 최소한의 오버헤드를 입증했습니다.

4. 실험 결과

• 비트 정확도 (Bit Accuracy): SIGMark 는 시간적 및 공간적 교란 하에서 매우 높은 비트 정확도를 달성했습니다.
  • HunyuanVideo T2V 기준: 512 비트 임베딩 시 95.8% 정확도.
  • 기존 비블라인드 방법 (VideoShield) 과 비교해도 경쟁력 있는 성능을 보였으며, 블라인드 방식 중에서는 압도적으로 우수했습니다.
• 강건성 (Robustness):
  • 공간적 교란: 가우시안 노이즈, 압축, 블러링 등에서 높은 성능 유지.
  • 시간적 교란: 프레임 삭제, 삽입, 자르기 (Clip) 가 발생했을 때 기존 방법 (VideoMark, VideoShield) 은 정확도가 급격히 떨어졌으나, SIGMark 는 SGO 모듈 덕분에 성능 저하가 미미했습니다.
• 화질 (Video Quality): 워터마킹 적용으로 인한 화질 저하 (V-score) 는 거의 없었으며, 'No-mark' 상태와 유사한 품질을 유지하여 왜곡 없는 워터마킹을 증명했습니다.
• 확장성 (Scalability): 비디오 생성 수가 증가할 때, 기존 비블라인드 방식의 추출 시간은 선형적으로 증가하는 반면, SIGMark 는 일정한 시간을 유지하여 대규모 플랫폼 적용 가능성을 입증했습니다.

5. 의의 및 결론

SIGMark 는 현대 비디오 확산 모델에 적용 가능한 첫 번째 블라인드 인-제너레이션 워터마킹 방법으로, AI 생성 콘텐츠의 안전성과 저작권 보호에 중요한 기여를 합니다. 특히, 대규모 생성 플랫폼에서 발생하는 저장 및 계산 비용 문제를 해결하고, 실제 환경에서 발생할 수 있는 비디오 변형 (시간적 교란) 에도 강건하게 대응할 수 있음을 입증했습니다. 이는 AIGC 생태계의 신뢰성을 높이고 유해 콘텐츠의 추적을 가능하게 하는 핵심 기술로 평가됩니다.