🤖 machine learning

Towards Robust Content Watermarking Against Removal and Forgery Attacks

이 논문은 텍스트 - 이미지 확산 모델의 생성 콘텐츠에 대한 저작권 보호를 위해, 사용자 프롬프트의 의미에 따라 워터마크 주입 시기와 패턴을 동적으로 제어하고 양측 검출 방식을 도입하여 제거 및 위조 공격에 강한 '인스턴스별 양측 검출 워터마킹 (ISTS)' 기법을 제안합니다.

원저자: Yifan Zhu, Yihan Wang, Xiao-Shan Gao

게시일 2026-04-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yifan Zhu, Yihan Wang, Xiao-Shan Gao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🎨 배경: AI 그림의 저작권 문제

요즘 AI(Stable Diffusion 등) 가 그린 그림이 너무 잘 만들어져서, 누가 그렸는지 알기 어렵습니다. 마치 누군가 내 그림을 도용해서 "내가 그렸다"라고 주장하거나, 반대로 내가 그린 그림에서 내 이름을 지워버리는 일이 생길 수 있습니다.

기존에는 그림에 보이지 않는 **'디지털 도장 (워터마크)'**을 찍어서 "이건 AI 가 그렸다"라고 증명하려 했습니다. 하지만 해커들은 이 도장을 지우거나 (제거 공격), 도장 없는 그림에 가짜 도장을 찍는 (위조 공격) 방법을 찾아냈습니다. 마치 고정된 패턴의 도장을 찍어두니, 해커들이 그 패턴을 분석해서 쉽게 지워버리거나 흉내 내는 것과 같습니다.

💡 새로운 해결책: ISTS (맞춤형 양면 도장)

저자들은 이 문제를 해결하기 위해 ISTS라는 새로운 방식을 고안했습니다. 핵심은 **"매번 다른 도장을 찍고, 양쪽에서 확인한다"**는 것입니다.

1. "매번 다른 도장" (Instance-Specific Watermarking)

기존 방식은 모든 그림에 똑같은 도장 (예: 중앙에 원형 무늬) 을 찍었습니다. 해커는 "아, 이 그림들은 다 중앙에 원이 있구나"라고 알아차리고 그 부분만 지우면 됩니다.

하지만 ISTS 는 다음과 같이 작동합니다:

상황: 그림을 그릴 때, 사용자가 입력한 문장 (프롬프트) 을 먼저 분석합니다.
- 비유: "고양이"를 그릴 때는 오후 3 시에 왼쪽 구석에 도장을 찍고, "바다"를 그릴 때는 아침 9 시에 오른쪽 위에 도장을 찍는 식입니다.
효과: 그림마다 도장의 위치와 찍는 시간이 다릅니다. 해커는 "어떤 그림에 어떤 도장이 찍혔는지"를 미리 알 수 없으므로, 도장을 지우거나 위조하는 것이 불가능에 가깝습니다. 마치 매번 다른 암호로 잠긴 금고를 열려고 하는 것과 같습니다.

2. "양면 확인" (Two-Sided Detection)

기존 방식은 도장이 찍힌 방향만 확인했습니다. 해커는 도장을 지우는 대신, 도장의 반대 방향 (거울 이미지) 으로 변형시켜 검출기를 속일 수 있었습니다.

ISTS 의 방식: 검출기는 도장을 확인할 때 **"원래 방향"**과 **"반대 방향"**을 모두 확인합니다.
- 비유: 도장을 찍었을 때, "이게 진짜 도장이야?"라고 물어보는 동시에, "혹시 거울에 비친 도장은 아닐까?"라고도 물어봅니다.
효과: 해커가 도장을 지우거나 반대로 변형시켜도, 검출기는 두 가지 경우 중 하나라도 맞으면 "이건 AI 가 그린 진짜 그림이야!"라고 판단합니다.

🛡️ 실험 결과: 얼마나 강력한가요?

저자들은 다양한 해커 공격 (도장 지우기, 가짜 도장 찍기) 을 시뮬레이션해 보았습니다.

기존 방법들: 대부분의 기존 기술은 해커의 공격에 무너졌습니다. 도장이 지워지거나, 가짜 그림이 진짜로 오인되었습니다.
ISTS: 해커가 아무리 공격해도 도장을 찾아내는 능력 (AUC 점수) 이 압도적으로 높았습니다. 특히 해커가 가장 많이 사용하는 공격 방식에서도 기존 기술보다 훨씬 잘 견뎌냈습니다.

📝 요약

이 논문은 **"AI 그림의 저작권을 지키기 위해, 그림마다 다른 암호 (도장) 를 찍고, 양쪽에서 확인하는 새로운 시스템을 만들었다"**는 내용입니다.

기존: 모든 그림에 똑같은 도장 → 해커가 쉽게破解 (해독) 함.
ISTS: 그림 내용 (고양이 vs 바다) 에 따라 도장 위치와 시간을 바꿈 + 양쪽에서 확인 → 해커가 도장을 찾을 수 없음.

이 기술은 AI 가 만든 콘텐츠가 도용당하지 않도록 보호하고, 누가 만들었는지 명확히 증명할 수 있는 강력한 방패가 될 것으로 기대됩니다.

1. 문제 정의 (Problem Statement)

최근 텍스트-이미지 (Text-to-Image) 확산 모델 (Stable Diffusion, DALL-E 등) 의 발전으로 생성된 콘텐츠의 저작권 보호, 출처 확인, 저자 인정 문제가 대두되었습니다. 이를 해결하기 위해 콘텐츠 워터마킹 기술이 도입되었으나, 기존 방법론은 다음과 같은 심각한 취약점을 가지고 있습니다.

정적 (Static) 패턴의 한계: 기존 워터마킹 (예: Tree-Ring) 은 모든 생성물에 동일한 고정된 패턴을 주입합니다. 이는 공격자에게 워터마킹의 구조적 특성을 추론할 수 있는 '사전 지식'을 제공하여 제거 및 위조 공격을 용이하게 합니다.
제거 공격 (Removal Attacks): 공격자가 워터마킹된 이미지를 변형하여 탐지기를 우회하려 시도합니다. 기존 연구들은 단일 워터마킹 이미지나 평균화된 이미지를 이용해 패턴을 추출하고 제거하는 데 성공했습니다.
위조 공격 (Forgery Attacks): 공격자가 워터마킹이 없는 정상 이미지를 변조하여 마치 워터마킹이 있는 것처럼 탐지되게 만듭니다. 고정된 패턴을 가진 경우, 적은 수의 워터마킹된 이미지만으로도 패턴을 복제하여 위조가 가능합니다.

2. 제안 방법론: ISTS (Instance-Specific watermarking with Two-Sided detection)

저자들은 제거 및 위조 공격에 강인한 새로운 워터마킹 패러다임인 ISTS를 제안합니다. 이는 크게 두 가지 핵심 전략을 기반으로 합니다.

가. 인스턴스별 워터마킹 (Instance-Specific Watermarking)

각 생성 요청 (Prompt) 에 따라 워터마킹 패턴과 주입 시점을 동적으로 변경하여 공격자의 예측을 어렵게 만듭니다.

의미 기반 파라미터 선택:
- 먼저 워터마킹이 적용되지 않은 이미지를 생성합니다.
- CLIP 인코더를 사용하여 이 이미지의 의미적 특징 벡터를 추출합니다.
- 사전 학습된 '의미 기반 선택기 (Semantic-based Selector)'를 통해 해당 특징 벡터에 기반하여 **주입 시간 단계 (Injection Time Step, $t$ )**와 **패턴 좌표 (Pattern Location, $l$ )**를 동적으로 결정합니다.
동적 주입:
- 결정된 시간 단계 $t$ 와 좌표 $l$ 에서 확산 모델의 잠재 공간 (Latent Space) 에 워터마킹 패턴을 주입합니다.
- 효과: 동일한 프롬프트라도 생성마다 워터마킹의 위치와 시점이 달라지므로, 공격자가 단일 이미지나 평균화를 통해 패턴을 추출하는 것이 불가능해집니다.

나. 양면 탐지 (Two-Sided Detection)

기존의 일면 탐지 (One-sided detection) 방식은 제거 공격에 취약합니다. 공격자가 잠재 표현 (Latent Representation) 을 반대 방향으로 최적화하여 워터마킹을 제거할 수 있기 때문입니다.

방식: 탐지 시 워터마킹 패턴 ( $W$ $W$ ) 과 잠재 벡터의 푸리에 변환 ( $F(z_T)$ $F (z_{T})$ ) 간의 거리를 계산할 때, 양쪽 부호 (+/-) 모두를 고려하여 최소 거리를 선택합니다.
- 수식: $d = \min(\text{dist}(W, F(z_T)), \text{dist}(W, -F(z_T)))$
효과: 공격자가 반대 방향의 잠재 표현을 유도하더라도 탐지기는 이를 정상적인 워터마킹으로 인식하여 탐지 실패를 방지합니다. 이는 원본 비워터마킹 이미지의 탐지 정확도에는 영향을 주지 않습니다.

3. 주요 기여 (Key Contributions)

동적 워터마킹 전략: 프롬프트의 의미에 따라 워터마킹 패턴과 주입 시점을 실시간으로 변경하여, 공격자가 패턴을 학습하거나 복제하는 것을 근본적으로 차단합니다.
양면 탐지 메커니즘: 잠재 공간의 반대 방향 공격을 방어할 수 있는 새로운 탐지 알고리즘을 도입하여 제거 공격에 대한 견고성을 획기적으로 높였습니다.
종합적 평가: 다양한 제거 공격 (Imp-Removal, Avg-Removal, VAE-Removal) 과 위조 공격 (Imp-Forgery, Avg-Forgery, VAE-Forgery) 에 대한 광범위한 실험을 수행했습니다.

4. 실험 결과 (Results)

Stable Diffusion-2-1 모델을 기반으로 한 실험에서 제안된 ISTS 는 기존 최첨단 방법론 (Tree-Ring, Gaussian-Shading, RingID, SEAL 등) 을 압도하는 성능을 보였습니다.

제거 공격 저항성 (Removal Attacks):
- Imp-Removal (경사 하강법 기반): 기존 방법들은 AUC 가 0.7 미만으로 급락했으나, ISTS 는 AUC 0.821을 기록하여 20% 이상 향상되었습니다.
- 평균 및 최악의 시나리오: 모든 제거 공격에 대한 평균 AUC 가 0.936, 최악의 경우 (가장 취약한 공격) 에도 0.821로, 기존 방법들보다 월등히 높은 견고성을 입증했습니다.
위조 공격 저항성 (Forgery Attacks):
- 위조 공격에서는 AUC 가 낮을수록 (위조가 어려울수록) 성능이 좋습니다.
- Imp-Forgery: 기존 방법들은 대부분 0.95 이상의 높은 AUC(위조 쉬움) 를 보였으나, ISTS 는 AUC 0.634로 20% 이상 개선된 성능을 보였습니다.
- 평균 및 최악의 시나리오: 평균 AUC 0.686, 최악의 경우 0.949를 기록하여 모든 베이스라인을 상회했습니다.
이미지 품질 및 일반적 변형:
- PSNR, SSIM, LPIPS, CLIP-Score 등 이미지 품질 지표에서 기존 방법들과 유사하거나 더 나은 성능을 보였습니다.
- 회전, 노이즈, 블러, 자르기, JPEG 압축, 확산 정제 (Diffusion Purification) 등 일반적인 이미지 변형에도 높은 AUC 를 유지하여 실용성을 입증했습니다.

5. 의의 및 결론 (Significance)

이는 생성된 콘텐츠의 출처를 신뢰할 수 있게 확인하고, 악의적인 위조 및 제거 공격으로부터 디지털 콘텐츠의 무결성을 보호하는 데 있어 중요한 이정표가 될 것으로 기대됩니다. 저자들은 현재 가장 강력한 공격 시나리오에서도 완벽한 방어는 어렵다는 점을 인정하며, 향후 더 견고한 워터마킹 기술 개발의 필요성을 강조했습니다.