ShapeMark: Robust and Diversity-Preserving Watermarking for Diffusion Models

이 논문은 확산 모델의 출력물에 대한 지적 재산권 보호를 위해 기존 노이즈 기반 워터마킹의 취약점을 해결하고, 구조화된 노이즈 패턴 인코딩과 무작위화 설계를 통해 강인성과 생성 다양성을 동시에 확보한 'ShapeMark' 방법을 제안합니다.

핵심

ShapeMark: AI 그림에 숨겨진 '보이지 않는 지문'을 만드는 새로운 기술

안녕하세요! 최근 AI 가 그리는 그림 (생성형 AI) 이 정말 놀라울 정도로 예뻐지고 있습니다. 하지만 이 그림들이 인터넷을 떠돌아다니면서 **"이 그림이 정말 AI 가 그렸을까?", "누가 이 그림을 만들었을까?"**를 증명하는 일이 어려워졌습니다.

이 문제를 해결하기 위해 연구진들이 ShapeMark라는 새로운 기술을 개발했습니다. 이걸 이해하기 쉽게 일상적인 비유로 설명해 드릴게요.

---

1. 기존 기술의 문제점: "모래알 하나를 건드리면 무너진 성"

기존의 AI 그림에 숨겨진 표시 (워터마크) 를 넣는 방법들은 마치 모래성을 만드는 것과 비슷했습니다.

• 방식: 그림을 그릴 때 쓰이는 '소음 (Noise)'이라는 모래알 하나하나의 위치나 모양을 살짝 바꿔서 정보를 넣었습니다.
• 문제: 만약 이 그림을 JPEG 로 저장하거나, 크기를 줄이거나, 필터를 씌우는 등 조금만 건드리면 (손상이 발생하면), 그 미세하게 바뀐 모래알 하나가 제자리를 잃어버립니다.
• 결과: 정보가 깨져서 "이 그림이 내 거야!"라고 증명할 수 없게 됩니다. 마치 비가 조금만 와도 무너져버리는 모래성 같은 거죠.

2. ShapeMark 의 핵심 아이디어: "모래알의 '무늬'를 기억하는 지능"

ShapeMark 는 개별 모래알 하나하나를 건드리지 않습니다. 대신 **모래알들이 모여 만든 '무늬'나 '패턴'**에 정보를 숨깁니다.

비유 1: 카드 게임과 순서 (구조적 인코딩, SE)

• 상황: 100 장의 카드를 섞어서 테이블에 올려놓았다고 상상해 보세요.
• 기존 방식: "첫 번째 카드가 빨간색이면 1, 파란색이면 0"이라고 정보를 넣습니다. 만약 첫 번째 카드가 뒤집히거나 사라지면 정보가 사라집니다.
• ShapeMark 방식: "카드 4 장을 한 묶음으로 묶어서, 그 묶음 안에서 카드들이 어떤 순서로 놓여 있는지"에 정보를 넣습니다.
  • 예를 들어, "빨강 - 파랑 - 초록 - 노랑" 순서면 'A', "노랑 - 초록 - 파랑 - 빨강" 순서면 'B'라고 합니다.
  • 강점: 만약 비가 와서 카드가 조금씩 움직이거나 (손상), 몇 장이 뒤집혀도, 전체적인 순서 패턴은 여전히 유지됩니다. 그래서 그림이 조금 망가져도 "아, 이 순서 패턴은 내가 만든 거야!"라고 쉽게 찾을 수 있습니다.

비유 2: 같은 레시피, 다른 요리 (부하 편향 제거, PDSR)

• 문제: 만약 같은 정보를 (예: '내 그림입니다') 계속 넣으면, AI 가 그리는 그림들이 모두 똑같은 패턴을 띄게 되어, 그림의 다양성이 떨어지고 눈으로 봐도 수상해 보일 수 있습니다. (마치 같은 레시피로 만든 케이크가 모두 똑같이 생기는 것)
• ShapeMark 해결책: 정보를 넣을 때, **매번 무작위로 카드의 위치를 섞는 '비밀 번호' (난수)**를 사용합니다.
  • 같은 정보 ('내 그림') 를 넣어도, 섞는 방식이 매번 다르기 때문에 결과물인 그림은 모두 다르게 나옵니다.
  • 하지만 나중에 확인하려는 사람은 그 '비밀 번호'만 알면, 다시 원래 순서로 되돌려서 정보를 찾아낼 수 있습니다.
  • 효과: 그림은 매번 새롭게 다양하게 나오지만, 숨겨진 지문은 확실하게 남습니다.

---

3. 왜 이 기술이 중요한가요?

1. 튼튼함 (Robustness): 그림을 자르고, 크기를 바꾸고, 화질을 낮추고, 노이즈를 섞는 등 어떤 시도를 해도 지문이 사라지지 않습니다. (99% 이상의 확률로 찾아냅니다.)
2. 다양성 유지 (Diversity): 그림이 뻔하거나 이상해지지 않습니다. AI 가 원래 가진 창의적인 다양성을 그대로 살립니다.
3. 모델 수정 불필요: AI 모델 자체를 다시 훈련시킬 필요가 없습니다. 그림을 그리는 '초기 재료' (소음) 에만 적용하면 되므로, 어떤 AI 모델이든 쉽게 쓸 수 있습니다.

4. 요약: ShapeMark 가 하는 일

"AI 가 그리는 그림에, 그림이 조금 망가져도 지워지지 않는 '보이지 않는 지문'을 새겨 넣는 기술입니다. 그리고 이 지문 때문에 그림이 지루해지거나 비슷해지지 않도록, 매번 지문의 모양을 살짝 바꿔주면서도 원래 주인을 찾아낼 수 있게 해줍니다."

이 기술은 앞으로 AI 가 만든 콘텐츠가 누구의 것인지, 어디서 왔는지를 증명하는 데 큰 역할을 할 것으로 기대됩니다. 마치 디지털 세상에서 AI 그림에 영구적인 '출생증명서'를 붙여주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

최근 확산 모델 (Diffusion Models) 은 고품질 이미지 생성을 가능하게 하여 AIGC(생성형 AI) 의 핵심 기술로 자리 잡았으나, 이로 인해 생성된 콘텐츠의 저작권 보호와 출처 추적 (Provenance) 에 새로운 과제가 발생했습니다.

• 기존 방법의 한계: 기존 확산 모델용 워터마킹 기법 중 '노이즈 - 워터마크 (Noise-as-Watermark, NaW)' 방식은 생성 과정 초기의 노이즈에 정보를 삽입하여 모델 파라미터를 수정하지 않는다는 장점이 있습니다. 그러나 기존 NaW 방법들은 **강인성 (Robustness)**과 생성 다양성 (Diversity) 사이의 균형을 맞추지 못했습니다.
  • 강인성 부족: 대부분의 기존 방법은 개별 노이즈 값의 부호나 크기를 제어하는 '값 인코딩 (Value Encoding)' 방식을 사용합니다. 이는 실제 적용 시 발생하는 손실 (압축, 리사이징 등) 이나 확산 역과정 (Inversion) 의 오차로 인해 개별 값이 왜곡되면 워터마크 검출이 실패하는 매우 취약한 구조입니다.
  • 다양성 저하: 강인성을 높이기 위해 노이즈 샘플링 시 워터마크 정보를 반복적으로 삽입하는 방식은 고정된 패턴을 만들어내어, 생성된 이미지의 시각적 다양성을 떨어뜨리고 워터마크 아티팩트가 눈에 띄게 만드는 원인이 됩니다.

2. 제안 방법: ShapeMark

저자들은 위 문제를 해결하기 위해 **구조적 인코딩 (Structural Encoding)**과 **페이로드 편향 제거 구조적 무작위화 (Payload-Debiasing Structural Randomization, PDSR)**를 결합한 새로운 워터마킹 프레임워크인 ShapeMark를 제안합니다.

핵심 구성 요소

1. 구조적 인코딩 (Structural Encoding, SE):

   • 개념: 개별 노이즈 값이 아닌, 노이즈 요소들이 형성하는 **구조적 패턴 (Shape)**에 워터마크 비트를 인코딩합니다.
   • 작동 원리:
     • 분리성 가이드 템플릿 생성: 초기 노이즈 잠재 공간 (Latent Space) 의 모든 좌표 크기를 정렬 (Ranking) 하여 분위수 (Quantile) 빈 (Bin) 으로 나눕니다.
     • 블록 및 그룹 구성: 각 분위수 빈 내에서 비밀 키 (Secret Key) 를 기반으로 인덱스를 무작위 순서로 정렬하여 '블록'을 만들고, 서로 다른 분위수 빈에서 온 블록들을 묶어 '그룹'을 형성합니다.
     • 인코딩: 워터마크 비트는 각 그룹 내에서 블록들이 차지하는 위치를 치환 (Permutation) 하는 방식으로 저장됩니다. 즉, 절대적인 값이 아니라 블록 간의 상대적 순서가 정보를 담습니다.
   • 장점: 역과정 오차나 후처리 노이즈로 인해 개별 값이 왜곡되더라도, 블록 간의 순서 관계는 상대적으로 안정적으로 유지되므로 워터마크 복원이 가능합니다.

2. 페이로드 편향 제거 구조적 무작위화 (PDSR):

   • 동기: SE 방식만 사용하면 동일한 페이로드 (메시지) 가 반복될 때 노이즈의 공간적 패턴이 고정되어 이미지의 다양성이 떨어지고 워터마크 패턴이 탐지될 수 있습니다.
   • 해결책: SE 적용 후, 공개된 논스 (Public Nonce) 를 기반으로 노이즈 블록들의 위치를 전역적으로 다시 섞는 (Shuffling) 단계를 추가합니다.
   • 특징: 이 과정은 값 (Value) 을 변경하지 않고 위치만 바꾸므로 역산 (Invertible) 이 가능하며, 동일한 페이로드라도 이미지마다 다른 노이즈 실현 (Realization) 을 생성하여 생성 다양성을 보존합니다.

3. 검출 및 복호화 과정:

   • 검증자는 이미지에서 확산 역과정 (Diffusion Inversion, 예: DDIM Inversion) 을 통해 초기 노이즈를 추정합니다.
   • 공유된 키와 논스를 사용하여 PDSR 을 역으로 수행하고, SE 템플릿을 재구성합니다.
   • 추정된 노이즈의 블록 순서와 기준 (Reference) 노이즈의 순서를 비교하여 치환 패턴을 매칭하고, 이를 통해 워터마크 존재 여부 및 페이로드를 복원합니다.

3. 주요 기여 (Key Contributions)

• 강인한 구조적 인코딩 (SE): 개별 값 의존성을 탈피하여 노이즈의 통계적 구조 (분위수 기반 블록 순서) 에 정보를 인코딩함으로써, 다양한 손실 공격 (Lossy Attacks) 에 대해 높은 강인성을 확보했습니다.
• 다양성 보존 메커니즘 (PDSR): 워터마크 인코딩으로 인한 공간적 편향을 제거하는 무작위화 전략을 도입하여, 워터마크가 적용된 이미지도 원본 확산 모델의 높은 생성 다양성을 유지하도록 했습니다.
• 모델 무손실 (Model-Free): 확산 모델의 가중치를 미세 조정 (Fine-tuning) 하지 않고, 노이즈 잠재 공간에서만 작동하므로 다양한 모델과 배포 환경에 적용 가능합니다.

4. 실험 결과 (Results)

MS-COCO 및 Stable-Diffusion-Prompts 데이터셋을 기반으로 다양한 후처리 공격 (JPEG 압축, 랜덤 크롭, 리사이징, 노이즈 추가 등) 하에서 실험을 수행했습니다.

• 강인성 (Robustness):
  • 위양성률 (FPR) $10^{-6}$에서 **진양성률 (TPR) 99.9%**를 달성했습니다.
  • 공격이 가해진 상황에서도 비트 복원 정확도 (Bit Accuracy) 가 **98.7%**에 달했으며, 기존 NaW 방법들 (Tree-Ring, Gaussian Shading 등) 보다 우수한 성능을 보였습니다.
  • 특히 가우시안 노이즈와 같은 첨가성 노이즈에 대해 기존 방법보다 훨씬 강력한 내성을 입증했습니다.
• 다양성 및 화질 (Diversity & Quality):
  • LPIPS (다양성 지표): 제안된 방법은 모든 비교 대상 중 **가장 높은 다양성 (0.7338)**을 보였습니다. 이는 PDSR 이 페이로드 편향을 효과적으로 제거했음을 의미합니다.
  • 화질 (CLIP Score, FID): 워터마크 적용으로 인한 화질 저하가 거의 없었으며 (CLIP 0.3073, FID 57.29), 원본 모델과 유사한 품질을 유지했습니다.
• 용량 확장성: 페이로드 크기를 2048 비트까지 늘려도 약 85% 의 복원 정확도를 유지하여 고용량 워터마킹 가능성도 입증했습니다.

5. 의의 및 결론 (Significance)

ShapeMark 는 생성형 AI 의 저작권 보호와 콘텐츠 출처 추적을 위한 실용적인 솔루션을 제공합니다.

• 실용성: 모델 재학습 없이 적용 가능하며, 다양한 손실 공격 환경에서도 워터마크를 신뢰할 수 있게 검출할 수 있습니다.
• 균형 달성: 기존 워터마킹 기법들이 겪었던 '강인성 vs 다양성'의 트레이드오프를 구조적 인코딩과 무작위화를 통해 성공적으로 해결했습니다.
• 적용 가능성: 플랫폼 차원의 콘텐츠 검증, 사용자 식별, 불법 재배포 추적 등 실제 AIGC 파이프라인에 통합되어 AI 생성 콘텐츠의 책임성 (Accountability) 을 확보하는 데 기여할 것으로 기대됩니다.

이 연구는 AI 생성 콘텐츠의 신뢰성을 높이는 동시에, 생성 모델의 본질적인 장점인 창의적 다양성을 훼손하지 않는 새로운 패러다임을 제시했다는 점에서 중요한 의미를 가집니다.