When Denoising Becomes Unsigning: Theoretical and Empirical Analysis of Watermark Fragility Under Diffusion-Based Image Editing

이 논문은 확산 기반 이미지 편집 기술이 고안된 무결성 유지 목적과 달리, 역방향 생성 과정에서 워터마크 신호를 노이즈로 간주하여 제거함으로써 기존 robust 워터마킹 시스템의 무결성을 이론적 및 실증적으로 붕괴시킨다는 점을 규명하고, 이에 대한 윤리적 함의와 새로운 설계 지침을 제시합니다.

핵심

🎨 1. 배경: 보이지 않는 낙인과 마법 같은 그림 그리기

• 디지털 워터마크 (보이지 않는 낙인):
  과거에는 사진에 저작권을 표시하기 위해 눈에 보이지 않는 작은 '낙인'을 찍었습니다. 이는 마치 투명한 잉크로 사진 구석에 "이건 내 거야"라고 써두는 것과 같습니다. 보통 사진이 잘리거나, 압축되거나, 색이 조금 변해도 이 낙인은 남아있도록 설계되었습니다.
• 확산 기반 이미지 편집 (마법 같은 그림 그리기):
  최근에는 '디퓨전 (Diffusion)'이라는 AI 기술로 사진을 편집합니다. 이는 단순히 사진을 자르거나 색을 바꾸는 게 아니라, 사진을 '연기'로 만들어버린 뒤, 다시 그 연기를 보고 새로운 그림을 그려내는 과정입니다. 사용자의 명령 (예: "이 고양이에게 선글라스를 씌워줘") 을 들으면 AI 는 원래 사진을 완전히 해체하고, 새로운 그림을 다시 합성합니다.

💥 2. 문제: "지우기"가 아니라 "다시 그리기"의 함정

이 논문이 발견한 놀라운 사실은 다음과 같습니다.

"AI 가 사진을 편집할 때, 보안 마크를 지우려고 의도한 게 아니더라도, 마크가 자연스럽게 사라져버린다."

비유로 설명하자면:

• 기존 방식 (JPEG, 자르기 등): 사진에 낙인이 찍힌 종이를 구기거나, 테이프를 붙였다 떼는 것과 비슷합니다. 낙인이 조금 찌그러질 수는 있지만, 여전히 남아있습니다.
• 새로운 방식 (AI 편집): 사진이 찍힌 종이를 물속에 완전히 녹여버린 뒤, 그 물에서 새로운 종이를 다시 뽑아내는 것과 같습니다.
  • AI 는 "이게 고양이야"라는 의미 (의미) 는 기억하고 새 그림을 그립니다.
  • 하지만 "이곳에 투명 잉크 낙인이 있었지"라는 **미세한 흔적 (노이즈)**은 AI 가 "이건 그냥 잡음 (소음) 이야"라고 생각해서 깨끗이 제거해버립니다.

🔬 3. 연구 결과: 마크는 어떻게 사라질까?

저자들은 이 현상을 수학적으로 증명했습니다.

1. 소음의 침입: AI 는 편집 과정에서 사진에 거대한 '소음 (Noise)'을 섞습니다. 마치 커피에 물을 너무 많이 부어 커피 향을 희석시키는 것과 같습니다.
2. 재합성의 과정: AI 는 이 소음이 섞인 상태에서 다시 깨끗한 그림을 그려냅니다. 이때 AI 는 "자연스러운 그림"을 그리려고 노력하므로, 인위적으로 넣은 미세한 낙인 (워터마크) 을 '불필요한 잡음'으로 판단하고 버립니다.
3. 결과: 편집이 강할수록 (예: 고양이 위치를 완전히 바꾸거나, 배경을 새로 그릴수록), 워터마크를 읽을 확률은 동전 던지기 (50%) 수준까지 떨어집니다. 즉, 마크가 있는지 없는지 알 수 없게 됩니다.

📊 4. 실험 내용 (가상의 시나리오)

논문에서는 여러 최신 AI 편집기 (TF-ICON, SHINE, DragFlow 등) 와 다양한 워터마크 기술 (StegaStamp, TrustMark 등) 을 섞어보았습니다.

• 결과: 기존에 "강력하다"고 알려진 워터마크 기술들도 AI 편집을 거치면 대부분 무너졌습니다.
• 흥미로운 점: 편집된 사진은 시각적으로 매우 완벽하고 아름다웠습니다. 하지만 그 완벽한 그림 속에는 원래 사진의 '신원 정보 (워터마크)'는 완전히 사라져 있었습니다.

💡 5. 우리가 배워야 할 교훈 (해결책 제안)

이 연구는 "AI 가 나쁘다"라고 말하는 것이 아니라, **"기존 보안 방식으로는 AI 시대를 대비할 수 없다"**는 것을 경고합니다.

1. 단순한 낙인은 부족하다: 더 이상 사진 구석에 작은 점을 찍는 방식으로는 보안을 지킬 수 없습니다.
2. 새로운 접근법 필요:
   • 의미 기반 마킹: 그림의 '내용' 자체에 정보를 숨겨야 합니다 (예: 고양이의 귀 모양에 정보를 담는 등).
   • 편집 기록 남기기: 워터마크가 사라질 수 있으므로, "이 사진이 AI 로 편집되었다"는 사실 자체를 기록하고 추적하는 시스템이 필요합니다.
3. 윤리적 고려: 이 기술은 해커가 저작권을 뺏기 위해 악용할 수도 있지만, 동시에 우리가 AI 시대에 어떻게 콘텐츠를 보호할지 방어책을 마련하는 데 필수적입니다.

🏁 요약

"AI 가 사진을 마법처럼 다시 그릴 때, 그 과정에서 사진에 숨겨진 '보안 낙인'은 마치 연기가 바람에 흩어지듯 사라져버립니다. 우리는 이제 사진의 '내용'이 아니라, 그 사진이 어떻게 만들어졌는지 기록하는 새로운 보안 시스템을 고민해야 합니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 디지털 워터마킹은 콘텐츠의 출처 증명, 저작권 보호, 진위 확인을 위한 핵심 기술로, JPEG 압축, 자르기, 노이즈 추가와 같은 전통적인 후처리 작업에서도 복호화 가능한 '강건한 (Robust)' 워터마크를 목표로 합니다.
• 새로운 위협: 최근 확산 모델 (Diffusion Models) 기반의 이미지 편집 기술 (지시어 기반 편집, 객체 삽입, 기하학적 조작 등) 이 급격히 발전했습니다. 이러한 편집은 단순한 신호 변형이 아니라, 학습된 자연 이미지 매니폴드 (Manifold) 상으로 이미지를 재합성 (Re-synthesis) 하는 과정입니다.
• 핵심 문제: 본 논문은 확산 기반 편집 프로세스가 명시적으로 전통적인 왜곡에 견디도록 설계된 강력한 워터마크를 의도치 않게 손상시키거나, 극단적인 경우 실질적으로 우회 (Bypass) 시킬 수 있음을 지적합니다. 즉, 편집자의 의도와 상관없이 '노이즈 제거 (Denoising)' 과정이 워터마크 신호를 '불필요한 노이즈'로 간주하여 제거해버리는 현상이 발생합니다.

2. 방법론 (Methodology)

저자는 확산 기반 편집을 워터마크 관점에서 다음과 같이 모델링하고 분석합니다.

• 확산 편집의 스토캐스틱 채널 (Stochastic Channel) 모델링:
  • 편집 과정을 (1) 잠재 공간 (Latent Space) 에 가우시안 노이즈를 주입하는 단계와 (2) 학습된 역방향 확산 (Reverse Denoising) 을 통해 자연 이미지 매니폴드로 투영하는 단계로 분해합니다.
  • 워터마크는 저에너지 고주파 신호로 구현되는데, 전방향 확산 (Forward Diffusion) 단계에서 이 신호가 체계적으로 감쇠 (Attenuation) 되고, 역방향 생성 과정에서 '불필요한 변동 (Nuisance variation)'으로 간주되어 제거됩니다.
• 정보 이론적 분석:
  • 워터마크 페이로드와 편집된 출력 간의 상호 정보량 (Mutual Information) 을 분석합니다.
  • 이론적 증명: 피크셀 레벨 워터마크 인코더/디코더의 광범위한 클래스에 대해, 편집 강도가 증가함에 따라 상호 정보량이 0 으로 수렴함을 증명합니다. 이는 복호화 오류가 무작위 추측 (Random Guessing) 에 가까워짐을 의미합니다.
• 실험 프로토콜:
  • 데이터셋: W-EDITBENCH (MS-COCO 및 DiffusionDB 기반).
  • 워터마크 방법: StegaStamp, TrustMark, VINE (확산 기반), HiDDeN 등.
  • 편집 도구: TF-ICON (학습 없는 합성), SHINE (강력한 DiT/Flow 사전), DragFlow (인터랙티브 드래그), InstructPix2Pix 등.
  • 평가 지표: 비트 정확도 (Bit Accuracy) 와 편집된 이미지 간의 시각적 충실도 (PSNR, SSIM, LPIPS). 특히 워터마크가 포함된 편집 결과 ($y_{wm}$) 와 워터마크가 없는 동일 편집 결과 ($y_{clean}$) 를 비교하여 편집 자체의 왜곡과 워터마크 손실을 분리합니다.

3. 주요 기여 (Key Contributions)

1. 확산 편집의 수식화: 확산 기반 편집을 '노이즈 주입 + 매니폴드 투영'의 확률적 연산자로 공식화하고, 어떤 단계가 픽셀 단위 워터마크에 가장 치명적인지 규명했습니다.
2. 정보 이론적 증명: 확산 편집 하에서 워터마크 정보가 수축 (Contraction) 하여 복호화 오류가 무작위 추측 수준으로 떨어지는 것을 수학적으로 증명했습니다.
3. 재현 가능한 실험 프로토콜 제안: 다양한 워터마킹 기법과 최신 확산 편집 도구를 대상으로 한 체계적인 스트레스 테스트 프로토콜과 가상의 실험 결과를 제시했습니다.
4. 실천적 가이드라인: 생성형 변환 시대에 의미 있는 워터마킹을 위한 설계 가이드라인과 윤리적 고려사항을 제시했습니다.

4. 실험 결과 (Results)

가상의 실험 데이터 (Hypothetical Tables) 를 통해 다음과 같은 경향성을 확인했습니다.

• 전통적 왜곡 vs. 확산 편집:
  • 모든 워터마크 기법 (StegaStamp, TrustMark 등) 은 JPEG, 리사이즈 등 전통적 왜곡에서는 90% 이상의 높은 비트 정확도를 보였습니다.
  • 반면, 확산 기반 편집 (TF-ICON, SHINE, DragFlow 등) 을 적용하면, **약한 편집 강도 (Low)**에서도 비트 정확도가 급격히 하락하여 **중간~강한 편집 (Med/High)**에서는 50% (무작위 추측 수준) 에 근접했습니다.
• VINE 의 한계: 확산 모델의 사전 지식 (Prior) 을 활용한 VINE 이 기존 방법들보다 더 강건했으나, 편집 강도가 높아지면 여전히 성능이 크게 저하되었습니다.
• 시각적 충실도: 워터마크가 제거된 경우와 제거되지 않은 경우의 편집 결과물 ($y_{wm}$ vs $y_{clean}$) 은 시각적으로 거의 구별되지 않았습니다 (높은 PSNR, 낮은 LPIPS). 이는 이미지의 의미는 유지되지만 워터마크 신호만 제거됨을 의미합니다.
• UNet vs. DiT: UNet 기반 편집기보다 강력한 생성 사전 (Stronger Priors) 을 가진 DiT(Transformer) 기반 편집기 (DragFlow 등) 가 워터마크를 더 강력하게 제거하는 경향을 보였습니다. 이는 매니폴드 투영이 더 결정적이기 때문입니다.
• 노이즈 수준과 정보 손실: 확산 노이즈 수준 (timestep) 이 증가할수록 워터마크 복원률은 기하급수적으로 감소했습니다.

5. 의의 및 시사점 (Significance & Discussion)

• 패러다임의 전환 필요: "전통적 왜곡에 강건한 것"은 더 이상 충분하지 않습니다. 생성형 AI 가 이미지를 재합성하는 과정 자체가 워터마크를 무효화할 수 있음을 인정해야 합니다.
• 설계 가이드라인:
  • 잠재 공간 (Latent Space) 워터마킹: 픽셀 레벨이 아닌 확산 모델의 잠재 공간에 워터마크를 임베딩하는 것이 더 유리할 수 있습니다.
  • 의미론적 워터마킹: 픽셀 수준의 신호 대신 모델 레벨이나 의미론적 (Semantic) 인 메타데이터를 활용한 출처 증명이 필요합니다.
  • 변환 감지: 워터마크가 사라졌을 때 이를 '위조'로 간주하기보다, '확산 편집이 적용됨'을 감지하고 출처를 불분명 (Ambiguous) 하게 처리하는 시스템적 접근이 필요합니다.
• 윤리적 고려: 이 연구는 워터마크 제거 공격법을 제공하는 것이 아니라, 취약성을 이해하고 방어 체계를 강화하기 위한 것입니다. 또한, 의도치 않은 편집으로 인한 워터마크 손실이 발생할 수 있으므로, 플랫폼 정책과 출처 증명 시스템은 이를 고려하여 설계되어야 합니다.

결론적으로, 본 논문은 확산 기반 이미지 편집이 워터마크의 강건성에 대해 근본적인 위협이 되며, 단순한 신호 강화가 아닌 생성 모델의 특성을 고려한 새로운 차원의 워터마킹 및 출처 증명 체계가 필요함을 강력하게 주장합니다.