Breaking Semantic-Aware Watermarks via LLM-Guided Coherence-Preserving Semantic Injection

이 논문은 대규모 언어 모델 (LLM) 의 구조적 추론 능력을 활용하여 이미지의 전역적 일관성을 유지하면서 워터마크 바인딩을 무력화하는 '일관성 유지 의미 주입 (CSI)' 공격을 제안함으로써, 현재 의미 기반 워터마킹 기법이 LLM 기반 의미 조작에 취약하다는 근본적인 보안 약점을 규명합니다.

핵심

🎨 배경: AI 그림과 '보이지 않는 도장'

요즘 SNS 에는 AI 가 그린 그림이 넘쳐납니다. "이 그림이 진짜 사람이 그린 건가, AI 가 그린 건가?"를 구별하기 위해, 연구자들은 그림 속에 **보이지 않는 '디지털 도장' (워터마크)**을 심었습니다.

• 옛날 방식 (노이즈 기반): 그림의 픽셀 미세한 부분이나 '잡음'에 도장을 숨겼습니다. 하지만 이 방식은 그림을 조금만 다듬거나 압축해도 도장이 지워지거나, 반대로 도장을 찾아내서 그림을 위조할 수 있었습니다.
• 새로운 방식 (의미 기반): 그래서 연구자들은 도장을 그림의 **'의미'**와 연결했습니다. 예를 들어, "고양이"라는 도장은 그림 속의 실제 고양이 모양과 딱 맞아떨어져야만 유효한 도장으로 인정받게 만든 것입니다. 이렇게 하면 그림의 모양을 함부로 바꾸면 도장이 깨지기 때문에 위조가 어렵다고 생각했습니다.

🕵️‍♂️ 문제: "의미"를 지키면서 "속임수"를 치는 방법

하지만 이 논문은 **"그 '의미 기반 도장'도 최신 AI(대형 언어 모델, LLM) 앞에서는 무력하다"**라고 주장합니다.

여기서 등장하는 주인공은 **LLM(지능형 언어 AI)**입니다. 이 AI 는 단순히 글을 쓰는 것을 넘어, "어떻게 하면 그림의 의미는 그대로 유지하면서, 도장을 감출 수 있을까?"를 논리적으로 추론할 수 있습니다.

💡 해결책: 'CSI(의미 보존 주입)' 공격

저자들이 개발한 공격 방법의 이름은 **CSI(의미 보존 주입)**입니다. 이를 가상의 비유로 설명해 보겠습니다.

🏰 비유: "성벽을 지키는 경비원 vs 지혜로운 도둑"

1. 상황:

   • 성 (그림): AI 가 그린 아름다운 성입니다.
   • 경비원 (워터마크): 성의 문에 "이 성은 A 가 지었다"는 도장이 찍혀 있습니다. 하지만 이 도장은 성의 모양과 연결되어 있어서, 성의 모양을 조금만 바꿔도 도장이 "위조"라고 경보를 울립니다.
   • 도둑 (공격자): 이 성의 도장을 지우고 싶지만, 성의 모양을 너무 크게 바꾸면 경비원이 잡습니다.

2. 옛날 도둑 (기존 공격법):

   • 성의 벽을 무작위로 부수거나, 성을 완전히 다른 건물로 바꾸려 했습니다.
   • 결과: 경비원이 "이건 성이 아니야!"라고 외치며 도둑을 잡습니다. (도장 검증 실패)

3. 지혜로운 도둑 (이 논문의 CSI 공격):

   • 이 도둑은 **지능형 AI(LLM)**를 고용했습니다.
   • 작전: "성벽을 부수지 말고, 성 안의 장식품만 살짝 바꿔보자."
   • AI 는 이렇게 말합니다. "성벽 (주요 의미) 은 그대로 두되, 창문 모양을 '원형'에서 '사각형'으로 바꾸고, 성의 색감을 살짝 바꾸면 어떨까요? 성의 정체성은 그대로인데, 도장이 인식하는 미세한 패턴은 완전히 달라집니다."
   • 결과: 경비원은 "아, 성의 모양은 그대로네? 도장도 유효해 보인다"라고 착각합니다. 하지만 사실 도둑은 성의 내부 구조를 완전히 바꿔치기한 것입니다.

📊 실험 결과: 도둑의 승리

연구자들은 이 방법을 실제로 테스트했습니다.

• 기존 보안 시스템 (SEAL 등): 가장 최신의 '의미 기반 도장' 시스템조차 이 지능형 도둑 앞에서 81% 의 확률로 속아넘어갔습니다.
• 기존 공격법: 다른 공격 방법들은 0~7% 만 성공했습니다.
• 결론: "의미가 일치한다"는 조건을 지키면서도 도장을 무력화시킬 수 있다는 것이 증명되었습니다.

🚨 결론: 무엇을 의미하나요?

이 논문의 핵심 메시지는 다음과 같습니다.

"우리는 AI 가 만든 그림의 진위를 확인하기 위해 '의미'를 도장에 연결했다고 생각했지만, AI(언어 모델) 는 그 '의미'를 아주 정교하게 변조하면서도 도장이 깨지지 않게 할 수 있습니다."

이는 마치 가짜 지폐를 만들 때, 진짜 지폐의 디자인 (의미) 은 그대로 유지하되, 위조 방지선 (도장) 만은 완벽하게 제거하는 기술이 개발된 것과 같습니다.

따라서 앞으로는 단순히 '의미'만 연결하는 방식으로는 AI 그림의 저작권을 보호하기 어렵고, 더 강력하고 복잡한 새로운 보안 시스템이 필요하다는 경고를 보내는 연구입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 생성형 AI(확산 모델 등) 에 의해 생성된 이미지가 소셜 미디어와 저작권 관리 환경에서 급증함에 따라, 콘텐츠의 출처 추적 및 위조 방지를 위한 워터마킹 기술이 필수적이 되었습니다.
• 기존 워터마킹의 한계:
  • 노이즈 기반 워터마킹 (CIW): 초기 노이즈에 신호를埋設하는 방식 (Tree-Ring, Gaussian Shading 등) 은 시각적 품질은 유지하지만, 역추적 공격 (Inversion Attack) 에 취약하여 신호를 쉽게 복원할 수 있습니다.
  • 의미 인식 워터마킹 (CSW): 이를 보완하기 위해 이미지 의미 (Semantic) 와 노이즈를 강하게 결합한 방식 (예: SEAL) 이 등장했습니다. 이는 공격자가 워터마크를 제거하려면 이미지의 전역적 의미 (Global Coherence) 를 해치지 않으면서 국소적 속성을 변경해야 하므로 공격이 어렵다고 가정했습니다.
• 핵심 문제: 대규모 언어 모델 (LLM) 은 구조화된 추론 능력을 통해 **이산적인 프롬프트 공간 (Discrete Prompt Space)**에서 국소적으로 세밀하지만 전역적으로 일관된 의미적 변형을 탐색할 수 있습니다. 기존 워터마킹 설계는 이러한 LLM 기반의 지능적 의미 조작에 대한 취약점을 간과하고 있습니다.

2. 제안 방법: CSI (Coherence-Preserving Semantic Injection)

저자들은 LLM 의 능력을 활용하여 의미 인식 워터마크를 우회하는 CSI(일관성 유지 의미 주입) 공격 기법을 제안했습니다. 이 방법은 크게 두 가지 핵심 단계로 구성됩니다.

A. 의미 일관성 조작을 통한 적대적 의미 주입 (ASI - Adversarial Semantic Injection)

• 목표: 워터마크 검출기를 속이면서 (워터마크가 존재하는 것으로 판별되도록) 이미지의 국소적 속성을 변경하는 것입니다.
• LLM 기반 최적화: 이산적인 토큰 공간에서 복잡한 제약 조건 하에 직접 최적화하는 것은 불안정하므로, LLM 을 '블랙박스 제안자'로 활용합니다.
  • 메타 프롬프트: LLM 에게 "주요 주제 (Anchor) 는 유지하되, 특정 속성 (Modification Target) 만 미세하게 변경하여 전체 의미는 일관되게 유지하라"는 지시를 내립니다.
  • 노이즈 재사용: 원본 워터마크가 포함된 노이즈 스케줄을 복사하여 (DDIM inversion 및 Noise copying) 새로 생성된 이미지가 워터마크 검출기의 '노이즈 - 의미 정합성' 조건을 만족하도록 합니다.

B. 일관성 기반 계층적 필터링 (CHF - Consistency-Based Hierarchical Filtering)

LLM 이 생성한 후보 프롬프트들을 단계적으로 필터링하여 공격 성공 확률을 높입니다.

1. 텍스트 의미 필터링: 원본 프롬프트의 주요 객체 (Global Anchors) 를 유지하는지 텍스트 임베딩 유사도로 확인.
2. 시각적 앵커 필터링: 필터링된 프롬프트로 이미지를 재생성 후, BLIP 모델을 통해 캡션을 추출하여 원본의 주요 객체가 시각적으로 유지되었는지 확인.
3. CSW 의미 정합성 필터링: 재생성된 이미지와 복사된 노이즈 간의 의미 정합성 (Semantic Alignment) 을 계산하여 워터마크 검출 조건을 만족하는지 최종 확인.

3. 주요 기여 (Key Contributions)

1. 새로운 공격 프레임워크 (CSI) 제안: LLM 의 추론 능력을 활용하여 의미 인식 워터마크 (CSW) 의 취약점을 체계적으로 규명하고, 전역적 일관성을 유지한 채 국소적 의미만 조작하는 공격 기법을 최초로 제시했습니다.
2. 기존 보안 가정의 붕괴 증명: LLM 기반의 의미 조작이 기존 워터마킹 설계의 핵심 전제 (공격자가 의미 일관성을 유지하며 워터마크를 제거하는 것은 불가능하다는 가정) 를 근본적으로 무너뜨린다는 것을 실험적으로 입증했습니다.
3. 강력한 우회 능력: 기존 공격 기법들이 실패한 최신 의미 인식 워터마크 (SEAL) 에 대해서도 높은 성공률을 기록하며, 차세대 워터마킹 설계의 필요성을 제기했습니다.

4. 실험 결과 (Results)

실험은 Stable Diffusion V2 를 생성 모델로, GPT-4o-mini 를 LLM 으로 사용하여 수행되었습니다.

• 공격 성공률 (ASR, Attack Success Rate):
  • 기존 워터마크 (CIW): Gaussian Shading, Tree-Ring, WIND 등 기존 노이즈 기반 워터마크에 대해 모든 공격 기법 (LFA, RPM, CSI) 이 **100%**에 가까운 성공률을 보였습니다.
  • 의미 인식 워터마크 (SEAL):
    • 기존 공격 (RPM, LFA): 성공률 0% ~ 7% (완전한 실패).
    • 제안된 CSI 공격: 성공률 **81%**를 기록하여, 기존 방법 대비 압도적인 성능을 보였습니다.
• 검출 지표 분석:
  • TRW: L1 거리 (Reconstructed vs Reference noise) 가 검출 임계값 (77.00) 보다 훨씬 낮은 47.42 로 유지됨.
  • SEAL: 패치 매칭 수 (Patch Match) 가 임계값 (12) 보다 훨씬 높은 134.8 로 유지됨.
  • GSW: 워터마크 정확도 (Accuracy) 가 1.00 으로 완벽하게 유지됨.
• 의미 일관성 (FID 분석):
  • 제약 없는 재생성 (RPM) 은 FID 가 235.4 로 의미적 붕괴가 심함.
  • **CSI (LLM 제약)**는 FID 가 178.75로, 원본 분포 (SEAL 의 164.27) 에 매우 근접하여 의미적 일관성을 성공적으로 유지했음을 증명.

5. 의의 및 결론 (Significance & Conclusion)

• 보안 취약점의 발견: 현재 널리 사용되거나 연구 중인 의미 인식 워터마킹 기술조차 LLM 이 주도하는 의미적 조작 (Semantic Perturbation) 에 취약하다는 근본적인 보안 허점을 발견했습니다.
• 미래 방향성 제시: 단순한 노이즈 기반의 보호를 넘어, 의미 수준 (Semantic Level) 의 적대적 공격을 방어할 수 있는 계층적이고 더 강력한 워터마킹 메커니즘의 개발이 시급함을 강조합니다.
• 기술적 함의: 생성형 AI 의 발전에 따라 콘텐츠 진위성 검증 기술은 단순한 신호 처리를 넘어, 의미론적 일관성을 유지하는 복잡한 최적화 문제를 해결할 수 있는 새로운 방어 체계가 필요함을 시사합니다.

이 논문은 LLM 이 디지털 콘텐츠의 무결성을 위협할 수 있는 새로운 차원의 공격 벡터를 제시함으로써, AI 기반 워터마킹 기술의 재설계가 필요함을 강력하게 경고하고 있습니다.