SemBind: Binding Diffusion Watermarks to Semantics Against Black-Box Forgery Attacks

기술 요약: SemBind – 블랙박스 위조 공격에 대응하여 디퓨전 워터마크를 의미론적 정보에 결합하기

문제 정의

잠재 공간 기반 워터마크(Latent-based watermarks)는 잠재 확산 모델(LDM)의 초기 노이즈에 정보를 삽는 방식으로, 이미지 출처 확인 및 저작권 보호를 위한 강력한 방법을 제공한다. 이 방식은 미탐지성(통계적으로 워터마크가 없는 출력물과 구별할 수 없음)과 일반적인 이미지 변형에 대한 강건성을 갖추고 있어 선호된다. 그러나 이러한 체계는 **블랙박스 위조 공격(black-box forgery attacks)**이라는 치명적인 취약점에 직면해 있다.

이러한 공격에서 공격자는 제공자의 모델에 대한 블랙박스 접근 권한과 최소 하나 이상의 워터마크가 포함된 이미지를 가지고, 서로 다른 프롬프트나 다른 모델을 통해 생성된 부당한 콘텐츠로 워터마크를 전이시킨다. 두 가지 주요 전략은 다음과 같다:

1. 임프린팅(Imprinting): 공격자는 타겟 이미지의 잠재 변수(latent)에 섭동(perturbation)을 최적화하여, 프록시 모델을 통해 역전(invert)했을 때 탈취한 워터마크 잠재 변수와 일치하도록 만든다.
2. 리프롬프팅(Reprompting): 공격자는 워터마크가 포함된 이미지에서 역전된 초기 잠재 변수를 재사용하여, 서로 다른 (잠재적으로 악의적인) 프롬프트로 새로운 이미지를 생성한다.

현재의 방어 기제들은 효과적이지 않은데, 이는 잠재 기반 워터마크가 순수하게 초기 노이즈에 존재하기 때문이다. 자연스러운 섭동에 대한 강건성을 강화하면 의도치 않게 위조된 잠재 변수에 대한 허용도가 높아지며, 이는 한 쪽의 지표를 개선하면 다른 쪽의 보안성이 저하되는 트레이드오프(trade-off)를 발생시킨다.

방법론: SemBind

저자들은 잠재 워터마크 신호를 이미지의 의미론적 내용(semantics)에 결합함으로써 블랙박스 위조에 저항하도록 설계된 최초의 방어 프레임워크인 SemBind를 제안한다. 핵심 메커니즘은 생성된 이미지의 의미론적 콘텐츠에 따라 워터마크가 포함된 잠재 변수를 조절하는 **학습된 의미론적 마스커(learned semantic masker)**이다.

1. 의미론적 마스커 구조 및 학습

• 구조: 마스커 $f_\theta$는 동결된(frozen) 의미론적 이미지 인코더(예: DINOv2-Giant)와 경량화된 MLP 기반 해싱 네트워크의 결합으로 구성된다. 이는 이미지 $x$를 이진 코드 $m \in \{0, 1\}^B$로 매핑한다.
• 학습 목표: 마스커는 프롬프트 조건부 이미지 코퍼스를 사용하여 **대조 학습(contrastive learning)**을 통해 학습된다. 목표는 다음과 같은 결과를 도출하는 것이다:
  • 동일한 프롬프트에서 생성된 이미지들에 대해 근사 불변 코드(near-invariant codes) 생성 (낮은 해밍 거리).
  • 서로 다른 프롬프트의 이미지들에 대해 근사 직교 코드(near-orthogonal codes) 생성 (해밍 거리 $\approx B/2$).
• 2단계 학습:
  • 1단계: 정규화된 특징(features)에 대한 지도 대조 손실(supervised contrastive loss)을 사용하여 압축 가능하고 클러스터링 가능한 표현 공간을 학습한다.
  • 2단계: 코드 공간에서의 대조 손실과 양자화, 비트 균형, 탈상관성(decorrelation), 일관성을 위한 정규화 항을 사용하여 이러한 특징들을 이진 코드로 양자화하는 해드(hash head)를 학습한다.

2. 임베딩 절차
워터마크를 임베딩할 때, SemBind는 기존의 워터마킹 방식(예: Tree-Ring, Gaussian Shading)을 변경하지 않는다. 대신 다음 과정을 거친다:

1. 제공자는 대상 프롬프트에 대해 디퓨전 모델을 사용하여 보조적인 깨끗한 이미지 $x$를 생성한다.
2. 의미론적 마스커가 이진 코드 $m = f_\theta(x)$를 추출한다.
3. 이 코드는 타일링(tiling), 비율 선택(파라미터 $\sigma$에 의해 제어됨), 그리고 비밀 키를 이용한 치환(permutation)을 통해 공간 마스크로 확장된다.
4. 결과물인 부호 마스크 $S(x; \sigma, K_{perm}) \in \{-1, +1\}^{C \times H \times W}$는 표준 워터마크가 포함된 초기 잠재 변수 $z_T^{(w)}$와 요소별 곱(element-wise multiplication)을 수행한다:
   $$z_T^{(w, sem)} = S(x; \sigma, K_{perm}) \odot z_T^{(w)}$$
5. 디노이징 스케줄러는 이 조절된 잠재 변수로부터 최종 이미지를 생성하는 과정을 진행한다.

3. 추출 절차
검증 시에는 다음을 수행한다:

1. 검증자는 동일한 의미론적 마스커를 사용하여 워터마크가 포함된 이미지 $\hat{x}$로부터 이진 코드를 추출하여 마스크 $\hat{S}$를 재구성한다.
2. 이미지를 역전(invert)하여 초기 잠재 변수 $\hat{z}_T^{(w, sem)}$를 추정한다.
3. 마스크를 곱함으로써 의미론적 조절을 제거한다: $\hat{z}_T^{(w)} = \hat{S} \odot \hat{z}_T^{(w, sem)}$.
4. 기존의 워터마크 디코더가 $\hat{z}_T^{(w)}$를 처리하여 메시지를 추출한다.

방어 메커니즘: 만약 공격자가 다른 의미론(다른 프롬프트)을 가진 이미지를 위조하려고 시도하면, 재구성된 마스크 $\hat{S}$가 원래의 조절 마스크와 일치하지 않게 된다. 이 불일치는 강력한 섭동을 유발하여, 설령 잠재 구조가 탈취한 워터마크와 유사하더라도 워터마크 추출을 실패하게 만든다.

주요 기여

1. 블랙박스 위조에 대한 첫 번째 방어: SemBind는 생성 능력의 저하 없이 잠재 기반 워터마크를 블랙박스 위조 공격으로부터 보호하도록 설계된 최초의 프레임워크이다.
2. 대조 학습을 통한 의미론적 결합: 이미지의 의미론에 잠재 신호를 결합하는 학습된 의미론적 마스커를 도입하여, 워터마크가 원래의 생성 맥락과 일치하는 이미지에서만 유효하도록 보장한다.
3. 이론적 미탐지성 보존: 저자들은 미탐지성이 증명 가능한 방식(예: Gaussian Shading, PRC)에 대해 SemBind 변형이 이 보장을 유지함을 이론적으로 증명한다. 부호 마스크가 독립적이고 $\{-1, +1\}$ 값을 가지므로, 가우시안 분포를 따르는 잠재 변수에 이 마스크를 곱해도 분포는 불변한다.
4. 조절 가능한 트레이드오프: 단일 파라미터인 **마스크 비율($\sigma$)**을 통해 사용자는 안티-포저리(anti-forgery) 강도와 자연스러운 왜곡에 대한 강건성 사이의 균형을 제어할 수 있다.

실험 결과

저자들은 네 가지 대표적인 잠재 기반 방식(Tree-Ring, Gaussian Shading, PRC, Gaussian Shading++)에 대해 SemBind를 평가하였다.

• 이미지 품질: SemBind는 베이스라인과 대등한 이미지 품질을 유지한다. FID 및 CLIP 점수는 통계적으로 유의미한 저하를 보이지 않았다(t-검정을 통해 원본 SD 2.1 출력과 구별 불가능함이 확인됨). Tree-Ring의 경우, SemBind가 오히려 FID를 약간 개선하기도 했다.
• 임프린팅 방어:
  • "매치(match)" 시나리오(공격자가 동일한 모델 SD 2.1 사용)에서, SemBind는 Tree-Ring 및 Gaussian Shading의 탐지율을 약 100%에서 10% 미만으로 낮추었으며, 비트 정확도는 무작위 추측 수준(~0.5)으로 떨어졌다.
  • "미스매치(mismatch)" 시나리오(공격자가 SD 1.5 사용)에서, 모든 방식에서 탐지율이 거의 0에 수렴했으며 비트 정확도는 0.5에 근접했다.
• 리프롬프팅 방어: SemBind는 모든 방식과 데이터셋(SDP 및 COCO)에서 탐지율을 40% 이상, 비트 정확도를 최소 25% 이상 감소시켰다. 미스매치 설정에서 위조된 이미지는 거의 수용되지 않았다.
• 강건성: SemBind는 일반적인 섭동(JPEG 압축, 노이즈, 블러 등)에 대해 약간의 강건성 저하만을 유발한다. 높은 베이스라인 강건성을 가진 방식(Tree-Ring, Gaussian Shading)은 원본 성능을 거의 유지했으나, 상대적으로 약한 베이스라인을 가진 방식(PRC, Gaussian Shading++)은 적절한 수준의 저하(탐지율 3~5% 하락)를 보였다.

의의 및 주장

본 논문은 SemBind가 잠재 기반 워터마킹의 강건성과 보안성 사이의 근본적인 긴장 관계를 해결한다고 주장한다. 이미지를 의미론에 결합함으로써, 공격자가 워터마크를 다른 콘텐츠로 전이하는 것을 방지하여 블랙박스 위조를 효과적으로 무력화한다.

결정적으로, 저자들은 SemBind가 기존 방식의 증명 가능한 미탐지성을 보존한다는 점을 강조한다. 이는 워터마크를 강화하려는 기존의 시도들이 책임 있는 AI 배포에 필요한 통계적 불가시성을 훼손했던 것과 대조되는 중요한 진전이다. 이 프레임워크는 기존의 잠재 기반 워터마킹 방법들과 호환되는 범용적인 플러그인 방어책으로 제시되며, 마스크 비율 파라미터를 통해 보안성과 강건성 사이의 조절 가능한 트레이드오프를 제공한다.