기술 요약: AnchorMark

문제 정의

확산 모델(diffusion models)을 위한 인버전 기반 워터마킹은 초기 잠재 공간(initial latent space)에 직접 페이로드를 삽text하여, 생성 과정 중에 워터마크가 형성되도록 하며 디퓨전 인버전을 통해 생성기 재학습 없이도 워터마크를 복구할 수 있게 합니다. 이러한 방식은 일반적인 비기하학적 왜곡에는 효과적이지만, **회전 공격(rotation attacks)**에 대해 근본적인 실패 모드를 보입니다.

기존의 인버전 기반 멀티 비트 방식은 페이로드 비트를 공간적으로 인덱싱된 잠재 캐리어(latent carriers)와 연관시킵니다. 이미지가 회전하면, 복구된 잠재 공간과 예상되는 비트 위치 사이의 공간적 대응 관계가 깨지게 됩니다. 이 문제에 대한 기존의 접근 방식은 다음 두 가지 범주로 나뉩니다:

1. 학습된 동기화기(Learned synchronizers): 보조 네트워크를 사용하여 변환을 추정하지만, 추가적인 학습이 필요하며 특정 아키텍처나 공격 분포에 의존할 수 있습니다.
2. 회전 불변 스펙트럼 설계(Rotation-invariant spectral designs): 워터마크의 존재를 탐지하기 위해 방향 민감성을 억제하지만, 멀티 비트 페이로드 추적에 필요한 순차적 대응 관계를 복구하는 데는 실패합니다.

결과적으로, 기하학적 변환 하에서 인버전 기반 워터마크를 동기화할 수 있는 가볍고 모듈화되었으며 학습이 필요 없는 메커니즘이 부재한 상황입니다.

방법론: AnchorMark

저자들은 학습이 필요 없는(training-free), 강건한 인버전 기반 워터마킹 프레임워크인 AnchorMark를 제안합니다. 이 방법의 핵심은 **회전 동기성(Rotation Synchrony)**이라 명명된, 새롭게 식별된 디퓨전 잠재 공간의 구조적 특성에 기초합니다.

1. 회전 동기성 (Rotation Synchrony)

본 논문은 이미지 도메인의 회전이 복구된 초기 잠재 공간에서도 동일한 각도 회전을 유도한다는 점을 입증합니다. 형식적으로, 각도 $\alpha$만큼 회전된 생성 이미지 $I$에 대해, 복구된 초기 잠재 공간 $\hat{x}_T(\alpha)$는 다음과 같은 관계를 근사적으로 만족합니다:
$$\hat{x}_T(\alpha) \approx R_\alpha x_T$$
여기서 $R_\alpha$는 회전 연산자이고 $x_T$는 원래의 초기 잠재 공간입니다. 이 이상적인 관계로부터의 편차는 VAE 인코딩, 디퓨전 인버전 역학, 그리고 생성-인버전 사이클에서 발생하는 잔차(residuals)에 의해 제한됩니다. 실험적 검증을 통해, 회전된 참조값(rotated references)과 복구된 잠재 공간 간의 거리를 매칭하면 실제 회전 각도 근처에서 최소 거리가 발생함을 확인했습니다.

2. 다중 주파수 위상 앵커 (Multi-Frequency Phase Anchor)

회전 동기성을 활용하여 동기화를 수행하기 위해, AnchorMark는 초기 잠재 공간의 중앙 영역에 페이로드 영역과 공간적으로 분리된 압축된 **다중 주파수 위상 앵커(multi-frequency phase anchor)**를 삽입합니다.

• 구성: 앵커는 각주파수($k_j$)를 인코딩하는 사인-코사인 채널 쌍으로 구성됩니다. 이 설계는 공간적 회전을 예측 가능한 해석적 위상 응답($k_j \alpha$)으로 변환합니다.
• 주입: 앵커는 통계 교정 주입(statistics-calibrated injection) 방식을 사용하여 주입됩니다. 템플릿은 원래 잠재 패치의 평균 및 표준편차와 일치하도록 표준화되며, 혼합 파라미터 $\lambda$를 통해 융합된 후, 채널별 모멘트를 복원하기 위해 재교정됩니다. 이는 분포 변화를 최소화하고 이미지 품질을 보존합니다.

3. 계층적 동기화 및 복구

추출 과정은 2단계 계층적 전략을 사용합니다:

1. 앵커 가이드 글로벌 레지스트레이션 (Anchor-Guided Global Registration): 탐지기는 참조 앵커를 재구성하고 후보 회전 각도에 대해 조대-세밀(coarse-to-fine) 탐색을 수행합니다. 복구된 앵커와 회전된 참조 앵커 사이의 정규화된 매칭 손실을 최소화하여 지배적인 회전 각도를 추정합니다.
2. 페이로드 가이드 로컬 리파인먼트 (Payload-Guided Local Refinement): 보간(interpolation) 또는 인버전 노이즈로 인한 잔여 미정렬 문제를 해결하기 위해, 시스템은 초기 추정치 주변에 로컬 후보 집합을 정의합니다. 페이로드 영역에 대한 기저 워터마크 디코더의 **검증 신뢰도(verification confidence)**를 최대화함으로써 각도를 정밀하게 조정합니다. 최종 페이드는 이 정밀 조정된 각도를 사용하여 추출됩니다.

주요 기여

1. 회전 동기성의 식별: 저자들은 이미지 공간의 회전이 복구된 초기 잠재 공간에서 상응하는 각도 회전을 유도한다는 특성을 공식화하여, 잠재 공간 동기화의 이론적 토대를 제공했습니다.
2. AnchorMark 프레임워크: 압축된 다중 주파수 위상 앵커와 통계 교정 주입, 그리고 계층적(coarse-to-fine) 레지스트레이션 전략을 결합한 학습이 필요 없는 강건한 인버전 기반 워터마킹 방법을 제시했습니다.
3. 실험적 검증: 광범위한 실험을 통해 AnchorMark가 회전 및 결합 공격 하에서도 높은 비트 정확도를 향상시키면서 시각적 품질과 의미론적 충실도를 유지함을 입증했습니다.

실험 결과

본 방법은 Stable Diffusion (v1.5, v2.1, v3.5) 및 FLUX.1-dev 모델에 대해 평가되었습니다.

• 회전 강건성: $\pm 5^\circ$에서 $\pm 60^\circ$ 사이의 회전 공격 하에서, AnchorMark는 기존 방식들이 실패하는 상황에서도 높은 비트 정확도를 복구했습니다. 예를 들어, ShapeMark에 적용했을 때 AnchorMark는 테스트된 모든 각도에서 높은 복구 성능(Acc $\approx$ 1.00)을 달eric한 반면, 기존의 ShapeMark는 큰 각도에서 무작위 추측 수준($\approx$ 0.50)으로 떨어졌습니다. 마찬가지로, Gaussian Shading의 탐지율(TPR)은 거의 0에 가까운 수준에서 $\approx$ 0.99까지 회복되었습니다.
• 결합 공격: AnchorMark는 회전이 크기 조절(resizing), JPEG 압축, 가우시안 노이즈, 미디언 블러(median blur)와 결합되었을 때도 여러 디퓨전 백본에 대해 안정적인 성능(TPR > 0.99, Acc > 0.94)을 유지했습니다.
• 이미지 품질: 앵커의 도입은 FID 및 CLIP-Score 변화 측면에서 기본 방식들과 유사한 수준의 제한적인 영향만을 미쳤습니다.
• 절제 연구 (Ablation Studies): 연구를 통해 다중 주파수 설계(저주파의 강건성과 고주파의 판별성을 결합)가 단일 주파수 또는 랜덤 앵커보다 우수한 성능을 보이며, 각도 추정 오차를 $0.5^\circ$ 미만으로 줄임을 확인했습니다.

의의 및 주장

본 논문은 **잠재 공간 동기화(latent-space synchronization)**가 기하학적 변환 하에서 강건한 인버전 기반 워터마킹을 위한 효과적인 메커니즘임을 주장합니다. 회전 동기성 특성을 활용함으로써, AnchorMark는 기존의 인버전 기반 워터마킹 체계를 수정하거나 생성기를 재학습할 필요 없이 적용할 수 있는 모듈형의 학습이 필요 없는(training-free) 솔루션을 제공합니다. 이 방법은 멀티 비트 페이로드 복구의 결정적인 공백을 성공적으로 해결하여, 기하학적 왜곡이 발생하는 시나리오에서 신뢰할 수 있는 콘텐츠 출처 증명 및 저작권 보호를 가능하게 합니다.