기술 요약: 워터마크 보존 텍스트 기반 이미지 편집을 위한 SafeMark

문제 정의

텍스트-이미지 모델 (예: Stable Diffusion, DALL-E 3) 의 급속한 발전은 반복적 탈노이즈를 통한 강력하고 의미 중심의 이미지 편집을 가능하게 했습니다. 그러나 정적 생성에서 소유권 검증 및 출처 추적을 위한 핵심 도구로 자리 잡은 보이지 않는 이미지 워터마킹의 텍스트 기반 확산 편집 하에서의 견고성은 여전히 largely 미탐구 상태입니다.

기존의 견고한 워터마킹 방법들 (예: HiDDeN, VINE, SleeperMark) 은 일반적으로 적대적 방어 패러다임을 사용하여 JPEG, 크기 조절과 같은 사전 정의된 왜곡이나 특정 편집 동작에 대해 인코더를 훈련시킵니다. 그러나 본 논문은 이러한 방법들이 다양한 이질적인 확산 편집기 간에 일반화되지 못함을 보여줍니다. DiffusionCLIP, Asyrp, Eff-Diff 와 같은 텍스트 기반 편집기를 사용하여 이미지를 편집할 때, 워터마크 비트 정확도는 현저히 저하됩니다 (예: 일부 경우 ~0.99 에서 ~0.30 으로 하락). 핵심 연구 질문은 다음과 같습니다: 워터마크가 포함된 이미지를 워터마크 무결성을 훼손하지 않고 편집할 수 있는가? 본 논문은 현재의 "견고한" 워터마크가 편집기에 의존적이며, 편집 과정 자체에서 무결성을 강제할 새로운 접근법이 필요하다고 주장합니다.

방법론: SafeMark

저자들은 SafeMark를 제안합니다. 이는 워터마크 보존을 이미지 편집 최적화 과정 내의 명시적 목표로 취급하며, 워터마크의 고유한 견고성에만 의존하지 않는 프레임워크입니다.

1. 문제 공식화

SafeMark 는 워터마크 보존 편집을 제약 최적화 문제로 공식화합니다. 메시지 $w$를 가진 워터마크가 포함된 이미지 $x_{orig}$, 편집기 $E_\theta$, 그리고 프롬프트 $p$가 주어졌을 때, 워터마크 정확도 제약을 만족하면서 의미 손실을 최소화하는 매개변수 $\theta^*$를 찾는 것이 목표입니다:
$$\min_\theta \mathbb{E}[L_{sem}(x_{edit}, x_{ref})] \quad \text{s.t.} \quad \text{Acc}(\hat{w}, w) \geq \tau$$
여기서 $x_{edit} = E_\theta(x_{orig}, p)$이며, $\hat{w}$는 복호화된 워터마크이고, $\tau$는 목표 정확도 임계값입니다.

2. 정보 이론적 기반

본 논문은 비트 정확도를 직접 최적화하기 위한 이론적 근거를 제공합니다.

• 상호 정보 한계: 워터마크 복구 가능성은 편집기 채널이 보존하는 상호 정보 $I_\theta(W; X_e)$에 의해 제한됩니다.
• 대리 변수로서의 비트 정확도: 저자들은 (Fano 부등식과 보조 정리 1 을 통해) 높은 평균 비트 정확도 $\bar{a}$를 유지하는 것이 이 상호 정보에 대한 하한을 제공함을 증명합니다. 구체적으로, $\bar{a} \geq \tau$를 강제함으로써 복구에 필요한 최소한의 정보 보존 수준을 보장합니다.

3. 훈련 목적 함수 및 힌지 페널티

하드 비트 정확도는 미분 불가능하므로, SafeMark 는 미분 가능한 대리 변수 (Brier 유형 손실) 에 대한 임계값이 적용된 힌지 페널티를 사용하여 제약을 완화합니다:
$$L_{wm} = \max(0, \tau - \hat{g}_{Acc}(\hat{w}, w))$$
여기서 $\hat{g}_{Acc}$는 비트 정확도의 부드러운 근사치입니다. 전체 훈련 목적 함수는 의미 충실도와 워터마크 보존을 결합합니다:
$$L_{total} = \lambda_{sem} L_{sem} + \lambda_{wm} L_{wm}$$

• 의미 정렬: 편집이 사용자의 의도에 충실하도록 보장하기 위해, 고정된 사전 훈련된 편집기 $E_{\theta_0}$를 사용하여 참조 편집 $x_{ref}$를 생성합니다. 의미 손실 $L_{sem}$은 학습 가능한 편집기의 출력이 이 참조 ($L_1$ 거리) 에 가깝도록 유지하도록 장려합니다.
• 아키텍처: SafeMark 는 기반 확산 편집기의 아키텍처 수정을 요구하지 않습니다. 워터마크 인코더/디코더를 고정된 채 편집기 매개변수 $\theta$를 미세 조정함으로써 작동하며, 기울기는 최종 탈노이즈된 출력만을 통해 흐릅니다.

주요 기여

1. 편집기 의존성에 대한 경험적 식별: 본 논문은 기존 견고한 워터마킹 방법들이 다양한 텍스트 기반 편집 파이프라인 간에 일반화되지 못하며, 성능이 사용하는 특정 편집기에 따라 극적으로 변함을 보여줍니다.
2. 이론적 기반: 워터마크 보존 편집을 위한 정보 이론적 기반을 확립하여, 비트 정확도가 상호 정보 보존을 위한 실현 가능한 대리 변수임을 보여주고 힌지 페널티 목적 함수의 사용을 정당화합니다.
3. SafeMark 프레임워크: 워터마크 감독을 편집 목적 함수에 직접 통합하는 새로운 방법으로, 의미 편집 품질을 희생하지 않고 다양한 편집기와 데이터셋에서 거의 완벽한 워터마크 복구 (비트 정확도 $\approx 1.0$) 를 달성합니다.
4. 견고성 검증: 저자들은 SafeMark 로 보호된 이미지가 일반적인 편집 후 왜곡 (회전, 흐림, 크기 조절) 에 대해 견고함을 보여주며, 편집 중 보존 강제가 표준 이미지 손상에도 대한 복원력을 저하시키지 않음을 확인했습니다.

실험 결과

이 프레임워크는 실제 이미지 (LSUN-Church, LSUN-Bedroom, CelebA, AFHQ-Dog) 와 AI 생성 이미지를 대상으로 여러 워터마킹 방식 (HiDDeN, VINE, Stable Signature, SleeperMark) 과 세 가지 다른 확산 편집기 (DiffusionCLIP, Asyrp, Eff-Diff) 를 사용하여 평가되었습니다.

• 워터마크 보존: 직접 편집 ("Mani") 은 비트 정확도를 현저히 떨어뜨린 반면 (예: Asyrp 하에서 Bedroom 이미지의 VINE 은 0.999 에서 0.299 로 하락), SafeMark 는 모든 설정에서 정확도를 1.000(또는 0.999 와 같은 거의 완벽한 수준) 으로 일관되게 복원했습니다.
• 의미 충실도: SafeMark 는 편집의 품질을 훼손하지 않았습니다. FID, Inception Score(IS), CLIP 유사도 같은 지표들은 SafeMark 출력이 직접 편집과 지각적, 의미적으로 가깝게 유지되었음을 보여주었습니다. "Comp" 지표 (SafeMark 편집과 직접 편집 비교) 는 낮은 FID 값을 산출하여, 워터마크 제약이 이미지를 원래 상태로 되돌리거나 출력을 붕괴시키지 않았음을 나타냈습니다.
• 편집 후 견고성: 자르기 및 흐림과 같은 왜곡 하에서 SafeMark 는 높은 비트 정확도를 유지했으며 (실패율 일반적으로 0.15 미만), 보존된 워터마크 신호가 후속 처리에 대해 견고함을 입증했습니다.

중요성 및 주장

본 논문은 의미 편집 가능성과 워터마크 무결성이 근본적으로 양립 가능함을 주장합니다. 의미 편집 하에서의 워터마크 저하는 편집 과정의 고유한 한계가 아니라, 제약 없는 편집 역학의 결과입니다.

"편집에 대한 견고한 워터마킹"에서 "워터마크 보존 편집"으로 패러다임을 전환함으로써, SafeMark 는 신뢰할 수 있는 이미지 출처를 위한 설계 시간 솔루션을 제공합니다. 저자들은 SafeMark 를 이미지 편집 서비스 제공자가 소유권 신호가 복구 가능함을 보장하면서 고품질 의미 중심 조작을 제공할 수 있게 하는 메커니즘으로 위치시킵니다. 이는 출처 보호를 외부 추가 기능이 아닌 편집 파이프라인의 필수 부분으로 재정의하여, 생성형 편집 워크플로우에서 신뢰할 수 있는 이미지 출처를 가능하게 합니다.

본 논문은 SafeMark 가 현재 편집기에 대한 화이트박스 접근과 각 아키텍처별 별도의 미세 조정 단계를 필요로 하며, 워터마크 용량을 넘어서는 장면을 근본적으로 변경하는 매우 공격적인 구조적 편집에는 어려움을 겪을 수 있음을 겸손하게 인정합니다. 그러나 워터마크 보존이 설계에 의해 강제될 수 있다는 중요한 개념 증명 (proof-of-concept) 을 확립했습니다.