기술 요약: 맞춤형 확산 모델의 파인튜닝 추적성을 위한 데이터셋 워터마킹 평가

1. 문제 제기

확산 모델에 대한 파인튜닝 기법 (예: DreamBooth, LoRA, Textual Inversion) 의 빠른 도입은 특정 정체성과 예술적 스타일을 모방한 콘텐츠 생성을 가능하게 했습니다. 그러나 이러한 기능은 저작권 침해(훈련을 위한 독점 이미지의 무단 사용) 및 책임 소재(유해하거나 부적절한 생성 콘텐츠의 출처 추적) 와 관련하여 주로 보안 및 윤리적 위험을 크게 증가시킵니다.

이를 해결하기 위해 훈련 이미지에 지각 불가능한 워터마크를 삽입하는 데이터셋 워터마킹이 제안되었습니다. 이론적으로 이러한 워터마크는 파인튜닝 과정을 거쳐도 유지되어 모델의 출력에서 감지 가능해야 하며, 이를 통해 사후 귀속이 가능해져야 합니다. 그러나 기존 접근법들은 통합 평가 프레임워크의 부재로 인해 다양한 실제 시나리오에서의 효과성을 평가하기 어렵습니다. 또한, 이러한 방법들이 적대적 제거 공격에 얼마나 견고한지는 아직 대부분 탐구되지 않았습니다.

2. 방법론

2.1. 통합 위협 모델 및 평가 프레임워크

저자들은 워터마크를 삽입하여 저작권 보호 및 추적성을 확보하는 이미지 소유자와, 혼합 데이터셋을 사용하거나 워터마크를 제거하기 위해 후처리를 적용할 수 있는 이미지 사용자라는 두 당사자를 포함하는 보편적 위협 모델을 공식화했습니다.

이 모델을 기반으로 본 논문은 세 가지 차원으로 구성된 포괄적인 평가 프레임워크를 제안합니다:

1. 보편성 (Universality): 워터마킹 기법이 다양한 파인튜닝 패러다임 (예: Textual Inversion, DreamBooth, LoRA, Full-UNet) 과 생성 작업 (얼굴, 가상 객체, 예술 스타일) 전반에서 기능할 수 있는 능력.
2. 전파성 (Transmissibility): 훈련 데이터의 일부만 워터마킹된 경우 (예: 20%~80% 혼합 비율)에도 워터마크 신호가 파인튜닝 과정을 통해 전파될 수 있는 능력.
3. 견고성 (Robustness): 가우시안 노이즈, 블러, JPEG 압축과 같은 일반적인 이미지 처리 작업뿐만 아니라 표적 적대적 제거 공격에 대한 워터마크의 회복 탄력성.

2.2. 포괄적 벤치마크

저자들은 DIAGNOSIS, DiffusionShield, SIREN, WatermarkDM이라는 네 가지 최첨단 오픈소스 데이터셋 워터마킹 기법을 평가하는 벤치마크를 구축했습니다.

• 데이터셋: CelebA-HQ(얼굴 정체성), Pokémon(가상 객체), WikiArt(예술적 스타일).
• 지표: 생성 품질 (FID, CLIP-T) 및 워터마크 감지 정확도 (Acc).
• 설정: 텍스트 인코더를 고정하거나 훈련하는 다양한 파인튜닝 구성을 포함하여 Stable Diffusion v1.4(SD1.4) 에서 실험을 수행했습니다.

2.3. 제안된 제거 기법 (DeAttack)

견고성 차원을 평가하기 위해 본 논문은 실용적인 워터마크 제거 프레임워크인 DeAttack을 소개합니다.

• 메커니즘: DeAttack 은 다중 도메인 열화(픽셀 공간 및 잠재 공간)와 고품질 복원을 결합한 통합 오토인코더 백본을 활용합니다.
• 과정: 가우시안 블러, 노이즈 주입과 같은 열화를 시뮬레이션한 후, IRNeXt(블러 제거용), SwinIR(노이즈 제거 및 JPEG 아티팩트 수정용) 과 같은 사전 훈련된 네트워크를 사용하여 적응형 복원을 수행합니다.
• 목표: 지각 가능한 이미지 품질을 유지하면서 잔여 워터마크 에너지를 최소화하는 깨끗한 재구성을 추정하는 것입니다.

3. 주요 결과

3.1. 보편성과 전파성

• 보편성: DiffusionShield가 모든 파인튜닝 방법과 데이터셋에서 거의 100% 의 감지 정확도를 달성하여 가장 높은 보편성을 보여주었습니다. SIREN은 (~50% 정확도, 무작위 추측 수준) 성능이 매우 낮았으며, DIAGNOSIS와 WatermarkDM은 특정 파인튜닝 방법에 따라 성능이 변동되었습니다 (예: 텍스트 인코더를 훈련할 경우 성능이 크게 저하됨).
• 전파성: 혼합 데이터셋 (예: 워터마킹된 이미지 20%) 을 사용할 때 DiffusionShield는 높은 감지 정확도 (100% 에 근접) 를 유지한 반면, DIAGNOSIS와 WatermarkDM은 워터마킹된 이미지의 비율이 감소함에 따라 정확도가 크게 하락했습니다.

3.2. 일반적인 왜곡에 대한 견고성

기존 방법들은 일반적으로 가우시안 블러, JPEG 압축, 가우시안 노이즈와 같은 일반적인 이미지 처리 작업에 대한 회복 탄력성을 보여주었습니다. 이러한 조건 하에서 DiffusionShield 와 WatermarkDM 의 감지 정확도는 여전히 높게 유지되었습니다.

3.3. 표적 제거에 대한 취약성

가장 중요한 발견은 적대적 공격에 대한 견고성 차원과 관련이 있습니다.

• DeAttack 의 효과성: 제안된 DeAttack 기법은 평가된 모든 방법에서 데이터셋 워터마크를 성공적으로 제거하여 감지 정확도를 무작위 수준 (예: 기존 ~100% 였던 DiffusionShield 의 경우 ~50-55%) 으로 낮췄습니다.
• 품질 보존: 결정적으로 DeAttack 은 이미지의 지각 품질과 파인튜닝된 모델의 성능 (FID 및 CLIP-T 점수가 깨끗한 기준선과 유사하게 유지됨) 을 유지하면서 이러한 제거를 달성했습니다.
• 일반화 가능성: DeAttack 의 효과성은 다양한 확산 아키텍처 (SD1.4 및 SDXL) 와 다양한 파인튜닝 전략에 걸쳐 검증되었으며, 이는 현재 워터마킹 설계가 원칙적인 제거 공격에 대해 견고하지 않음을 시사합니다.

4. 의의 및 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 원칙적 평가 기반: 확산 모델용 데이터셋 워터마킹을 체계적으로 평가하기 위한 통합 위협 모델과 세 가지 차원 (보편성, 전파성, 견고성) 의 평가 프레임워크를 확립합니다.
2. 포괄적 벤치마크: 기존 방법들 (특히 DiffusionShield) 은 보편성과 전파성 측면에서 효과적이지만, 표적 제거에 대한 견고성이 부족함을 드러내는 엄격한 벤치마크를 제공합니다.
3. 취약성 노출: DeAttack 을 제안함으로써 현재 데이터셋 워터마킹 기법이 고급 제거 전략에 취약함을 입증했습니다. 이는 현재 설계의 중요한 격차를 드러내며, 더 견고하고 적대자를 인식하는 워터마킹 전략 개발의 시급성을 강조합니다.

저자들은 데이터셋 워터마킹이 추적성 측면에서 유망함을 보여주지만, 악의적 행위자가 표적 제거 기법을 사용할 수 있는 실제 보안 시나리오에서는 현재 구현 방식이 불충분하다고 결론지었습니다. 이 연구는 이러한 적대적 압력을 견딜 수 있는 워터마킹 기법을 개발하도록 커뮤니티에 행동 촉구의 역할을 합니다.