Bypassing Copyright Protection in Diffusion-based Customization via Two-Stage Latent Feature Optimization

기술 요약: 2단계 잠재 특징 최적화를 통한 확산 기반 커스텀 모델의 저작권 보호 우회

문제 정의
DreamBooth 및 Textual Inversion과 같은 커스텀 기술을 통한 확산 기반 생성 모델의 급격한 발전은 심각한 지식재 la 권 위험을 초래했습니다. 악의적인 행위자들은 저작권이 있는 이미지로 이러한 모델을 미세 조정하여 시각적 콘텐츠를 위조하거나 정체성을 위조할 수 있습니다. 이에 대응하여 연구자들은 입력 이미지에 표적 섭동(perturbation)을 주입하는 적대적 방어 메커니ism(예: AdvDM, SimAC, DisDiff)을 개발했습니다. 이러한 섭동은 모델이 개인화된 개념을 학습하는 능력을 방해하여 무단 생성을 억제하는 것을 목표로 합니다. 그러나 저자들은 이러한 방어 기제들이 특정 취약점에 의존하고 있음을 관찰했습니다. 즉, 이들은 잠재 확산 모델(LDM) 내에서 입력 이미지와 그 잠재 공간 표현 사이의 안정적인 시맨틱 매핑(semantic mapping)을 방해합니다. 이러한 방어책은 단순한 공격에는 효과적이지만, 고주파 노이즈를 도입하고 잠재 특징을 손상시키며, 이는 표적화된 우회 기회를 창출합니다.

방법론: 2단계 잠재 특징 최적화 (TS-LFO)
본 논문은 파괴된 잠재-이미지 매핑을 복구하고 최첨단(SOTA) 저작권 방어 체계를 우회하도록 설계된 공격 프레임워크인 TS-LFO를 제안합니다. 이 방법은 공격자가 보호된 이미지($x_{adv}$)와 LDM(VAE 및 Unet)의 아키텍처에는 접근할 수 있지만, 원래의 깨끗한 이미지($x$)나 특정 방어 파라미터에는 접근할 수 없는 화이트박스 위협 모델 하에서 작동합니다.

프레임워크는 두 개의 순차적인 최적화 단계로 구성됩니다:

1. 잠재 디노이징 단계 (Latent Denoising Stage):
   주된 목표는 고주파 적대적 섭동을 제거하고 잠재 코드와 입력 이미지 사이의 시맨틱 일관성을 복구하는 것입니다. 저자들은 다음과 같은 결합 최적화 목적 함수를 도입합니다:

• 잠재-이미지 정렬 손실 ($\mathcal{L}_{align}$): 이 손실은 보호된 이미지($x_{adv}$)와 VAE 디코더를 통한 최적화된 잠재 특징($z$)의 재구성 사이의 불일치를 최소화합니다. 놀랍게도 저자들은 전통적인 평균 제곱 오차(MSE)가 LPIPS나 SSIM과 같은 지각적 지표보다 이 맥-락에서 더 우수하다는 것을 발견했습니다. 고급 지표들은 적대적 섭동을 정당한 특징으로 오인할 수 있기 때문입니다.
• 잠재 확산 손실 ($\mathcal{L}_{DM}$): 이 손실은 다운스트림 Unet의 훈련 역학을 시뮬레이션합니다. 이는 최적화된 잠재 특징의 노이즈가 섞인 버전을 처리할 때 프리트레인된(pre-trained) Unet의 노이즈 예측 오차를 최소화합니다. 이 대리 훈련 손실(proxy training loss)을 줄임으로써, 공격은 해당 잠재 특징이 확산 모델에 의해 "학습하기 쉬운" 상태가 되도록 보장합니다.
• 타임스텝 가변 가중치 (Timestep-Varying Weighting): 이 두 손실의 균형을 맞추기 위해, 저자들은 확산 타임스텝에 따라 선형적으로 변화하는 가중치 인자($\lambda_t$)를 사용합니다. 이는 디노이징 궤적의 서로 다른 단계에서 최적화가 한쪽 손실 항을 다른 쪽보다 우선시하는 것을 방지합니다.

2. 잠재 재구성 단계 (Latent Reconstruction Stage):
   디노이징 단계 이후에도 최적화된 잠재 특징은 여전히 높은 충실도의 구조적 세부 사항이 부족하거나 잔여 섭동을 포함할 수 있습니다. 이 단계에서는 잠재 표현을 정교화하기 위해 픽셀 수준의 제약을 적용합니다:

• 잠재 특징을 이미지 공간으로 디코딩하고, 소스 콘텐츠에서 크게 벗어나지 않으면서 시맨틱 충실도를 유지하기 위해 원래의 보호된 이미지 주변의 작은 범위($\epsilon_{rec}$) 내로 클램핑(clamping)한 후 다시 인코딩합니다. 이 단계는 저주파 시맨틱 정보를 회복하고 최종 잠재 특징이 고품질 생성을 위해 적합하도록 보장합니다.

주요 기여

• 새로운 공격 프레임워크: 본 논문은 저작권 방어가 잠재-이미지 매핑을 방해하는 메커니즘을 구체적으로 겨냥하는 2단계 공격인 TS-LFO를 소개합니다. 이는 매핑을 복구하기 위해 동적 가중치가 적용된 정렬 및 확산 손실의 조합을 활용합니다.
• 메커니즘 분석: 저자들은 기존 방어 기제가 인코더의 잠재 표현을 부패시키고 Unet의 훈련 손실을 증가시킴으로써 작동한다는 점을 입증하는 이론적 및 경험적 분석을 제공합니다. TS-LFO는 이러한 특정 효과를 역전시키도록 설계되었습니다.
• 포괄적인 평가: 본 연구는 TS-LFO를 여러 SOTA 방어 기제(Anti-DreamBooth, AdvDM, SimAC, DisDiff, PhotoGuard)에 대해 평가하고, 다양한 데이터셋(CelebA-HQ, LSUN-Cat, LSUN-Sheep)에서 고급 공격 베이스라인(DiffPure, GrIDPure, IMPRESS)과 비교합니다.

실험 결과
광범ical한 실험을 통해 TS-LFO가 기존의 저작권 공격 방법들을 일관되게 능가함을 보여줍니다:

• 방어 우회: TS-LFO는 SOTA 방어 기제의 효과를 유의미하게 감소시킵니다. 예를 들어, Textual Inversion 실험에서 이 방법은 FID 점수(생성 품질 측정 지표)를 베이스라인 수준에 가깝게 회복시키는 반면, 공격이 없는 방어 모델은 상당한 성능 저하를 보입니다.
• 베이스라인 대비 우월성: DiffPure, GrIDPure, IMPRESS와 비교했을 때, TS-LFO는 더 낮은 FID(더 나은 품질), 더 높은 CLIP 이미지 유사도, 그리고 얼굴 데이터셋에서의 더 나은 정체성 일관성(ISM으로 측정)을 달s성합니다.
• 일반화: 이 방법은 다양한 이미지 분포(얼굴, 고양이, 양)와 다양한 커스텀 기술(DreamBooth 및 Textual Inversion) 전반에서 효과적임을 입증합니다.
• 절제 연구 (Ablation Studies): 저자들은 각 구성 요소의 필요성을 검증하며, 타임스텝 가변 가중치와 정렬 손실을 위한 MSE의 특정 선택이 최적의 성능을 위해 결정적임을 보여줍니다. 또한 TS-LFO가 이미지당 약 6분이 소요되지만, 실제 커스텀 훈련에 필요한 15~30분에 비하면 수용 가능한 수준임을 언급합니다.

의의 및 주장
본 논문은 TS-LFO가 현재의 적대적 저작권 보호 전략의 견고성에 중대한 도전 과제를 제기한다고 주장합니다. 잠재 공간의 붕괴라는 특정 취약점을 이용함으로써, 저자들은 현재의 방어 기제들이 고충실도의 무단 생성을 달성하기 위해 체계적으로 우회될 수 있음을 입증합니다.

저자들은 이 연구를 저작권 침해를 옹호하는 것이 아니라, 해당 분야에 대한 필수적인 스트레스 테스트로 위치시킵냐다. 저자들은 보호 연구자들이 전통적인 공격에만 집중하여 TS-LFO와 같은 고급 표적 공격에 대한 견고성을 간과하는 경향이 있다고 주장합니다. 결과적으로, 본 논문은 잠재 공간의 특징 취약성을 고려한 더 정교한 방어 메커니즘의 개발을 촉구하며, 생성형 AI에서의 오픈 혁신과 저작권 보호 사이의 균형을 맞추기 위한 윤리적 프레임워크의 필요성을 강조합니다. 저자들은 추가적인 견고한 방어 연구를 촉진하기 위해 소스 코드를 공개하였습니다.