기술 요약: Cert-LAS

문제 정의

대규모 텍스트-이미지 (T2I) 확산 모델은 중요한 지적재산권 자산이지만, 무단 복제, 재배포 및 오용에 취약합니다. 이러한 자산을 보호하기 위해 모델 소유권 검증 (MOV) 이 필수적입니다. 기존 T2I 확산 모델용 MOV 방법은 주로 백도어 기반 워터마킹에 의존하며, 이는 특정 워터마크 동작을 활성화하기 위해 개인 트리거 (예: 희귀 토큰) 를 임베딩합니다.

저자들은 기존 접근법에서 두 가지 근본적인 한계를 확인했습니다:

1. 감사 하의 취약성: 기존 방법들은 종종 검증자가 모델을 쿼리하여 안정적인 워터마크 응답을 얻을 수 있는 "신뢰할 수 있는" 검증 과정을 암묵적으로 가정합니다. 그러나 적대적 환경에서는 트리거가 탐지되어 제거될 수 있습니다. 실험 결과, 합성 트리거는 프롬프트 공간 (문맥적 불일치를 통해) 이나 이미지 공간 (유사도 지표를 통해) 에서 종종 탐지되어 은폐성이 훼손됨이 확인되었습니다.
2. 인증된 강인함의 부재: 기존 방법들은 매개변수 교란에 대한 이론적 보장을 제공하지 못합니다. 실험에 따르면 의도하지 않은 무작위 교란과 고의로 제작된 적대적 교란 모두 검증 신뢰도를 크게 저하시킬 수 있습니다. 무작위 평활화를 통해 소규모 분류기에 대한 인증된 강인함이 존재하지만, 고차원 연속 스코어 추정과 이러한 규모에서의 인증된 학습에 따른 계산적 부담으로 인해 T2I 확산 모델에는 성공적으로 적용되지 못했습니다.

방법론: Cert-LAS

본 논문은 T2I 확산 모델을 위한 최초의 인증된 MOV 방법인 Cert-LAS(Certified Layer-Adaptive Smoothing) 를 제안합니다. 이 방법은 두 단계로 운영됩니다:

1. 워터마크 임베딩 (트리거 없음)

명시적인 트리거를 사용하는 대신, Cert-LAS 는 확산 생성기를 훈련하여 개인 확산 분류기 하에서 오분류를 유도함으로써 워터마크를 임베딩합니다.

• 워터마크 운반체로서의 확산 분류기: 이 방법은 확산 모델이 생성적 분류기로 기능할 수 있다는 발견을 활용합니다. 고정된 개인 확산 분류기를 사용하여 목표 사후 분포를 정의합니다. 생성기는 이 개인 분류기에 의해 오분류되는 이미지 (예: 분류기가 "개"로 식별하는 "고양이" 이미지 생성) 를 생성하도록 훈련되지만, 지각적 일관성 정규화자 (MS-SSIM) 를 통해 원래 생성물과의 지각적 충실도를 유지합니다.
• 레이어 적응형 평활화: 인증된 강인함을 달성하기 위해, 이 방법은 훈련 중 모델 매개변수에 노이즈를 주입합니다. 특히, 균일 노이즈가 아닌 레이어 적응형 노이즈를 사용합니다.
  • 레이어 미세조정 민감도 (LFS): 저자들은 미세조정 중 매개변수 업데이트의 평균 L2 노름을 기반으로 LFS 지표를 정의합니다. 그들은 다양한 데이터셋 전반에 걸쳐 특정 UNet 레이어 (예: 정규화 및 어텐션 블록) 가 미세조정에 일관되게 더 민감함을 관찰했습니다.
  • 노이즈 할당: 노이즈 수준은 각 레이어의 LFS 에 비례하여 할당됩니다. 인증 가능한 영역을 확대하기 위해 "취약한" 레이어에 더 많은 노이즈가 집중되지만, 총 노이즈 예산은 균일 기준선과 동일하게 유지됩니다.
• 지수적 성장 스케줄: 강인한 최적화를 계산적으로 실행 가능하게 만들기 위해 지수적 성장 스케줄이 채택됩니다. 이는 훈련 중 노이즈 샘플 간 초기 훈련 기울기가 유사하다는 사실을 활용하여, 기울기 평균을 위한 노이즈 샘플 수를 점진적으로 증가시킵니다.

2. 소유권 검증

검증은 의심되는 모델이 워터마크가 없는 참조 모델에 비해 현저히 강력한 워터마크 응답을 보이는지 확인함으로써 수행됩니다.

• 통계량: 레이어 적응형 평활화 하에서 두 가지 통계량이 계산됩니다:
  • 워터마크 강인함 (WR): 의심되는 모델의 이미지가 개인 확산 분류기에 의해 목표 클래스로 분류될 경험적 확률.
  • 참조 확률 (RP): 워터마크가 없는 참조 생성기에 대한 동일한 확률.
• 가설 검정: 쌍체 t-검정이 사용됩니다. 의심되는 모델의 WR 이 참조 모델의 RP 보다 현저히 크다면, 해당 모델은 보호된 모델에서 파생된 것으로 검증됩니다.
• 인증된 보장: 저자들은 WR 에 대한 폐형식 임계값을 유도하고 WR 과 RP 간의 차이에 대한 하한을 증명합니다. 그들은 인증된 반경($R^*$) 을 설정하여, 매개변수 교란이 이 반경 내에 유지된다면 소유권 검증이 성공할 것을 보장합니다.

주요 기여

1. 한계 재검토: 본 논문은 기존 백도어 기반 워터마킹 방법이 프롬프트/이미지 공간에서의 탐지 가능성과 매개변수 교란에 대한 강인함 부족으로 고통받고 있음을 밝힙니다.
2. Cert-LAS 프레임워크: 확산 분류기를 암시적이고 트리거 없는 운반체로 활용하고 UNet 아키텍처에 맞춘 레이어 적응형 무작위 평활화를 도입함으로써, T2I 확산 모델을 위한 최초의 인증된 워터마킹 방법을 소개합니다.
3. 이론적 분석: 이 작업은 경계된 매개변수 교란 하에서 폐형식 검증 임계값과 인증된 반경을 포함하는 강인함 보장을 확립하는 이론적 분석을 제공합니다.
4. 실증적 검증: 광범위한 실험을 통해 이 방법의 충실도, 은폐성, 그리고 의도하지 않은 (미세조정) 및 의도적 (적대적) 제거 공격에 대한 저항성을 입증했습니다.

실험 결과

저자들은 WatermarkDM 및 SleeperMark 와 같은 기준선 대비 Stable Diffusion v1.4 에서 Cert-LAS 를 평가했습니다.

• 효과성 및 은폐성: Cert-LAS 는 1.000 의 검증 성공률 (VSR) 과 $10^{-6}$의 위양성률 (FPR) 에서 1.000 의 True Positive Rate(T@10⁻⁶F) 를 달성했습니다. 그 은폐성 점수 (프롬프트 및 이미지 공간에서의 의심스러움) 는 백도어 기반 방법들 (예: WatermarkDM 의 >93% 대비 <0.125) 보다 현저히 낮았습니다.
• 미세조정 강인함: 다양한 미세조정 시나리오 (LoRA, DreamBooth, Custom Diffusion, 다양한 데이터셋에 대한 전체 미세조정) 하에서 Cert-LAS 는 T@10⁻⁶F 를 0.987 이상으로 유지하는 반면, 기준선들은 제한된 단계 후 종종 0.000 으로 떨어졌습니다.
• 적대적 공격 강인함: $\ell_2$-경계 매개변수 교란 하에서, 평활화를 적용한 Cert-LAS 는 모든 기준선이 완전히 실패하는 0.8 의 예산에서도 T@10⁻⁶F 를 0.965 이상으로 유지했습니다.
• 일반화: 이 방법은 다양한 아키텍처 (SDXL, Sana-1.6B) 와 분류 작업 (다른 클래스 쌍, 프롬프트 템플릿, 다중 클래스 설정) 에서 일반화 능력을 입증했습니다.
• 효율성: 지수적 성장 스케줄은 비스케줄 강인한 훈련 기준선 대비 훈련 시간을 76.6% 단축했습니다.

중요성 및 주장

본 논문은 Cert-LAS 가 적응형 공격에 대한 증명 가능한 강인함 보장을 제공함으로써 T2I 확산 모델 보호의 중요한 격차를 해소한다고 주장합니다. 이는 확산 워터마킹에서 이전에 부재했던 기능입니다. 트리거 기반에서 트리거 없는 분류기 기반 임베딩으로 전환하고 레이어 적응형 평활화를 활용함으로써, 이 방법은 은폐성, 생성 충실도, 그리고 인증된 신뢰성 사이의 균형을 달성합니다.

저자들은 이 작업을 확산 모델의 신뢰할 수 있는 공유를 향한 한 걸음으로 위치시킵니다. 그들은 이 방법이 순수한 방어적이며, 승인된 소유자와 신뢰할 수 있는 당국에 의한 합법적 검증을 위해 고안되었다고 강조합니다. 워터마크가 모델의 유용성을 저하시키지 않고는 제거될 수 없음을 (압축 실험에서 보인 바와 같이) 보장함으로써, 이 방법은 생성형 AI 생태계에서 집행 가능한 라이선싱 및 책임성 메커니즘을 지원합니다. 이 작업은 모든 지적재산권 문제를 해결한다고 주장하지는 않지만, 경계된 악의적 수정이 존재하는 상황에서 소유권을 검증하기 위한 구체적이고 이론적으로 근거를 둔 도구를 제공합니다.