기술 요약: 이미지 확산 모델의 효율적이고 견고하며 공모 방지(Anti-Collusion)가 가능한 핑거프린팅

1. 문제 정의

텍스트-투-이미지(T2I) 확산 모델의 급격한 발전은 특히 무단 모델 재배포와 관련된 지식 재산(IP) 리스크를 초一个했습니다. 기존의 핑거프린팅 방식은 추적성을 보장하기 위해 사용자 고유의 식별자를 모델 출력에 삽ont하지만, 이전에 탐구되지 않은 치명적인 취약점인 **공모 공격(collusion attacks)**에 노출되어 있습니다.

공모 공격에서, 서로 다른 핑거프린트가 적용된 모델 복사본을 보유한 여러 악의적 사용자는 자신들의 모델 파라미터를 결합(예: 단순 평균화)하여 새로운 "공모된(colluded)" 모델을 생성할 수 있습니다. 기존 방식은 다음과 같은 이유로 이를 방지하지 못합니다:

1. 파라미터 보간(Parameter Interpolation): 심층 신경망은 독립적으로 훈련된 모델 간의 선형 보간이 기능적인 솔루션을 생성하는 모드 연결성(mode connectivity)을 보이는 경우가 많습니다.
2. 제로 비용 제거(Zero-Cost Removal): 공격자는 파라미터를 평균화함으로써 개별 사용자의 고유한 핑거프린트를 효과적으로 삭제하면서도 모델의 고품질 이미지 생성 능력은 그대로 유지할 수 있습니다.
3. 선제적 방어의 부재: 현재의 연구는 사후적 귀속(사건 발생 후 공모자를 식별하는 것)에 의존할 뿐, 기능적인 공모 모델의 생성을 방지하는 데에는 한계가 있습니다.

2. 방법론

제안된 프레임워크는 개인화 정규화 모듈(PNM), 최악의 경우 최적화(Worst-Case Optimization) 전략, 그리고 공모 방지 변환(ACT)을 통합하는 견고한 T2I 모델 핑거프린팅 시스템을 도입합니다.

A. 프레임워크 개요

워크플로우는 세 단계로 구성됩니다:

1. 미세 조정(Fine-tuning): 핑거프린트를 삽입하기 위해 베이스 T2I 모델(특히 VAE 디코더)을 미세 조정합니다.
2. 초기화(Initialization): 재학습 없이 사용자를 위한 고유한 핑거프린트 복사본을 생성합니다.
3. 검증(Verification): 생성된 이미지에서 핑거프린트를 추출하여 소유권을 확인합니다.

B. 개인화 정규화 모듈 (PNM)

이 방법은 모델 전체를 수정하는 대신, VAE(Variational Autoencoder)의 디코더 내에 경량화된 PNM을 삽입합니다.

• 구조: PNM은 Conv–Norm–Conv 구조를 따릅니다.
• 메커니즘: 핑거프린트 메시지 $m$(이진 문자열)이 두 개의 인코딩 네트워크($F_\gamma$ 및 $F_\beta$)로 입력되어 스케일링($\gamma$) 및 시프팅($\beta$) 파라미터를 생성합니다. 이 파라미터들은 PNM 내의 정규화 레이어를 조절합니다.
• 효율성: 인코더와 베이스 모델이 훈련되면, 새로운 사용자 복사본은 재학습 없이 사용자의 고유 핑거프린트로부터 새로운 $\gamma$ 및 $\beta$ 벡터를 생성하는 것만으로 즉시 만들어집 수 있습니다.

C. 공모 방지 변환 (ACT)

공모를 선제적으로 저지하기 위해, 이 방법은 각 사용자에게 특화된 PNM 파라미터에 **무손실, 함수 불변 변환(lossless, function-invariant transformation)**을 적용합니다. 이 변환은 모델이 단일 사용자에게는 올바르게 작동하도록 보장하는 동시에, 서로 다른 사용자의 파라미터를 결합하면 모델의 유용성을 파괴하도록 설계되었습니다.
ACT는 세 가지 순차적 연산으로 구성됩니다:

1. 채널별 치환 (Channel-wise Permutation, CP): 사용자별 치환 함수 $\pi$에 따라 필터와 정규화 파라미터를 재배열합니다.
2. 파라미터 스케일링 (Parameter Scaling, SC): 컨볼루션 커널과 정규화 파라미터를 벡터 $\alpha$로 스케일링합니다. 이때 레이어 전체의 스케일링 인자 곱은 1이 되어 출력 함수를 보존합니다.
3. 부호 반전 (Sign Flip, SF): 특정 파라미터의 부호를 반전시킵니다(스케일링 인자가 $\{-1, 1\}$인 특수한 경우).

이론적 근기: 이러한 변환은 서로 다른 사용자 모델 간의 "모드 연결성"을 깨뜨립니다. 변환된 각 모델은 변환되지 않은 대응 모델과 동일한 출력을 생성하지만, 그 파라미터는 거의 직교(orthogonal)하게 됩니다. 결과적으로, 두 ACT 보호 모델 간의 선형 보간(공모)은 파라미터 공간의 높은 손실(high-loss) 영역에 도달하게 하여, 이미지 생성에 있어 치명적인 실패를 야기합니다.

D. 최악의 경우 최적화 (Worst-Case Optimization)

모델 수준의 공격(예: 미세 조정, 프루닝)에 대한 견고성을 높이기 위해, 훈련 목적 함수에는 최악의 경우 정규화 손실이 포함됩니다.

• 모델은 정의된 이웃 내에서 최악의 경우 파라미터 섭동($\delta^*$)이 발생하는 상황을 가정하여 핑거프린팅 손실을 최소화하도록 최적화됩니다.
• 이는 손실에 대한 단일 단계 그래디언트 상승(single-step gradient ascent)을 통해 근사되며, 모델이 파라미터 수정에 덜 민감한 "평탄한(flat)" 최소값에 수렴하도록 유도합니다.

3. 주요 기여

1. 선제적 공모 방지 방어: 본 논문은 공모된 모델을 사용할 수 없게 만드는 데 명시적으로 설계된 최초의 T2I 핑거프린팅 프레임워크를 제시합니다. ACT를 통합함으로써, 모델을 병합하려는 모든 시도는 이미지 품질의 심각한 저하(높은 FID, 낮은 PSNR)를 초래하여 공격을 효과적으로 무력화합니다.
2. 효율적이고 재학습이 필요 없는 배포: PNM 아키텍처를 통해 개발자는 정규화 레이어를 재매개변수화함으로써, 재학습의 계산 비용 없이 수천 명의 사용자를 위한 별도의 핑거프린트 적용 모델 복사본을 즉각적으로 생성할 수 있습니다.
3. 강화된 견고성: 최악의 경우 최적화 전략의 도입은 미세 조정 및 프루닝을 포함한 모델 수준의 공격에 대한 회복력을 크게 향상시켜, 상당한 파라미터 섭동 후에도 높은 핑거프린트 추출 정확도를 유지합니다.
4. 포괄적 평가: 다양한 데이터셋(COCO, ImageNet, MagicBrush, InstructPix2Pix)과 작업(생성 및 편집)에 걸친 엄격한 평가를 통해 공모에 대한 보안의 새로운 기준을 설정했습니다.

4. 실험 결과

본 방법은 Stable Diffusion v2 및 InstructPix2Pix 모델을 대상으로 평가되었습니다.

• 충실도 및 품질: 제안된 방법은 높은 이미지 품질을 유지합니다. COCO 데이터셋에서 FID 점수(24.03)는 기존의 SOTA VAE 기반 방식(예: Per. Norm., Sta. Sig.)과 대등하며, U-Net 기반 워터마킹 방식보다 훨씬 우수합니다. 핑거프린트가 적용된 이미지와 적용되지 않은 이미지 사이의 시각적 차이는 미미합니다.
• 핑거프린트 추출 정확도: 이 방법은 모든 데이터셋과 작업에서 **99.5% 이상의 비트 정확도(Bit Accuracy)**를 달성하여 기존 방식들을 능가했습니다.
• 공격에 대한 견고성:
  • 이미지 수준: 훈련 시 노이즈 레이어 증강을 사용했을 때, 가우시안 노이즈, 블러링, 크로핑, JPEG 압축 등에 대해 강력한 견고성을 유지합니다.
  • 모델 수준: 미세 조정 공격(10,000 스텝) 하에서도 비트 정확도가 90% 이상을 유지하여, 70% 미만으로 떨어지는 경쟁 모델들보다 월등한 성능을 보였습니다.
• 공모 방지 성능:
  • 2자 공모 (2-Party Collusion): 두 사용자가 모델을 평균화할 때, 기존 방식들은 높은 이미지 품질(FID ~24)을 유지하지만 핑거프린트 유효성을 상실(TPR이 ~0.4로 하락)합니다. 반면, ACT가 적용된 제안 방법은 FID가 79.51까지 급증하고 PSNR이 급격히 떨어져 공모된 모델을 사용할 수 없게 만듭니다.
  • 다자 공모 (Multi-Party Collusion): 공모자 수가 증가함에 따라(최대 20명), 기존 방식들은 높은 충실도를 유지합니다. 그러나 제안된 방법은 지속적인 품질 저하를 일으켜(10명의 공모자 발생 시 PSNR이 ~11 dB로 하락), 기능적인 모델 합성을 방지합니다.
  • 비선형 공격: 제안된 방법은 모든 테스트된 전략(Random selection, Power mean, Max-absolute-value)이 이미지 품질과 핑거프린트 무결성을 모두 유지하는 데 실패하는 고급 비선형 공모 전략에 대해서도 효과적입니다.

5. 의의 및 주장

본 논문은 생성 모델 보안의 근본적인 격차인 공모 취약성을 해결한다고 주장합니다. 저자들은 전통적인 미디어 핑거프린팅이 침해 후 공격자를 식별하는 '배신자 추적(traitor-tracing)' 코드에 의존하는 반면, 생성 모델 핑거프린팅은 선제적인(proactive) 접근 방식이 필요하다고 강조합니다.

이 연구의 의의는 패러다임을 **귀속(attribution)**에서 **억제(deterrence)**로 전환했다는 점에 있습니다. 공모 행위 자체가 모델의 유용성을 파괴하도록 함으로써, 무단 재배포를 효과적으로 방지합니다. 저자들은 이것이 정당한 사용자를 위한 생성 콘텐츠의 품질이나 모델 배포의 효율성(재학습 불필 필요)을 저해하지 않으면서 달성되었다는 점을 강조합니다.

결론적으로, PNM 기반 임베딩, 최악의 경우 최적화, 그리고 ACT의 결합은 상업적 및 라이선스 환경에서 T2I 모델의 지식 재산을 보호하기 위한 견고하고 확장 가능한 솔루션을 제공합니다.