CSF: Black-box Fingerprinting via Compositional Semantics for Text-to-Image Models

논문 요약: CSF (Compositional Semantic Fingerprinting)

이 논문은 텍스트 - 이미지 (Text-to-Image, T2I) 생성 모델의 지적 재산권 (IP) 보호를 위해, 검은색 상자 (Black-box) 환경에서 모델의 계보 (Lineage) 를 식별할 수 있는 새로운 지문 기법인 CSF(Compositional Semantic Fingerprinting) 를 제안합니다.

1. 문제 정의 (Problem)

• 배경: T2I 모델은 상업적으로 매우 가치 있는 자산이지만, 무단으로 파생 모델 (Fine-tuned models) 이 API 를 통해 배포되는 경우가 많습니다.
• 한계:
  • 워터마킹 (Watermarking): 배포 전 모델에 트라이거를 주입해야 하므로, 이미 배포된 모델이나 API 만 접근 가능한 환경에서는 적용 불가능합니다. 또한 워터마크는 미세 조정 (Fine-tuning) 이나 공격으로 제거될 수 있습니다.
  • 기존 지문 기법 (Fingerprinting): 대부분 모델의 가중치 (Weights) 나 내부 활성화 값 (Activations) 에 접근하는 화이트박스/그레이박스 방식을 요구합니다. 하지만 상업용 API 는 이러한 내부 정보 접근을 차단합니다.
• 목표: 모델의 내부 구조나 배포 전 데이터 없이, 텍스트 프롬프트와 생성된 이미지 (Query-only) 만을 통해 파생 모델이 어떤 기본 모델 (Base Model) 에서 유래했는지 통계적으로 증명하는 방법론이 필요합니다.

2. 방법론 (Methodology)

CSF 는 모델을 픽셀 생성기가 아닌 의미적 범주 생성기 (Semantic Category Generator) 로 간주하여 접근합니다.

• 핵심 아이디어: 구성적 의미적 지문 (Compositional Semantic Fingerprinting)

  • 미세 조정의 불변성: 미세 조정 데이터에 존재하지 않는 희귀한 (Rare) 의미적 조합을 프롬프트로 사용합니다. 미세 조정은 훈련 데이터에 있는 패턴은 변경하지만, 훈련 데이터에 없는 희귀한 조건에 대한 모델의 반응은 기본 모델의 성향을 그대로 유지합니다.
  • 프롬프트 설계: "위험한 도시의 야간 동물 (a dangerous urban nocturnal animal)"과 같이, 개별 단어는 흔하지만 조합된 의미는 훈련 데이터에서 드문 미세 지정 (Underspecified) 프롬프트를 사용합니다. 이는 모델이 학습된 선입견 (Bias) 을 통해 모호함을 해결하게 만듭니다.
  • 실행 과정:
    1. 42 개의 구성적 프롬프트를 사용하여 의심 모델에 이미지를 생성합니다 (각 프롬프트당 30 회 샘플링).
    2. 생성된 이미지를 CLIP 을 이용해 제로샷 분류 (Zero-shot Classification) 하여 의미적 범주 (예: 호랑이, 사자, 늑대 등) 의 확률 분포를 추출합니다.
    3. 이 분포를 워터스톤 거리 (Wasserstein Distance) 를 사용하여 기준 모델 (Base Model) 의 분포와 비교합니다.
    4. 베이지안 추론 (Bayesian Inference) 을 통해 여러 프롬프트의 증거를 집계하고, 특정 기본 모델 계보에 속한다는 통계적 신뢰구간 (95% CI) 을 계산합니다.

• 비대칭적 우위 (Asymmetric Advantage):

  • 공격자는 모든 가능한 조합의 지문을 예측하고 제거해야 하지만 (불가능에 가까움), 방어자는 배포 후 언제든지 새로운 희귀 조합을 생성하여 검출할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 블랙박스 지문 기법: 모델 내부 정보 없이 API 쿼리만으로 T2I 모델의 계보를 식별하는 첫 번째 방법론을 제시했습니다.
2. 훈련 불필요 (Training-free): 별도의 모델 학습이나 데이터 수집 없이 기존 API 만으로 작동합니다.
3. 강건성 (Robustness): LoRA, 모델 병합 (Merging), DPO(선호도 최적화), 증류 (Distillation) 등 다양한 형태의 미세 조정 및 변형이 가해진 모델에서도 기본 모델의 지문을 유지함을 입증했습니다.
4. 통계적 엄밀성: 단순한 유사도 매칭이 아닌, 베이지안 프레임워크를 통해 통제된 위험 하에 계보 결정을 내릴 수 있는 통계적 근거를 제공합니다.

4. 실험 결과 (Results)

• 평가 대상: FLUX, Kandinsky, Stable Diffusion (v1.5, v2.1, v3, XL) 등 6 개 모델 계열과 LoRA, DPO, 모델 병합 등을 적용한 13 개의 파생 모델 총 19 개를 평가했습니다.
• 성능:
  • 모든 파생 모델이 우세성 기준 (Dominance Test, 50% 이상 확률) 을 충족하여, 올바른 기본 모델 계열을 다른 모든 후보보다 높은 확률로 식별했습니다.
  • 기존 워터마킹이나 단순 시각적 특징 기반 방법으로는 식별이 어렵거나 실패한 경우 (예: SD1.5-DreamShaper vs Kandinsky 혼동) 에 CSF 는 높은 정확도를 보였습니다.
• 사용자 연구 (Human Study): "Name That Dataset" 게임을 통해 인간 참여자가 CSF 프롬프트를 사용할 때 기본 모델을 71% 정확도로 식별한 반면, 일반 프롬프트 (LAION-2B 기반) 는 18% (무작위 추측 수준) 에 그쳤습니다. 이는 CSF 가 기계뿐만 아니라 인간의 직관과도 일치하는 의미적 편향을 포착함을 의미합니다.
• 적대적 공격 저항: UCE(Unified Concept Editing) 등을 통해 특정 개념을 제거하는 공격을 시도해도, CSF 는 광범위한 의미적 범주에 기반하므로 식별력이 유지되었습니다.

5. 의의 및 결론 (Significance)

• 실용적 IP 보호: 상업용 API 환경에서 발생할 수 있는 무단 파생 모델 배포를 탐지할 수 있는 실용적인 솔루션을 제공합니다.
• 비용 효율성: 모델당 약 50 달러 (API 호출 비용 기준) 의 저렴한 비용으로 검사가 가능합니다.
• 법적/규제적 근거: 통계적으로 엄밀한 신뢰구간을 제공하므로, 지적 재산권 분쟁 시 객관적인 증거로 활용될 수 있습니다.

요약하자면, CSF는 T2I 모델의 미세 조정 과정에서 사라지지 않는 '의미적 편향'을 포착하여, 블랙박스 환경에서도 강력한 지적 재산권 보호 장치를 마련한 획기적인 연구입니다.