기술 요약: TrajPrint – 고유 모델 핑거프린팅을 통한 무손실 저작권 보호

문제 정의

확산 모델(Diffusion models)은 학습에 필요한 막대한 계산 자원과 데이터로 인해 높은 가치를 지닌 지적 재산이 되었습니다. 그러나 오픈 소스 형태의 모델 가중치와 증류(distillation) 기술의 확산은 이러한 모델들이 무단 복제 및 도용될 위험을 높입니다. 기존의 저작권 보호 전략들은 다음과 같은 상당한 트레이드오프(trade-off)를 안고 있습니다:

• 추론 개입(Inference Intervention): 디노이징 루프에 신호를 주입하는 방식(예: Tree-Ring, Gaussian Shading)은 자연스러운 확산 궤적을 방해하여 아티팩트를 유발하고 생성 다양성을 제한합니다.
• 모델 미세 조정(Model Fine-tuning): 워터마크를 삽입하기 위해 모델 파라미터를 수정하는 방식(예: Stable Signature, SleeperMark)은 학습 비용을 증가시키고 사전 학습된 최적 분포에서 벗어나게 하여 생성 성능을 저하시킵니다.
• 블랙박스 불호환성(Black-Box Incompatibility): 기존의 많은 핑거프린팅 방법들은 중간 디노이징 단계에 대한 세밀한 개입을 요구하므로, 원자적 추론(입력-출력)만 접근 가능한 블랙박스 API와 호환되지 않습니다.

또한, 현재의 방법들은 엄격한 통계적 기준이 부족하여 신뢰할 수 있는 검증을 위한 정량적 증거를 제공하지 못하는 경우가 많습니다.

방법론: TrajPrint

저자들은 결정론적 생성 과정 중에 형성되는 고유한 매니폴드 핑거프린트를 추출하여 모델의 저작권을 검증하는, 완전히 무손실이며 학습이 필요 없는 프레임워크인 TrajPrint를 제안합니다. 핵심 통찰은 확산 모델의 결정론적 생성 과정이 고유한 고차원 매니폴드 매핑을 구성하며, 이것이 고유한 정체성 역할을 한다는 점입니다.

이 프레임워크는 두 가지 주요 단계로 작동합니다:

1. 핑거프린트 노이즈 생성

목표는 대상 모델 $G_\theta$를 위한 고유한 트리거 역할을 하는 특정 핑거프린트 노이즈 $z^*$를 구축하는 것입니다.

• 워터마크 앵커(Watermarked Anchor): 이산형 이진 저작권 메시지가 포함된 캐리어 이미지를 통해 "워터마크 앵커"($I_w$)를 생성합니다.
• 궤적 역전(Trajectory Inversion): 결정론적 DDIM inversion을 사용하여 앵커를 잠재 노이즈 기원($x_T$)으로 역매핑합니다. 이 단계는 이미지 도메인에서 노이즈 도메인으로 가는 경로를 추적함으로써 모델의 고유한 생성 동작을 고정합니다.
• 결합 최적화(Joint Optimization): 역전 과정에서의 이산화 오류를 완화하고 특이성을 강화하기 위해, 결합 최적화 전략을 통해 최종 핑거프린트 노이즈 $z^*$를 합성합니다. 이는 **이중 엔드 앵커링(dual-end anchoring)**을 사용합니다:
  • 지각적 매니폴드 정렬 (출력 엔드): 재구성 손실($L_{rec}$)은 의미론적 일관성을 강제하여 생성된 이미지가 워터마크 앵커 $I_w$와 일치하도록 합니다. 이는 최적화가 대상 모델의 고유한 디노이징 경로와 일치하는 노이즈를 발견하도록 유도합니다.
  • 잠재 궤적 정규화 (입력 엔드): 정규화 손실($L_{reg}$)은 최적화된 노이즈 $z^*$가 궤적 기원 $x_T$의 국소적 근방 내에 머물도록 제한합니다. 이는 다른 모델로 전이될 수 있는 범용적인 적대적 섭동(adversarial perturbations) 생성을 방지합니다.
  • 워터마크 복구: 워터마크 복구 손실($L_w$)은 임베딩된 메시지가 성공적으로 추출될 수 있도록 최적화를 가이드합니다.

전체 손실 함수는 가중치가 부여된 목적 함수들의 합이며, 모델 파라미터는 고정한 채 잠재 입력 $z$에 대해서만 최적화됩니다.

2. 검증

검증 단계에서 방어자는 최적화된 핑거프린트 노이즈 $z^*$를 사용하여 의심되는 블랙박스 모델에 쿼리를 보냅니다.

• 원자적 추론(Atomic Inference): 이 과정은 표준적인 입출력 상호작용만을 필요로 하므로, 캡슐화된 API와 호환됩니다.
• 통계적 테스트: 추출된 워터마크 메시지는 원래의 메시지와 비교됩니다. 비트 정확도(BA)가 계산되며, 귀무 가설(무작위 추측, $\mu=0.5$)에 대해 일표본 t-검정(one-sample t-test)이 수행됩니다. 통계적으로 유의미한 p-값은 저작권 침해에 대한 신뢰할 수 있는 증거를 제공합니다.

주요 기여

1. 무손실 및 학습 불필요 검증: TrajPrint는 모델 가중치나 구조를 수정하지 않고 고유한 모델 핑거프린트를 추출하여, 생성 품질의 저하 없이 검증을 수행합니다.
2. 블랙박스 호환성: 결정론적 궤적 역전에 의존하는 원자적 추론을 통해, 이전의 핑거프링 기술들과 달리 중간 상태에 접근할 수 없는 시나리오에서도 작동합니다.
3. 매니폴드 특화 핑거프린팅: 궤적 역추적을 통해 고유한 생성 매니폴드를 특정 핑거프린트 노이즈로 매핑함으로써, 비대상 모델에 대한 오탐(false positive)을 방지하는 트리거-검증 쌍을 구축합니다.
4. 통계적 엄밀성: 정량화 가능하고 법적으로 강력한 저작권 침해 증거를 제공하기 위해 통계적 가설 검정 프로토콜을 도입했습니다.

실험 결과

다양한 잠재 확산 모델(Stable Diffusion v1.5, v2.1, XL, DeciDiffusion, Pixart-$\alpha$)과 다양한 공격 시나리오에 대해 광범-한 실험이 수행되었습니다.

• 특이성(Specificity): TrajPrint는 대상 모델에서 $10^{-3}$ 미만의 p-값과 함께 0.96 이상의 비트 정확도(BA)를 달Ы했습니다. 교차 모델 검증 시 정확도는 약 0.55(무작위 확률)로 떨어졌으며, 이는 전이성이 없음을 보여주며 허위 고발을 효과적으로 방지함을 입증합니다. 반면, 무작위 노이즈 최적화를 사용하는 베이스라인 모델들은 높은 교차 모델 전이성(BA ~0.7)을 보여 허위 고발의 가능성을 드러냈습니다.
• 강건성(Robustness): 본 방법은 다음과 같은 상황에서도 탁월한 회복력을 보여주었습니다:
  • 파라미터 미세 조정: LoRA 및 DreamBooth 미세 조정(최대 5000 스텝) 후에도 높은 BA(>0.91)를 유지했습니다.
  • 양자화: FP16 및 BFloat16 정밀도 환경에서도 견고하게 작동했습니다(BA > 0.95).
  • 프루닝(Pruning): 10% 희소성까지의 비구조적 크기 프루닝(unstructured magnitude pruning)을 견뎌냈습니다(BA > 0.8).
• 절제 연구(Ablation Studies): 이중 엔드 앵커링 제약을 제거했을 때 교차 모델 정확도가 급증(~0.7)하였으며, 이는 특이성을 위한 궤적 앵커링의 필요성을 확인시켜 줍니다. 또한, 다양한 결정론적 샘플러와 샘플링 스텝(20–100)에서도 안정적이었으며, 최대 128비트의 워터마크 페이로드를 지원했습니다.

의의 및 한계

본 논문은 TrajPrint가 모델 소유자가 내부 파라미터에 접근하거나 모델 가중치를 수정할 수 없는 실제 환경에서 저작권 검증을 위한 실용적인 솔루션을 제공한다고 주장합니다. 원자적 추론을 통해 작동하는 능력은 블랙박스 API로 배포된 모델을 검증하는 데 독보적으로 적합합니다.

한계점:
저자들은 특정 제약 사항을 언급했습니다: 대상 환경은 반드시 커스텀 초기 노이즈 주입(예: ComfyUI 또는 Stable Diffusion WebUI와 같은 인터페이스를 통한)을 지원해야 합니다. 따라서 이 방법은 초기 노이즈를 직접적인 입력 파라미터로 받지 않는 API 시나리오에는 적용되지 않을 수 있습니다.