기술 요약: 깨진 기억: 열화된 생성물을 통한 확산 모델의 암기 탐지 및 완화

문제 제기

확산 모델은 고품질 이미지 생성에서 놀라운 성과를 거두었으나, **암기 (memorization)**라는 중대한 개인정보 및 저작권 과제를 안고 있습니다. 이러한 모델은 우발적으로 특정 훈련 데이터를 복제하거나 이를 매우 닮은 이미지를 생성하여 잠재적인 데이터 유출을 초래합니다. 기존 완화 전략은 두 가지 주요 한계를 겪고 있습니다:

1. 재생성 의존성: 대부분의 현재 방법은 "탐지 후 재시도" 방식으로 작동합니다. 암기를 탐지하면 현재 생성을 중단하고 수정된 입력 (예: 변경된 프롬프트 또는 임베딩) 으로 다시 시작하여 지연 시간과 계산 비용을 크게 증가시킵니다.
2. 휴리스틱 또는 정적 개입: 완화는 종종 생성 궤적의 역동적 특성에 적응하지 못하는 고정된 규칙이나 정적 조정 (예: 고정된 가이드 스케일 감소) 에 의존하며, 이는 종종 의미적 충실도나 이미지 품질을 훼손합니다.

또한, 일부 방법은 내부 신호 (예: 어텐션 가중치 또는 가이드 크기) 를 통해 암기를 탐지하지만, 이러한 신호와 종종 관찰되는 암기된 출력의 시각적 열화 사이의 원칙적인 이론적 연결고리가 일반적으로 부족합니다.

방법론

저자들은 확산 모델의 잠재 역학에서 암기가 수치적 불안정성을 유발한다는 관찰에 기반한 실시간 탐지 및 적응형 완화를 위한 원칙적인 프레임워크를 제안합니다.

1. 이론적 통찰: 수치적 불안정성

이 논문은 암기된 샘플을 생성할 때, 노이즈 제거 궤적이 모델의 안정적인 동작에서 벗어나 시각적으로 "깨진" 아티팩트 (예: 왜곡된 세부 사항) 로 나타난다고 식별합니다. 수치 해석에서 영감을 받아 저자들은 다음과 같이 주장합니다:

• 불안정성으로서의 암기: 암기된 프롬프트는 모델이 특정 데이터 포인트에 과적합되게 하여, 클래스리스 가이드 (CFG) 메커니즘에서 과도하게 큰 기울기를 유발합니다.
• 잠재 업데이트 이상: PNDM(Stable Diffusion v1 에서 사용됨) 과 같은 고차 솔버에서 이러한 큰 기울기는 잠재 업데이트 단계 ($\delta_t = z_t - z_{t+1}$) 가 안정적인 다양체의 범위를 초과하게 하여 궤적의 진동이나 발산을 초래합니다.
• 샘플러 무관성: 이 불안정성은 PNDM 에 국한되지 않습니다. DDIM 과 같은 결정론적 샘플러를 사용하여 최종 이미지가 시각적으로 그럴듯해 보이더라도 내부 잠재 궤적은 여전히 안정성에서 상당한 편차를 보입니다.

2. 경험적 안정 영역

계산이 불가능한 자코비안 고유값을 계산하지 않고도 이 행동을 정량화하기 위해, 저자들은 경험적 안정 영역을 정의합니다:

• 잠재 업데이트 노름 ($\|\delta_t\|$): 비암기 (정상) 프롬프트의 작은 집합에서 얻은 잠재 업데이트 노름의 평균 ($\mu_t$) 과 표준 편차 ($\sigma_t$) 를 사용하여 통계적 영역 $R^{(t)}_\delta = [\mu_t - \gamma\sigma_t, \mu_t + \gamma\sigma_t]$를 구성합니다.
• 재구성된 초기 잠재 ($\|\hat{z}^{(t)}_0\|$): 마찬가지로, DDIM 에서 재구성된 초기 잠재에 대한 안정 영역을 정의하여 의미적 안정성 대리 지표로 사용합니다.

3. 탐지 메커니즘

시스템은 생성 궤적을 단계별로 모니터링합니다. 각 단계 $t$에서, 현재 잠재 업데이트 노름이 경험적 안정 영역에서 벗어난 정도를 측정하는 Z-점수 ($s_t$) 를 계산합니다:
$$s_t = \frac{|\|\delta_t\| - \mu_t|}{\sigma_t}$$
높은 $s_t$는 이상 업데이트를 나타내며, 잠재적인 암기를 신호합니다. 초기 단계에서의 최대 Z-점수가 탐지 지표로 사용됩니다.

4. 적응형 완화 전략

정적 방법과 달리, 이 프레임워크는 생성을 다시 시작하지 않고 실시간으로 개입합니다. 탐지된 불안정성의 심각도에 기반한 2 단계 적응형 전략을 사용합니다:

• 경미한 암기: 편차가 moderate 한 경우, 이 방법은 주로 초기 단계에서 궤적을 정규화하기 위해 잠재 크기 제약 (경험적 평균으로 $\hat{z}^{(t)}_0$ 재조정) 을 적용합니다.
• 심각한 암기: 편차가 심각한 경우, 궤적 전반에 걸쳐 더 엄격한 결합 제약이 적용되어 잠재 노름 ($\|z_t\|$) 과 업데이트 노름 ($\|\delta_t\|$) 이 각각의 안정 영역 내에 머물도록 강제합니다.

이 과정은 스트리밍 필터 역할을 하여 불안정성을 탐지하자마자 잠재 상태를 안정적인 다양체로 즉시 투영하여 원활한 생성을 보장합니다.

주요 기여

1. 체계적 분석: 열화된 암기 생성을 확산 샘플링의 수치적 불안정성과 체계적으로 연결한 최초의 연구로, 잠재 업데이트 크기에서 독특한 이상을 밝혀냈습니다.
2. 경험적 안정 영역: 수치 안정성 이론에 기반한 개념을 도입하여 정상 및 암기 생성을 특성화하고 진단하며, 다양한 샘플러 (PNDM, DDIM) 에 적용 가능합니다.
3. 실시간 프레임워크: 불안정성이 탐지될 때만 생성 궤적을 적응적으로 제약하는 진단 기반 프레임워크를 개발하여 기존 휴리스틱 또는 정적 방법을 능가합니다.
4. 성능: 이미지 품질을 유지하면서 거의 오버헤드 없이 암기 생성을 완전히 제거하고 우수한 탐지 정확도를 달성했습니다.

실험 결과

실험은 암기된 프롬프트 (LAION 에서 유래) 와 비암기 프롬프트 데이터셋을 사용하여 Stable Diffusion 1.4에서 수행되었으며 (부록에서 1.5 및 2.1 로 확장됨).

• 탐지 성능: 이 방법은 AUC > 0.999를 달성하며 1% 거짓 양성률 (FPR) 에서 높은 참 양성률 (TPR@1%FPR) 을 보여, 다양한 시드 설정 및 스케줄러 유형 (PNDM 및 DDIM) 에서 Ren et al., Wen et al., Jeon et al. 등의 최신 베이스라인을 능가합니다.
• 완화 성능:
  • 암기율: 사전 훈련된 SD 1.4 모델에서 암기율을 **0.0%**로 감소시킵니다.
  • 이미지 품질: 과도한 완화 (의미적 편차) 나 미흡한 완화 (아티팩트 유지) 로 고통받는 베이스라인을 능가하며 높은 의미적 충실도 (CLIP Score) 와 이미지 사실성 (FID) 을 유지합니다.
  • 효율성: 이 접근법은 다른 방법에서 발견되는 재생성 또는 반복적 최적화와 관련된 지연 시간 패널티를 피하면서, 이미지당 약 0.01 초의 무시할 만한 계산 오버헤드를 초래합니다.

중요성 및 주장

이 논문은 암기 완화의 관점을 휴리스틱 신호 억제에서 원칙적인 수치 안정성으로 전환하는 데 그 주요 중요성이 있다고 주장합니다. 정상 이미지 생성 역학의 통계 법칙에 탐지를 근거로 함으로써, 이 방법은 이상을 식별하기 위한 견고하고 모델 무관하며 시간 불변적인 표준을 제공합니다.

저자들은 그들의 접근법이 탐지, 실시간 완화, 적응성을 단일 프레임워크에서 독창적으로 결합한다고 강조합니다. 이는 비용이 많이 드는 재생성 필요성을 제거하고, 출력의 의미적 의도와 시각적 품질을 보존하는 원활한 개입을 가능하게 합니다. 이 연구는 암기를 궤적 편차 문제로 바라보는 것이 신뢰할 수 있는 생성 모델을 구축하기 위한 새로운 원칙적인 방향을 제시한다고 시사합니다.