기술 요약: 안전한 용량은 없다: 훈련 데이터가 어떻게 위험한 이미지 생성을 주도하는가

문제 정의

텍스트-이미지 (T2I) 생성 모델은 대규모이며 종종 큐레이션되지 않은 데이터셋으로 훈련되며, 이는 필연적으로 폭력, 성적 자료, 혐오 이미지와 같은 위험한 콘텐츠를 포함합니다. 프롬프트 필터링과 RLHF 와 같은 반응적 개입은 일반적이지만, 근본적인 상류의 질문은 여전히 해결되지 않았습니다: 훈련 데이터의 구성이 모델 출력의 안전성에 직접적으로 어느 정도 영향을 미치는가?

현재 문헌은 독점 데이터셋, 다양한 아키텍처, 하이퍼파라미터와 같은 다른 교란 변수들로부터 훈련 데이터 구성을 분리한 통제된 분석이 부족합니다. 또한, 위험한 이미지의 비율이 위험한 생성을 주도하는 작동 변수인지, 아니면 절대적 개수가 그런 것인지 명확하지 않습니다. furthermore, 안전성 필터링이 이미지 품질을 저하시키는 정도는 여전히 논쟁의 대상입니다.

방법론

저자들은 데이터셋 구성을 주요 변수로 분리하기 위해 엄격한 통제 실험을 수행했습니다.

실험 설계

• 모델 아키텍처: 모든 조건에서 고정된 텍스트 - 이미지 흐름 매칭 모델 (PRX-1.2B) 을 사용했습니다.
• 훈련 데이터: FLUX-생성, FLUX-Reason, Midjourney-v6 의 세 가지 공개 소스에서 코퍼스를 구성했습니다.
• 개입 계열: 훈련 분포를 조작하여 다음에서 변이하는 7 가지 서로 다른 조건을 생성했습니다.
  1. 오염 비율 ($p$): 0% 에서 약 9.6% 의 위험한 이미지까지.
  2. 데이터셋 규모 ($N$): 10 만 개에서 860 만 개의 이미지까지.
  3. 절대적 개수 ($U$): $p$를 변이시키면서 $U$를 일정하게 유지하고, 그 반대의 경우도 조건을 설계했습니다.
• 텍스트 인코더 제거 (Ablation): 조건부 모델의 기여도를 분리하기 위해, 저자들은 T5-Gemma-2B(기본), CLIP ViT-L/14, SafeCLIP ViT-L/14 의 세 가지 다른 텍스트 인코더를 사용하여 모델을 재훈련했습니다.
• 평가 프로토콜:
  • 생성: 각 모델당 30,000 개의 이미지를 층화 프롬프트 테스트베드 (1,000 개의 안전한 프롬프트, 9 가지 안전 범주에 걸친 9,000 개의 적대적 프롬프트) 에서 생성했습니다.
  • 안전성 분류: 출력물을 네 가지 독립적인 안전성 분류기 (LlavaGuard, LlamaGuard, ShieldGemma, Stable Diffusion Safety Checker) 로 평가했습니다.
  • 품질 지표: 품질 트레이드오프를 평가하기 위해 FID, CLIPscore, ImageReward 를 계산했습니다.

주요 기여

1. 인과 관계 확립: 이 논문은 훈련 데이터의 위험한 비율과 위험한 이미지 생성률 사이에 직접적이고 단조로운 인과 관계가 있음을 보여주는 통제된 분석을 제공합니다.
2. 비율 대 개수: 요인 설계 (factorial design) 를 통해 저자들은 위험한 이미지의 비율이 절대적 개수가 아닌 작동 변수임을 증명합니다. 안전성 필터링은 최소 데이터셋 크기 (~100 만 개 이미지) 이상에서 규모 불변성 (scale-invariant) 을 갖는 것으로 나타났습니다.
3. 적대적 특이성: 위험한 생성 효과는 오직 적대적 (adversarial) 입니다. 안전한 프롬프트 하에서 모든 모델은 오염 수준에 관계없이 약 1% 의 위험한 출력을 생성합니다. 데이터 큐레이션은 구체적으로 적대적 공격 표면을 대상으로 합니다.
4. 회복 불가능한 안전성 바닥 (Irreducible Safety Floor): 0% 의 위험한 훈련 이미지로도 기본 수준의 위험한 출력이 지속됩니다 (T5-Gemma 의 경우 16.6%). 이 "바닥"은 웹 규모 데이터로 사전 훈련된 고정된 텍스트 인코더에 기인합니다. 인코더를 SafeCLIP 으로 교체하면 이 바닥이 9.6% 로 감소합니다.
5. 영향 없는 품질 비용: 안전성 필터링은 필터링되지 않은 기준선과 비교하여 이미지 품질 (FID, CLIPscore, ImageReward) 에서 측정 가능한 저하를 초래하지 않습니다.

주요 결과

용량 - 반응 관계

• 단조 증가: 출력의 위험성은 훈련 오염과 함께 단조롭게 증가합니다.
  • 0% 오염 (C1): 16.6% 위험한 출력.
  • 1.2% 오염 (C0, 자연적): 20.6% 위험한 출력.
  • 5% 오염 (C2): 25.5% 위험한 출력.
  • 9.6% 오염 (C3): 26.4% 위험한 출력.
• 증폭: 모델은 입력 신호를 크게 증폭시킵니다. 1.2% 훈련 오염은 위험한 출력의 17 배 증가 (20.6%) 를 초래합니다.
• 하선형성 (Sublinearity): 관계는 하선형 (포화) 이며, 오염이 증가함에 따라 한계 수익이 체감함을 시사합니다.

비율 대 절대적 개수

• 규모 불변성: 1.2% 오염으로 훈련된 100 만 개 이미지 (C4) 와 1.2% 오염으로 훈련된 800 만 개 이미지 (C0) 의 모델은 안전성 성능에서 통계적으로 유의미한 차이가 없었습니다.
• 개수 통제: 위험한 이미지의 절대적 개수 (96,000 개) 를 일정하게 유지하면서 비율을 변이시켰을 때 (C0 의 1.2% 대 C6 의 9.6%), 더 높은 비율을 가진 모델 (C6) 이 훨씬 더 많은 위험한 출력을 생성했습니다 (26.2% 대 20.6%).

텍스트 인코더 영향

• 회복 불가능한 바닥: 필터링된 데이터 (0% 오염) 로 위험성 비율은 다음과 같았습니다:
  • T5-Gemma: 16.6%
  • CLIP: 14.7%
  • SafeCLIP: 9.6%
• 효과 지속: 용량 - 반응 효과는 세 가지 인코더 모두에서 지속되어, 위험한 개념이 텍스트 인코더와 무관하게 시각적 훈련 분포에서 학습됨을 확인시켰지만, 인코더가 기본 위험을 설정함을 보여주었습니다.

범주 민감도

• 시각적 대 문맥적: 특정 시각적 지식이 필요한 범주 (O3: 성적 콘텐츠, O4: 노출) 는 훈련 오염에 가장 강한 민감도를 보였습니다.
• 문맥적 범주: 문맥적 해석에 의존하는 범주 (O1: 혐오, O7: 자해) 는 비단조적 추세를 보였으며 시각적 데이터 오염에 덜 민감하여 텍스트 인코더의 지배적 역할을 시사했습니다.

품질 및 견고성

• 품질 지표: 모든 조건에서 FID, CLIPscore, ImageReward 에서 체계적인 저하가 관찰되지 않았습니다.
• 분류기 일관성: 절대적 등급 엄격함의 차이에도 불구하고, 용량 - 반응 프로파일이 네 가지 독립적인 안전성 분류기 모두에서 일관되었습니다.

중요성 및 주장

이 논문은 데이터 큐레이션과 텍스트 인코더 안전성이 상호 보완적이며 독립적으로 효과적인 개입임을 확립합니다.

• 실무자를 위해: 저자들은 계층적 전략을 제안합니다:

  1. 고정된 비율의 위험한 훈련 콘텐츠를 필터링 (코퍼스의 크기와 관계없이 효과적이며 품질 비용 없음).
  2. 표준 텍스트 인코더를 안전성 정렬 변형 (예: SafeCLIP) 으로 교체하여 회복 불가능한 안전성 바닥을 낮춤.
  3. 적대적 프롬프트 방어에 투자하여 데이터 또는 인코더 개입으로 커버되지 않는 잔여 위험을 해결.

• 이론적 함의: 이 발견은 안전성에 관한 "더 크면 더 좋다"는 확장 패러다임에 도전하며, 데이터 구성과 인코더 안전성을 다루지 않는 한 모델 능력의 증가가 더 높은 위험한 생성률로 이어질 수 있음을 시사합니다 (모델 세대에 걸쳐 Fig. 1 에서 관찰됨).

• 한계 및 범위: 저자들은 명시적으로 "위험한"의 정의가 자동 분류기와 9 가지 범주 분류에 기반한 운영적 (operational) 이라고 명시합니다. 이는 불법 콘텐츠 (예: 아동 성착물, NCII) 에 대한 법적 평가를 구성하지 않습니다. 이 연구는 사전 훈련 역학에 초점을 맞추고 있습니다. 안전한 데이터에 대한 지도 미세 조정 (SFT) 이 역설적으로 위험한 비율을 증가시킬 수 있음을 관찰했지만 (아마도 능력 향상 때문), 주요 초점은 여전히 사전 훈련 데이터 구성과 출력 안전성 사이의 인과 관계에 있습니다.