기술 요약: SafeDiffusion-R1

문제 제기

대규모 웹 데이터로 학습된 텍스트-이미지 (T2I) 확산 모델은 시각적 콘텐츠 생성을 민주화했지만, 우연히도 안전하지 않고 노골적인 연관성을 내부화했습니다. 기존 안전 개입 방법은 다음과 같은 중대한 한계에 직면해 있습니다:

1. 데이터 부족과 비용: 지도 미세 조정 (SFT) 또는 오프라인 강화 학습 (RL) 에 의존하는 방법은 안전/안전하지 않은 이미지 - 텍스트 쌍 또는 부정/긍정 이미지 쌍의 비싸고 큐레이션된 데이터셋이 필요하며, 이는 확장하기 어렵습니다.
2. 치명적인 망각: 합성 데이터를 생성하거나 고정된 데이터셋에 의존하는 오프라인 접근법은 종종 치명적인 망각을 겪어 모델의 일반적인 생성 능력과 구성적 품질을 저하시킵니다.
3. 정적 감독: 현재 패러다임 (SFT 및 오프라인 RL) 은 고정된 예제나 사전 생성된 데이터에 대해 최적화합니다. 이들은 모델의 진화하는 생성 행동에 맞춰 학습 신호를 적응시키지 못하므로, 학습 중에 동적으로 나타나는 안전하지 않은 콘텐츠를 추적하고 억제하는 데 불충분합니다.
4. 보상 모델 오버헤드: 많은 안전 정렬 방법은 이미지를 안전하거나 안전하지 않다고 분류하기 위해 전문 보상 모델을 학습하거나 미세 조정해야 하므로 추가적인 계산 오버헤드를 초래합니다.

방법론

저자들은 감독된 쌍을 이루는 데이터나 전문 보상 모델의 미세 조정 없이 확산 모델을 안전 제약 조건과 정렬하도록 설계된 온라인 강화 학습 프레임워크인 SafeDiffusion-R1을 제안합니다. 이 프레임워크는 두 가지 핵심 구성 요소를 통합합니다:

1. GRPO 를 통한 온라인 정책 최적화

이 방법은 학습 알고리즘으로 **그룹 상대 정책 최적화 (GRPO)**를 사용합니다. 표준 PPO 나 오프라인 RL 과 달리 GRPO 는 온-정책 (on-policy) 방식으로 작동합니다:

• 동적 샘플링: 모델은 학습 중에 안전하고 안전하지 않은 프롬프트 모두에서 이미지 샘플을 지속적으로 생성합니다.
• 그룹 기반 이점: 각 프롬프트에 대해 $K$개의 독립적인 샘플이 생성됩니다. 이점은 전역적으로가 아니라 그룹 내에서 정규화됩니다 ($A_{i,k} = \frac{r_{i,k} - \bar{r}_i}{\sigma_i + \delta}$). 이는 안전하고 안전하지 않은 프롬프트 간의 보상 규모 불일치를 완화하여 과도한 수정을 방지하고 현재 정책의 분포에 대한 안정적인 업데이트를 보장합니다.
• 온-정책 학습: 안전 최적화를 모델의 진화하는 샘플링 분포와 결합함으로써, 이 방법은 분포 불일치를 피하고 안전하지 않은 개념을 점진적으로 잊어가는 동안 일반적인 생성 능력을 유지합니다.

2. 기하학적 인식 조향 보상

별도의 안전/안전하지 않은 분류기나 보상 모델의 필요성을 제거하기 위해, 저자들은 CLIP 임베딩의 기하학적 속성을 활용하는 조향 보상 메커니즘을 도입합니다:

• 안전 방향 벡터 ($v_{safe}$): 소수의 안전 텍스트 앵커 ($T_{safe}$) 와 안전하지 않은 텍스트 앵커 ($T_{unsafe}$) 의 평균 임베딩 간의 정규화된 차이로 텍스트 임베딩 공간에서 단위 벡터를 계산합니다:
  $$v_{safe} = \frac{\bar{z}_{safe} - \bar{z}_{unsafe}}{\|\bar{z}_{safe} - \bar{z}_{unsafe}\|_2}$$
• 조건부 조향: 입력 프롬프트 $c$에 대해 텍스트 임베딩 $z_T$를 $v_{safe}$에 투영합니다. 프롬프트가 안전하지 않다고 식별되면 (부정 투영), 임베딩을 기하학적으로 안전 방향을 향해 조향합니다:
  $$z'_T = \text{normalize}(z_T + \alpha v_{safe})$$
  여기서 $\alpha$는 조향 강도 하이퍼파라미터입니다.
• 보상 계산: 보상은 안전하지 않은 프롬프트의 경우 이미지 임베딩 ($z_I$) 과 조향된 텍스트 임베딩 ($z'_T$) 사이의 코사인 유사도로 계산되며, 안전한 프롬프트의 경우 원래 텍스트 임베딩을 사용합니다. 이는 모델이 "안전하지 않은 프롬프트를 이해"했다는 이유로 명시적으로 처벌하지 않으면서도 안전한 의미 속성과의 정렬을 장려하도록 최적화 신호를 재구성합니다.

주요 기여

1. 온라인 정책 공식화: 이 논문은 T2I 확산 모델에 대한 안전 정렬을 온라인 정책 최적화 문제로 공식화하여, 안전 학습을 모델의 진화하는 생성 분포와 결합하여 치명적인 망각을 방지하는 GRPO 기반 프레임워크를 도입합니다.
2. 조향 보상 메커니즘: CLIP 임베딩 공간에서 안전을 방향성으로 표현하는 새로운 기하학적 인식 보상이 제안되었습니다. 이는 전용 안전/안전하지 않은 보상 모델을 학습하거나 감독된 쌍을 이루는 데이터에 의존하지 않고 개념 억제를 가능하게 합니다.
3. 실증적 검증: 광범위한 실험은 이 프레임워크가 안전 벤치마크에서 지도 미세 조정 및 오프라인 정렬 방법보다 우수한 성능을 발휘하면서도 구성적 생성 품질을 유지하거나 향상시킨다는 것을 보여줍니다.

실험 결과

이 방법은 I2P 벤치마크 (노출도 검출) 와 GenEval (구성적 유틸리티) 을 사용하여 Stable Diffusion v1.4 에서 평가되었습니다.

• 안전 성능:
  • 노출도 검출: SafeDiffusion-R1 은 노출도 검출 횟수를 15로 줄였습니다 (기저 SD v1.4 의 646 회 및 RECE 기저의 66 회 대비).
  • 부적절한 콘텐츠: 이 방법은 전체 부적절한 콘텐츠 비율을 **18.07%**로 줄였습니다 (SD v1.4 의 48.9% 대비). 주목할 점은 주로 노출도 중심 프롬프트로 학습되었음에도 불구하고 일곱 가지 해악 카테고리 (혐오, 괴롭힘, 폭력, 자해, 성적, 충격적, 불법 활동) 에서 강력한 성능을 달성하여 강력한 분포 외 (OOD) 일반화를 입증했습니다.
• 유틸리티 보존:
  • 구성적 품질: 유틸리티를 저하시키는 기저 모델들과 달리 SafeDiffusion-R1 은 GenEval 점수를 42.08% (SD v1.4) 에서 **47.83%**로 향상시켰습니다.
  • 시각적 충실도: 정성적 분석은 모델이 구조적 무결성, 얼굴 세부 사항, 조명 일관성을 유지하며 EraseDiff 나 ESD 와 같은 방법에서 관찰되는 왜곡, 과도한 평활화, 또는 의미적 불일치를 피한다는 것을 보여줍니다.
  • CLIP 점수: 모델은 기저와 가까운 CLIP-T 점수를 유지했습니다 (0.311 대 0.313), 이는 지시 따르기 능력이 보존되었음을 나타냅니다.

중요성 및 주장

이 논문은 SafeDiffusion-R1 이 확산 모델에서 안전과 유틸리티 간의 중요한 트레이드오프를 해결한다고 주장합니다. 온라인 GRPO와 기하학적 조향을 활용함으로써 이 접근법은 다음과 같습니다:

• 데이터 의존성 제거: 비싸고 큐레이션된 감독 안전 데이터셋의 필요성을 제거합니다.
• 보상 모델 오버헤드 회피: 전문 보상 분류기 학습의 계산 비용을 우회합니다.
• 안정성 보장: 온-정책 공식화와 그룹 상대 정규화는 치명적인 망각과 분포 붕괴를 방지합니다.
• 강력한 일반화: 이 방법은 다양한 해악 카테고리에 걸쳐 분포 외 (OOD) 안전하지 않은 프롬프트에 일반화되는 최첨단 안전 성능을 달성하며, 좁은 범위의 안전하지 않은 개념으로 학습되더라도 이를 달성합니다.

저자들은 이 작업을 사전 학습된 모델을 처음부터 다시 학습시키지 않고 안전하지 않은 개념을 억제하도록 직접 조정하는 사전 학습 후 수정을 위한 실용적 전략으로 위치시킵니다. 이는 Stable Diffusion 과 같이 공개된 시스템과 호환성을 유지합니다.