기술 요약: 추론 시점 프롬프트-노이즈 최적화(PNO)를 통한 텍스트-이미지 생성의 안전성 확보

1. 문제 정의

텍스트-이미지(T2I) 확산 모델은 고품질의 다양한 이미지를 생성할 수 있는 능력을 갖추고 있으나, 대규모의 필터링되지 않은 학습 데이터셋에서 유래된 편향으로 인해 민감하거나 부적절한 내용을 포함하는 안전하지 않은 콘텐츠를 생성할 위험이 있습니다. 기존의 안전 메커즘은 다음과 같은 상당한 한계에 직면해 있습니다:

• 데이터 필터링 및 재학습: 계산 비용이 많이 들며, 모든 부적절한 콘텐츠를 제거하는 데 종종 실패합니다.
• 미세 조정(Fine-tuning): 상당한 자원을 필요로 하며, 보지 못한 프롬프트에 대한 일반화 능력이 부족하고 이미지 품질을 저하시킬 위험이 있습니다.
• 추론 시점 개입(가이드/편집): 네거티브 프롬프팅(negative prompting)이나 모델 편집과 같은 방법들은 우회하기 쉽고 견고함(robustness)이 부족합니다.
• 근본적인 충돌: 사용자의 프롬프트를 충실히 따르는 것과 안전하지 않은 출력을 피하는 것 사이에는 내재적인 긴장이 존재합니다. 현재의 방법들은 이 두 목표 사이의 균형을 맞추는 데 실패하며, 안전성을 확보하거나 의도된 의미론적 정렬을 크게 훼손하는 경향이 있습니다.

또한, T2I 시스템은 안전 필터를 우회하기 위해 설계된 악의적인 프로프트를 사용하는 적대적 공격(adversarial attacks)에 매우 취약합니다. 본 논문은 중요한 격차를 식별했습니다: 즉, 모델의 광범위한 재학습을 요구하지 않으면서도 독성 생성을 효과적으로 억제하고 높은 프롬프트-이미지 정렬을 유지할 수 있는 강력한 학습 불필요(training-free) 접근 방식이 존재하지 않는다는 점입니다.

2. 방법론: 프롬프트-노이즈 최적화 (PNO)

저자들은 추론 단계에서 작동하는 새롭고 학습이 필요 없는 프레임워크인 **프롬프트-노이즈 최적화(PNO)**를 제안합니다. PNO는 안전한 이미지 생성을 최적화 문제로 취급하며, 확산 샘플링 과정의 두 가지 근본적인 구성 요소를 공동으로 조정합니다.

2.1. 최적화 변수

모델 가중치나 이산적인(discrete) 텍스트 프롬프트를 수정하는 대신, PNO는 연속적인 공간에서 최적화를 수행합니다:

1. 연속적 프롬프트 임베딩 ($c$): 텍스트 프롬프트의 잠재 표현(예: CLIP을 통한 표현)입니다. 이 연속 공간에서 최적화함으로써 이산적인 텍스트 수정보다 더 미세한 의미론적 제어가 가능합니다.
2. 주입된 노이즈 궤적 ($\tau = \{x_T, z_T, \dots, z_1\}$): 디노이징 과정(특히 DDIM 샘플링) 중에 사용되는 노이즈 샘플의 시퀀스입니다. 노이즈 궤적은 저수준의 세부 사항과 이미지의 구체적인 실현을 제어합니다.

2.2. 목적 함수

목표는 가우시안 노이즈의 특성을 보존하고 원래 프롬프트와의 정렬을 유지하면서 독성 손실 함수를 최소화하는 것입니다. 최적화 문제는 다음과 같이 공식화됩니다:
$$\min_{c, \tau} L_{toxic}(x_0) + \lambda L_{reg}(\tau)$$
제약 조건:
$$x_0 = \text{DDIM}(c, \tau)$$

• $L_{toxic}(x_0)$: 생성된 이미지 $x_0$의 부적절함을 정량화하는 손실 함수로, 일반적으로 사전 학습된 이미지 안전 분류기(예: Q16)에 의해 측정됩니다.
• $L_{reg}(\tau)$: 최적화된 노이즈 궤적이 표준 가우시안 분포에 가깝게 유지되도록 하여 생성 과정이 불안정해지는 것을 방지하는 정규화 항입니다.
• $\lambda$: 정규화의 강도를 제어하는 하이퍼파라미터입니다.

2.3. 알고리즘

PNO는 경사 하강법 기반의 최적화 루프(알고리즘 2)를 채택합니다:

1. 초기화: 사용자의 텍스트로부터 프롬프트 임베딩 $c$를 초기화하고, 랜덤 샘플링을 통해 노이즈 궤적 $\tau$를 초기화합니다.
2. 샘플링: 현재의 $c$와 $\tau$를 사용하여 DDIM 샘플러로 이미지 $x_0$를 생성합니다.
3. 평가: 독성 손실과 정규화 손실을 계산합니다.
4. 업데이트: $c$와 $\tau$에 대한 그래디언트를 계산하고 옵티마이저(예: Adam)를 사용하여 이를 업데이트합니다.
5. 종료: 독성 손실이 임계값 아래로 떨어지거나 최대 반복 횟수에 도달할 때까지 이 과정을 반복합니다.

2.4. 공동 최적화에 대한 이론적 정당성

본 논문은 프롬프트만을 최적화하거나 노이즈만을 최적화하는 것은 하위 최적(suboptimal)이라고 주장합니다:

• 노이즈 전용: 저수준의 세부 사항만 조정할 수 있습니다. 만약 프롬프트 임베딩이 독성 개념을 인코딩하고 있다면, 노이즈 섭동(perturbation)만으로는 고수준의 의미론적 독성을 제거할 수 없습니다.
• 프롬프트 전용: 독성을 제거할 수는 있지만, 임베딩 공간에서 큰 편차를 요구하여 원래 프롬프트와의 의미론적 정렬을 크게 상실할 수 있습니다.
• 공동 최적화: 두 방향을 모두 활용함으로써, 노이즈 궤적이 부분적인 "독성 그래디언트"를 흡수할 수 있게 하여 프롬프트 임베딩이 독성 영역을 벗어나기 위해 필요한 만큼만 이동하도록 합니다. 이는 안전성과 정렬 사이의 우수한 트레이드오프를 결과로 가져옵니다.

3. 주요 기여

1. 새로운 프레임워크: 모델 재학습 없이 T2I 안전성을 향상시키기 위해 프롬프트 임베딩과 확산 노이즈 궤적을 모두 활용하는 최초의 추론 시점 최적화 방식인 PNO를 도입했습니다.
2. 시너지 발견: 안전 목표 달성을 위해 프롬프트 임베딩("무엇을" 생성할지 제어)과 노이즈 궤적("어떻게" 렌더링할지 제어) 사이의 이론적 및 경험적 시너지를 입증했습니다.
3. 견고성: 기존의 안전 메커니즘을 우회하도록 설계된 적대적 공격에 대해 PNO가 견고함을 검증했습니다.
4. 최적의 트레이드오프: PNO가 기존 방법들보다 이미지 안전성과 프롬프트 정렬 사이의 파레토 프런티어(Pareto frontier)를 더 잘 달성하여 더 나은 균형을 보여준다는 경험적 증거를 제시했습니다.
5. 효율성: 무거운 자원이 소모되는 미세 조정이나 재학습 없이, 약간의 추론 비용만을 사용하는 학습 불필요 방식입니다.

4. 실험 결과

저자들은 Stable Diffusion 1.5 (SD1.5)를 백본으로 사용하여 I2P 데이터셋(자연스러운 독성 프롬프트)과 Ring-a-bell 데이터셋(적대적 프롬프트)에서 PNO를 평가했습니다.

4.1. 독성 감소

• I2P 데이터셋: PNO는 대부분의 카테고리에서 거의 100% 안전한 생성을 달성하였으며, 이는 SafeGen, SalUn, UCE와 같은 베이스라인 및 SLD, 네거티브 프롬프팅과 같은 추론 시점 방법들을 크게 능가하는 성능입니다.
• 적대적 견고성: Ring-a-bell 데이터셋에서 PNO는 독성 비율을 0.00%(Q16 메트릭 기준)로 낮춘 반면, 다른 방법들은 기본 모델과 비슷하거나 더 높은 비율로 안전하지 않은 이미지를 생성하며 어려움을 겪었습니다.
• 일반화: 독립적인 시각-언어 모델(VLM)로 평가하고 다른 안전 분류기(MHSC)와 교차 검증했을 때도 결과가 일관되게 유지되어, 단일 평가기에 대한 보상 해킹(reward hacking) 가능성을 배제했습니다.

4.2. 품질 및 정렬

• CLIP 점수: PNO는 높은 CLIP 점수(텍스트-이미지 정렬)를 유지하여, 안전성 강제가 사용자의 프롬프트를 무시하는 대가로 이루어지지 않았음을 입증했습니다.
• 트레이드오프: PNO 설정(학습률 변화)은 지배적인 파레토 프런트를 형성하여, 평가된 다른 어떤 방법보다 안전성과 정렬 사이의 트레이드오프를 더 잘 조절했습니다.
• 효율성: PNO는 프롬프트의 60% 이상에 대해 3회 반복(20초 미만) 내에 안전한 생성에 도달했습니다. 추가적인 학습 데이터나 모델 미세 조정 없이 소비자급 GPU에서도 효과적으로 작동합니다.

4.3. 절제 연구(Ablation Studies)

• 공동 vs 단일: 노이즈와 프롬프트의 공동 최적화는 각각의 구성 요소만을 최적화하는 것보다 성능이 현저히 뛰어났으며, 합리적인 정렬을 유지하면서도 거의 제로에 가까운 독성을 달로 달성했습니다.
• 초기화: 초기 노이즈 궤적에 대한 랜덤 탐색은 모든 지표에서 성능을 향상시켰습니다.
• 단계 크기(Step Size): 더 큰 단계 크기는 독성을 더 빠르게 최소화하는 반면, 더 작은 단계는 정렬을 우선시하여 사용자의 우선순위에 따른 유연성을 제공합니다.

5. 의의 및 주장

본 논문은 PNO가 T2I 확산 모델을 신뢰할 수 있게 만드는 데 있어 중요한 진전이라고 주장합니다. 주요 의의는 다음과 같습니다:

• 학습 불필요 안전성: 거대한 모델을 재학습하거나 미세 조정하는 데 드는 막대한 비용을 요구하지 않는 실용적이고 배포 가능한 솔루션을 제공합니다.
• 견고성: 현재 시스템의 치명적인 약점인 적대적 공격에 대응하여, 우회하기 어려운 방어 메커니즘을 제공합니다.
• 균형 잡힌 최적화: 노이즈 궤적과 프롬프트 임베딩이 제공하는 직교적 제어를 활용하여 안전성과 유용성 사이의 갈등을 해결하고, 이전의 안전 개입 방식들이 달성하지 못했던 수준의 정렬 보존을 달성했습니다.

저자들은 PNO가 안전한 이미지 생성을 위한 표준적인 접근 방식이 될 잠재력이 있다고 결론지으며, 향후 연구는 추론 속도 최적화와 안전 평가를 위한 더 강력한 목적 함수 개발에 집중될 것이라고 밝혔습니다.