Inference-Only Prompt Projection for Safe Text-to-Image Generation with TV Guarantees

기술 요약: SPOT – 총변분도를 통한 선택적 프롬프트 투사

문제 제기
텍스트-이미지 (T2I) 확산 모델은 고품질의 개방형 합성을 가능하게 하지만, 사용자가 유해하거나 정책 위반 이미지를 유도할 수 있으므로 상당한 안전 위험을 초래합니다. 기존 안전 정렬 방법들은 종종 중요한 트레이드오프에 시달립니다. 즉, 전역적 개입 (생성기 가중치 수정 또는 보편적 소프트 프롬프트 적용 등) 은 benign(위험하지 않은) 프롬프트에서도 모델의 행동을 교란시켜 이미지 품질과 의미적 충실도를 저하시킵니다. 반면, 생성된 이미지를 검증하는 방법들은 높은 계산 비용을 수반하거나 안전 개입을 위험한 입력에만 국한시키지 못하는 경우가 많습니다. 본 논문은 근본적인 긴장 관계를 규명합니다. 즉, 기대되는 안전하지 않음 (unsafety) 을 기준 수준 이하로 낮추는 것은 본질적으로 프롬프트 조건부 이미지 분포의 편차를 요구한다는 것입니다. 과제는 benign 입력에서 고정된 생성기의 행동을 전역적으로 왜곡하지 않으면서 안전을 달성하는 것입니다.

방법론
저자들은 생성기를 재학습하거나 카테고리별 재작성기를 학습하지 않고도 추론 시 "안전한 투사 (safe projection)"를 근사하는 SPOT(Selective Prompt prOjecT, 선택적 프롬프트 투사) 프레임워크를 제안합니다. 이 방법론은 총변분도 (Total Variation, TV) 거리를 활용한 이론적 분석에 기반합니다.

1. 이론적 기반 (SPAT): 논문은 **안전–프롬프트 정렬 트레이드오프 (Safety–Prompt Alignment Tradeoff, SPAT)**를 공식화합니다. 안전하지 않음이 생성된 이미지에 대한 유계 기대치로 측정될 때, 이 기대치를 기준 수준 (고정된 생성기의 행동) 이하로 낮추는 것은 해당 기준으로부터의 분포적 편차를 필수적으로 수반함을 증명합니다. 따라서 목표는 편차를 완전히 피하는 것이 아니라, 개입이 필요한 프롬프트에 그 편차를 엄격히 국한시키는 것입니다.
2. $\tau$-안전 집합 및 투사: 저자들은 기준 위험이 임계값 $\tau$ 이하인 프롬프트의 $\tau$-안전 집합, $C_{safe,\tau}$를 정의합니다. 개입은 이 집합 내의 프롬프트 중 가장 가까운 프롬프트를 향해 위험한 프롬프트 (즉, $C_{safe,\tau}$ 외부의 프롬프트) 를 투사하고, 이미 안전한 프롬프트는 변경하지 않는 방식으로 공식화됩니다.
3. 2 단계 캐스케이드 프로토콜: 정확한 투사는 (구성원 여부가 이미지 수준 위험의 기대치에 의존하기 때문에) 계산적으로 불가능하므로, SPOT 는 이를 2 단계 캐스케이드를 통해 근사합니다.
   • 1 단계 (프롬프트 전용 검색): 대규모 언어 모델 (LLM) 이 주어진 프롬프트에 대한 후보 재작성을 생성합니다. 이러한 후보들은 원본 프롬프트와의 의미적 근접성 (문장 임베딩 거리를 통해 측정) 과 프롬프트 전용 안전 점수 간의 균형을 맞추는 소프트 목적 함수를 사용하여 순위가 매겨집니다. 이 단계는 유망한 후보를 식별하는 저렴한 라우터 역할을 합니다.
   • 2 단계 (이미지 수준 검증): 고정된 확산 생성기가 1 단계에서 찾은 최상위 후보 프롬프트로부터 이미지를 샘플링합니다. 안전 장치 역할을 하는 비전 - 언어 모델 (VLM) 이 동일한 안전 임계값 $\tau$에 대해 생성된 이미지를 검증합니다.
   • 재시도 메커니즘: 이미지가 검증을 통과하지 못하면, 재시도 예산 $R$까지 새로운 후보로 프로세스가 반복됩니다. 예산이 소진되면 최종 시도가 반환됩니다.

주요 기여

• 기준 기반 안전 트레이드오프: 논문은 SPAT 를 공식화하여, 기준 수준 이하로 인구 전체의 안전하지 않음을 낮추는 것이 프롬프트 조건부 분포적 편차를 필요로 함을 보여줍니다. 이는 전역적 모델 수정이 아닌 선택적 개입에 대한 이론적 근거를 제공합니다.
• 선택적 프롬프트 투사: 저자들은 $\tau$-안전 집합을 정의하고, 안전한 프롬프트를 보존하면서 위험한 프롬프트를 이 집합을 향해 투사하는 것을 안전 개입으로 공식화하여, benign 입력에서의 의미적 드리프트를 효과적으로 최소화합니다.
• 추론 시 LLM/VLM 캐스케이드: SPOT 는 후보 순위 매김을 위한 LLM 과 최종 이미지 검증을 위한 VLM 을 사용하여 이 투사를 구체화합니다. 이 설계는 검색 단계 동안 포괄적인 이미지 생성에 따른 계산 비용을 피하면서 저렴한 검색과 권위 있는 검증을 분리합니다.
• 강력한 안전성과 benign 보존: 이 프레임워크는 부적절한 콘텐츠를 크게 줄이면서도 benign 프롬프트에서 고정된 생성기의 행동을 유지합니다.

실험 결과
저자들은 SPOT 를 네 가지 데이터셋 (CoProV2, I2P, Unsafe Diffusion, COCO) 과 세 가지 확산 백본 (SD1.5, SD2.1, SDXL) 에서 평가했습니다.

• 안전성 성능: SPOT 는 강력한 안전 정렬 기준 (AlignGuard, LatentGuard, SLD 등) 과 비교하여 **14.2% 에서 44.4%**까지의 상대적 부적절 (IP) 점수 감소를 달성했습니다. SD1.5 에서 SPOT 는 CoProV2 에서 IP 를 0.04 로, I2P 에서 0.06 으로, UD 에서 0.04 로 낮추어, 분포 외 데이터셋에서 종종 더 높은 IP 를 보였던 기준 모델들을 능가했습니다.
• Benign 프롬프트 보존: COCO 데이터셋에서 SPOT 는 정렬되지 않은 기준과 유사한 이미지 품질 (FID) 과 텍스트 - 이미지 정렬 (CLIPScore) 을 유지했습니다. 예를 들어, SD1.5 에서 SPOT 는 FID 32.46 과 CLIPScore 33.36 을 달성하여 정렬되지 않은 기준 (32.34/33.42) 과 거의 동일했으며, UCE 및 PNO 와 같은 공격적인 기준 모델들은 상당한 저하를 보였습니다.
• 선택성: SPOT 는 benign COCO 프롬프트의 **97.70%**를 변경하지 않았으며, VALOR(92.4%) 과 IPR(54.9%) 과 같은 기준 모델보다 훨씬 높아 불필요한 편집을 피하는 능력을 입증했습니다.
• 효율성: 2 단계 캐스케이드는 VLM 전용 검색 방법 대비 4.3 배에서 5.1 배의 속도 향상을 제공했습니다. SPOT 는 VALOR 보다 22.4% 빠르고 IPR 보다 61.1% 빠르면서 더 낮은 IP 점수를 달성했습니다.
• 강건성: 이 방법은 네 가지 텍스트 기반 적대적 프롬프트 공격 (MMA, Ring-A-Bell, SneakyPrompt, P4D) 에 대해 강건성을 보였으며, 공격 하에서도 총 IP 점수는 0.04 에서 0.06 으로 미미하게만 상승했습니다.

의의 및 주장
본 논문은 안전성 향상이 분포적 편차를 필요로 하지만, 이 편차는 위험한 프롬프트로 제한되어야 한다는 이론적 통찰을 활용함으로써 SPOT 가 안전 정렬에 대한 원칙적인 접근법을 제공한다고 주장합니다. 생성기를 고정하고 선택적 투사 메커니즘을 사용함으로써 SPOT 는 전역적 모델 편집이나 공격적인 억제와 종종 연관되는 "의미적 드리프트"와 성능 저하를 피합니다. 저자들은 SPOT 를 재학습 없이 임계값 ($\tau$) 을 통해 안전 수준을 조정할 수 있는 실용적인 추론 시 솔루션으로 위치시키며, 다양한 안전 정책과 데이터셋에 적응 가능하게 만듭니다. 이 연구는 개입이 선택적이고 이미지 수준에서 검증된다면 안전성이 benign 프롬프트의 유용성을 훼손할 필요가 없음을 강조합니다.