기술 요약: PolicyShiftGuard

문제 정의

현재의 이미지 가드레일은 주로 고정된 안전 정책 하에서 학습 및 평가되며, 이는 안전성을 이미지의 내재적 속성으로 간取하는 경향이 있습니다. 그러나 실제 배포 환경에서는 **정책 적응형 가드레일(policy-adaptive guardrails)**이 필요합니다. 즉, 이미지의 허용 여부는 특정 실행 시점의 정책(예: 제품, 지역, 연령층, 광고주에 따라 변함)에 따라 달라집니다. 기존의 벤치마크와 모델들은 이러한 동적인 특성을 해결하지 못하고 있습니다:

• 평가 격차: 대부분의 시각적 안전 벤치마크는 고정된 분류 체계에 따라 이미지당 단일 라벨을 할당하며, 일반적인 위험 인식 능력과 변화하는 정책 경계를 따르는 능력을 구분하지 못합니다.
• 방법론적 격차: 기존 가드레일은 위험한 징후를 감지할 수는 있지만, 동일한 시각적 증거가 한 정책에서는 허용되고 다른 정책에서는 차단될 때 결정을 수정하는 데 실패합니다. 이들은 정책 정의가 익숙한 설정을 벗어나 변화할 때 취약성을 보입니다.

방법론

1. 벤치마크: POLICYSHIFTBENCH

정책 적응 능력을 평가하기 위해 저자들은 모델이 이미지 수준의 사전 지식에 의존하는 대신 활성화된 정책을 따를 수 있는지 테스트하도록 설계된 종합 벤치마크인 POLICYSHIFTBENCH를 도입합니다.

• 구조: 이 벤치마크는 시각적 안전을 7가지 위험 카테고리(예: 누드, 폭력, 규제 상품, IP 안전)와 5가지 광범위한 모더레이션 시나리오(예: 메인스트림 소셜, 아동 안전, 법적 기준)로 구성합니다. 이들의 교차를 통해 28개의 정책 변체가 생성됩니다.
• 데이터 구성: 265개의 고유 이미지에 걸친 2,000개의 정책 판별 인스턴스를 포함합니다. 결정적으로, 각 이미지는 평균 7.55개의 정책 조건부 프롬프트와 쌍을 이룹니다. 265개 중 262개의 이미지는 활성화된 정책에 따라 "통과(pass)"와 "차단(block)" 라벨이 모두 존재합니다.
• 데이터 큐레이션: 라벨은 결정론적 파이프라인을 통해 생성됩니다:
  1. 속성 주석(Attribute Annotation): 다수의 멀티모달 주석가들이 다수결을 통해 원자적 이미지 속성(예: "노출된 생식기", "의료적 맥락", "무기 유형")을 예측합니다.
  2. 규칙 실행(Rule Execution): 실행 가능한 정책 규칙을 이러한 속성에 적용하여 카테고리 수준의 결정을 생성합니다.
  3. 번들 구성(Bundle Composition): 런타임 정책 번들(카테고리당 하나의 정책)이 형성되며, 최종 라벨은 카테고리 결정들의 논리적 OR 연산 결과입니다.
• 지표: Accuracy와 F1 외에도 저자들은 **정책 전환 점수(Policy Shift Score, PSS)**를 도입합니다. PSS는 이미지와 대상 카테고리는 동일하지만, 활성화된 정책에 따라 그라운드 트루스 라벨이 통과에서 차단으로(또는 그 반대로) 바뀌는 "플립(flip)" 쌍을 모델이 얼마나 정확하게 처리하는지를 측정합니다. 모델은 양쪽 모두를 정확하게 예측해야만 점수를 인정받습니다.

2. 모델: PolicyShiftGuard

저자들은 정책 전환을 효과적으로 처리하기 위해 2단계 레시피로 학습된 컴팩트한 가드레일 모델인 PolicyShiftGuard를 제안합니다.

• 1단계: 무작위 정책 SFT (RP-SFT):
  • 모델은 이미지가 평가 세트와 분리된 정책 조건부 지도 미세 조정(SFT) 데이터로 학습됩니다.
  • 무작위화(Randomization): 모델이 고정된 위치나 템플릿에 의존하는 것을 방지하기 위해 정책 제시 방식(순서, 표면 식별자, 카테고리 슬롯)을 무작위화합니다.
  • 목표: 모델이 전체 정책 번들을 따르고 간결하고 구조화된 출력(예: false 또는 true | <CategoryID>)을 생성하도록 학습시킵로 합니다.
• 2단계: 경계 쌍 정책 적응 (BP-Adapt):
  • 이 단계는 고정된 분류 체계의 실패 모드를 구체적으로 겨냥합니다.
  • 학습 데이터: 동일한 이미지와 위험 카테고리에 대해 매칭된 **경계 쌍(boundary pairs)**으로부터 구축됩니다. 하나는 이미지를 허용하는 정책(pass)을 가진 프롬프트이고, 다른 하나는 이미지를 차단하는 정책(block)을 가진 프롬프트입니다.
  • 손실 함수: 표준 크로스 엔트로피와 **쌍 비교 손실($L_{pair}$)**을 결합합니다. 이 손실은 동일한 시각적 증거에 대해 차단 정책이 허용 정책보다 더 높은 "위험(unsafe)" 점수를 할당하도록 명시적으로 강제하여, 정책 전환을 위한 결정 마진을 최적화합니다.

주요 결과

POLICYSHIFTBENCH에서의 실험은 기존 시스템의 격차와 제안된 접근 방식의 효능을 드러냅니다:

• 기존 모델의 취약성: 범용 멀티모달 대규모 언어 모델(MLLM) 및 특화된 가드레일은 무시할 수 없는 F1 점수를 달ability하지만, 매우 낮은 PSS 점수를 기록합니다(예: GuardReasoner-VL-3B: F1 59.2 vs. PSS 3.2). 이는 이들이 위험은 인식하지만 정책 변화에 따른 결정을 조정하는 데 실패함을 나타냅니다.
• 확장성의 한계: 모델 크기를 키우는 것(예: 7B에서 72B로)은 일반적인 F1은 개선하지만, 정책 적응 격차를 해결하지는 못합니다(예: Qwen2.5-VL-72B는 PSS 27.4에 불과함).
• PolicyShiftGuard 성능:
  • PolicyShiftGuard-7B 모델은 76.9 Avg. F1과 72.1 Avg. PSS를 달성하여 새로운 SOTA(state-of-the-art)를 기록했습니다.
  • 베이스 모델(Qwen2.5-VL-7B)을 크게 상회하며, Avg. F1을 20.6에서 76.9로, PSS를 4.8에서 72.1로 향상시켰습니다.
  • UnSafeBench 및 SafeEditBench와 같은 외부 벤치마크로도 잘 전이됩니다.
• 지연 시간-성능 트레이드오프: PolicyShiftGuard는 간결한 출력 형식(약 5개 토큰 내에서 결정 완료)을 사용하여, 추론 중심의 접근 방식이나 폐쇄형 모델에 비해 현저히 낮은 지연 시간(7B 모델 기준 163.9ms)을 달성하면서도 우수한 성능을 유지합니다.

의의 및 주장

본 논문은 세 가지 주요 기여를 주장합니다:

1. 벤치마킹: POLICYSHIFTBENCH의 도입은 정적인 안전 탐지를 넘어 동적인 정책 준수로 나아가는, 정책 적응형 이미지 가드레일 평가를 위한 엄격한 표준을 확립합니다.
2. 방법론: PolicyShiftGuard 프레 lack는 무작위 정책 지시 이행과 명시적인 경계 쌍 감독을 결합하는 것이 안정적인 정책 적응에 필수적임을 입증합니다. 절제 연구(ablation studies)는 매칭된 pass/block 쌍이 모델이 단순히 더 많은 데이터를 암기하는 것이 아니라 정책 전환의 뉘앙스를 학습하는 데 필요함을 확인시켜 줍니다.
3. 실제 배포: 본 연구는 실제 가드레일의 경우 지연 시간과 정책 민감도를 공동으로 평가해야 함을 강조합니다. 제안된 모델은 높은 정책 적응 성능과 낮은 추론 지연 시간을 동시에 제공하는 유리한 파레토 프런티어(Pareto frontier)를 제시하며, 이는 콘텐츠 모더레이션 파이프라인의 핵심 경로에 적합합니다.

저자들은 효과적인 이미지 가드레일이 고정된 안전/위험 인식을 넘어 강제된 정책에 근거하여 결정을 내려야 하며, 현재의 모델들은 특정 구조적/훈련적 개입 없이는 이 요구 사항을 충족하는 데 크게 실패한다고 결론짓습니다.