기술 요약: SingGuard

문제 정의

시각-언어 모델(VLM)이 소비자, 의료, 금융 및 기업용 애플리케이션에 점점 더 많이 배치됨에 따라 안전성 표면(safety surface)이 크게 확장되고 있습니다. 위험은 이제 단일 모달리티 입력뿐만 아니라 멀티모달 질의응답, 어시스턴트 응답, 그리고 개별적으로는 무해한 입력이 결합되었을 때 유해해지는 교차 모달 구성(cross-modal compositions)에서도 발생합니다. 또한, 중재 정책은 정적이지 않습니다. 제품, 지역 및 배포 단계에 따라 다양하게 변합니다.

기존의 가드레일은 세 가지 주요 한계점에 직면해 있습니다:

1. 정적 분류 체계(Static Taxonomies): 대부분의 시스템은 고정된 라벨 세트(예: Llama Guard, WildGuard)나 좁은 상호작면 설정에 의존하며, 런타임에 안전 규칙이 변경될 때 적응하지 못합니다.
2. 제한된 정책 적응성: 일부 멀티모달 가드레일(예: LlavaGuard, GuardReasoner-VL)은 시각적 입력을 중재 영역으로 확장하지만, 일반적으로 정적인 정책 경계를 가정하며, 활성화된 규칙 세트에 콘텐츠를 매칭하기보다는 위험을 직접 분류합니다.
3. 비효율적인 추론: 추론 기반 가드레일은 해석 가능성을 개선하지만, 종종 단일한 "항상 켜져 있는(always-on)" 추론 모드를 채택합니다. 이는 직접적인 판단만으로 충분한 고처리량의 명확한 사례에서는 비효율적이며, 숙고가 필요한 복잡하거나 직관에 반하는 경우 또는 정책이 변화한 경우에는 불충분합니다.

방법론

SingGuard는 활성 정책을 런타임 입력으로 취급함으로써 멀티모달 대화의 안전성을 평가하도록 설계된 정책 적응형 멀티모달 가드레일 모델 제품군입니다.

1. 작업 정식화 및 정책 인터페이스

SingGuard는 안전 분류를 지시 이행(instruction-following) 작업으로 정식화합니다. 대상 콘텐츠 $x$(쿼리, 이미지 및/또는 응답)와 활성 정책 $P$(자연어 규칙 세트)가 주어지면, 모델은 다음을 예측합니다:

• 이진 안전 라벨 ($y \in \{safe, unsafe\}$).
• 선택적 정책 근거 추론 과정 ($z$).
• 트리거된 규칙 또는 카테고리 ($c$).

정책 $P$는 전체 내장 계층적 분류 체계(8개의 주요 차원, 27개의 보조 카테고리, 80개 이상의 미세한 위험)이거나 런타임 시 제공되는 동적 하위 집합/재작성된 내용일 수 있습니다. 이를 통해 모델은 암기된 사전 지식에 의존하는 대신 현재 활성화된 규칙에 근거하여 결정을 내릴 수 있습니다.

2. 데이터 구축 (SingGuard-Bench)

모델을 훈련하고 평가하기 위해 저자들은 35개 데이터셋에 걸친 56,340개의 사례를 포함하는 포괄적인 벤치마크인 SingGuard-Bench를 구축했습니다. 주요 특징은 다음과 같습니다:

• 동적 규칙 조건화(Dynamic Rule Conditioning): 모델이 정적 라벨이 아닌 새로운 규칙을 따르는지 테스트하기 위해 샘플을 일치하는 런타임 정책 및 일치하지 않는 런타임 정책과 쌍을 이룹니다.
• 교차 모달 결합 위험(Cross-Modal Joint Risks): 이미지와 텍스트가 각각은 무해하지만, 그 구성이 유해한 의도를 암시하는 사례를 포함합니다.
• 정책 변화 감독(Policy-Shifted Supervision): 규칙을 편집(예: 범위 확장, 예외 추가)하여 생성된 역사실적(counterfactual) 라벨을 통해 모델이 새로운 정책 텍스트를 기준으로 콘텐츠를 재평가하도록 강제합니다.
• 사고의 사슬(Chain-of-Thought, CoT): 모델이 규칙을 하나씩 검증하고 명시적인 증거에 근거하여 최종 결정을 내리는 100만 개 이상의 추론 사례를 포함합니다.

3. 훈련 파이프라인

훈련 과정은 세 단계로 구성됩니다:

• 단계 1: 정책 조건부 콜드 스타트 SFT: 모델은 세 가지 모드를 지원하는 통합 출력 문법에 대해 미세 조정됩니다:
  • Fast (빠름): 직접적인 safe/unsafe 라벨 및 카테로리 출력.
  • Slow (느림): 최종 답변 전 명시적인 규칙별 숙고 수행.
  • Hybrid (하이브리드): 초기 이진 판단 후, 신뢰도가 낮을 경우에만 추론 수행.
    이 목적 함수는 초기 토큰, 추론 구간 및 최종 카테고리에 대한 손실을 결합합니다.
• 단계 2: Fast–Slow 분리형 DAPO: 초기 빠른 판단이 후속 추론을 "앵커링(anchoring)"(즉, 잠재적으로 틀린 초기 추측을 정당화하도록 추론을 강제하는 현상)하는 것을 방기하기 위해, 저자들은 **분리된 직접 선호 최적화(Decoupled Direct Preference Optimization, DAPO)**를 적용합니다. 강화 학습 업데이트 중에 첫 번째 생성 토큰을 마스킹하여, 추론 경로가 정책을 독립적으로 검증하고 필요한 경우 최종 답변을 수정할 수 있도록 합니다.
• 단계 3: 온-폴리시 지식 증류(On-Policy Knowledge Distillation, OPD): 8B 모델 튜터로부터 2B 학생 모델을 증류합니다. 표준 증류와 달리, 학생 모델은 자체 접두사(prefix)를 생성하고, 튜터는 해당 특정 접두사에 대한 토큰 수준의 분포를 제공합니다. 이는 작은 모델이 동적 규칙 및 엣지 케이스에 대해 자신의 약한 추론 경로를 스스로 복구하는 법을 배우도록 돕습니다.

4. 추론 체제

SingGuard는 지연 시간과 정확도의 균형을 맞추기 위해 세 가지 추론 모드를 지원합니다:

• Fast Mode: 저지연 중재를 위한 직접적인 라벨 출력.
• Slow Mode: 감사 민감도가 높거나 모호한 사례를 위한 명시적인 규칙별 숙고 수행.
• Hybrid Mode: 초기 이진 결정(binary decision)을 디코딩합니다. 만약 신뢰도 $s(y_0) \geq \tau$이면 조기에 종료합니다. 그렇지 않으면 전체 추론 과정과 검토된 답변을 계속 생성합니다.

주요 기여

1. SingGuard 모델 제품군: 오픈 런타임 정책을 수용하는 정책 적응형 VLM 가드레일로, 이를 통해 배포 팀이 재학습 없이 특정 도메인(건강, 금융, 법률)을 위한 규칙을 추가하거나 수정할 수 있습니다.
2. Fast–Slow 분리형 RL: 낮은 지연 시간의 빠른 판단을 유지하면서 이를 추론 경로의 최적화로부터 분리하여, 모델이 정책 근거 증거를 바탕으로 초기 오류를 수정할 수 있게 하는 새로운 훈련 목적 함수를 제공합니다.
3. SingGuard-Bench: 80개 이상의 위험 유형을 다루는 멀티모달 벤치마크로, 교차 모달 숨겨진 의도 공격, 동적 규칙 평가, 무해한 민감성 정밀도 테스트를 포함합니다.
4. 최첨단 성능(SOTA): 단일 정책 적응형 모델이 멀티모달 QA 및 응답 중재 전반에서 광범위한 성능을 달 수 있음을 입증하며, 전문화된 베이스라인 모델들을 능가합니다.

결과

35개 데이터셋에 걸친 6개 벤치마크 제품군에서 평가했을 때, SingGuard는 모든 카테고리에서 최첨단(SOTA) 평균 F1 점수를 달성했습니다:

• 멀티모달 안전성: SingGuard-8B는 평균 F1 0.9092를 달성하여, 최고의 오픈 소스 베이스라인(LLAVAShield, 0.8842)과 폐쇄형 프런티어 모델인 GPT-5.1(0.8349)을 능가했습니다.
• 이미지 안전성: SingGuard-4B는 평균 F1 0.9141로 선두를 달렸으며, 이는 GuardReasoner-VL(0.8570)과 같은 베이스라인을 크게 앞지르며, 텍스트 훈련 가드레일이 실패하기 쉬운 시각적 위해(예: 무기 탐지) 탐지에서 견고함을 보여주었습니다.
• 텍스트 쿼리 및 응답 안전성: SingGuard-8B는 텍스트 쿼리(0.8740)와 응답(0.8770) 모두에서 가장 높은 매크로 평균 F1을 달 기록하며, 의도 탐지에서 어시스턴트 탐지로의 강력한 전이를 입증했습니다.
• 다국어 안전성: SingGuard-8B는 다국어 쿼리 안전성(0.8872)과 응답 안전성(0.8988)에서 선두를 차지하며, 언어 간 효과적인 정책 조건부 전이를 보여주었습니다.
• 동적 정책 적응: 동적 규칙 평가에서 SingGuard-slow는 평균 정확도를 0.6465(Qwen3-VL-8B)에서 0.7415로 향상시켜, 훈련 시의 사전 지식에 의존하기보다 변화하는 활성 규칙을 따르는 능력을 증명했습니다.
• 어블레이션(Ablation): Fast–slow 분리형 RL 단계는 동적 정책 정확도를 크게 향 향상시켰습니다. 온-폴리시 증류는 2B 모델의 평균 점수를 0.8631에서 0.8840으로 높여 8B 튜터와의 격차를 줄였습니다.

의의

본 논문은 위험을 식별하는 법을 배우는 것은 필요하지만, 프로덕션 가드레일을 위해서는 그것만으로 불충분하다고 주장합니다. 배포된 시스템은 과잉 차단을 피하기 위해 위험이 활성 정책 범위를 벗어나는 시점을 학습해야 합니다. SingGuard는 안전 인식을 암기된 카테고리 사전 지식으로부터 분리함으로써 이를 해결하며, 런타임에 진화하는 규칙에 적응할 수 있게 합니다.

멀티모달 입력, 오픈 활성 정책, 그리고 적응형 추론 경로(fast, hybrid, slow)를 단일 모델 내로 통합함으로써, SingGuard는 유연한 안전성 평가 프레임워크를 제공합니다. 결과는 정책에 근거한 추론이 분리된 강화 학습과 결합될 때, 정적이고 분류 체계에 기반한 접근 방식보다 복잡하고 동적이며 교차 모달적인 안전 시나리오를 더 효과적으로 처리할 수 있음을 나타냅니다. 저자들은 SingGuard가 적응성을 향상시키지만, 그 성능은 제공된 활성 정책의 명확성에 달려 있으므로 고위험 배포를 위한 지속적인 벤치마크 업데이트와 인간의 검토가 필수적임을 강조합니다.