기술 요약: Shieldstral

문제 정의

대규모 파운데이션 모델이 다양한 실제 애플리케이션에 배포됨에 따라, 유해하거나 편향되거나 불법적인 콘텐츠를 필터링하기 위한 효과적인 가드레일 모델의 필요성이 매우 중요해졌습니다. 그러나 기존의 안전 분류기들은 두 가지 주요 한계점을 가지고 있습니다:

1. 고정된 분류 체계(Fixed Taxonomies): 대부분의 모델은 정적인 안전 카테고리에 의존합니다. 이러한 방식은 서로 다른 분류 체계와 주석 규칙을 사용하는 공공 안전 데이터셋의 이질성을 수용하지 못합니다.
2. 적응성 부족(Lack of Adaptability): 고정된 카테고리 모델은 특정 배포 컨텍스트에 맞춰 조정될 수 없습니다. 사이버 보안 연구 도구에는 적절한 콘텐츠가 정신 건강 플랫폼에서는 유해할 수 있지만, 표준 모델은 사용자의 의도나 특정 정책 요구 사항과 관계없이 동일한 라벨을 생성합니다.

방법론

저자들은 Ministral-3B 아키텍처와 Pixtral 비전 인코더를 기반으로 구축된 3B 파라미터 규모의 정책 적응형 멀티모달 안전 분류기인 Shieldstral을 소개합니다. 핵심 혁신은 콘텐츠 중재를 다중 클래스 분류 작업이 아닌, 이진 질의응답(QA) 작업으로 재정의한 데 있습니다.

1. 통합된 작업 공식화

Shieldstral은 세 가지 구성 요소를 포함하는 구조화된 프롬프트로 입력을 처리합니다:

• 시스템 메시지(System Message): 메타 작업과 출력 문법을 설정하는 고정된 지침입니다.
• 사용자 메시지(User Message): 세 개의 태그가 붙은 필드로 구성됩니다:
  • <Instruct>: 평가 컨텍스트와 엄격도 수준(예: "엄격한 기준을 적용하십시오")을 설명하는 상위 수준의 작업 프레이밍입니다.
  • <Query>: 콘텐츠에 대한 구체적인 자연어 예/아니오 질문입니다 (예: "이 콘텐츠는 폭력을 조장합니까?").
  • <Document>: 평가 대상이 되는 콘텐츠(텍text, 이미지 또는 둘 다)입니다.
• 출력(Output): 모델은 단일 토큰("yes" 또는 "no")을 생성합니다. 안전 점수는 이 두 토큰의 소프트맥스 정규화된 로짓(softmax-normalized logits)으로부터 도출되며, 0.5를 기준으로 이진 분류를 위한 연속적인 점수를 제공합니다.

2. 데이터 구축 파이프라인

다양한 정책에 걸쳐 일반화되는 작은 모델을 훈련시키기 위해, 저자들은 4단계 파이프라인을 통해 약 5,410만 개의 샘플을 큐레이션하고 생성했습니다:

• 템플릿 기반 통합(Template-Based Unification): 독성, 혐오 표현, 탈옥 탐지 등을 아우르는 이질적인 데이터셋을 통합된 지침-질의-문서 형식으로 변환합니다. 지침 템플릿은 엄격도 수준(엄격함, 보통, 완화됨)과 도메인 컨텍스트를 다양하게 하기 위해 패러프레이징되어, 모델이 특정 문구에 과적합되지 않고 프레이밍의 변화에 걸쳐 일반화하는 법을 배우도록 합니다.
• 대조적 샘플 큐레이션(Contrastive Sample Curation): 동일한 콘텐츠를 일치하는 쿼리와 일치하지 않는 쿼리에 각각 쌍으로 묶습니다. 이를 통해 모델이 단순한 "안전 대 위험"의 분리가 아니라, 특정 정책 위반(예: 폭력 대 납치)을 구분하도록 강제합니다.
• 대조적 샘플 생성(Contrastive Sample Generation): LLM을 사용하여 안전한 소스 텍스트를 특정 카테로리를 타겟팅하면서도 형제 카테고리는 피하는 불안전한 변형으로 재작성합니다. 이는 모델이 미세하고 컨텍스트에 특화된 구분을 학습하도록 하는 약 440만 개의 합성 쌍을 생성합니다.
• 이미지 데이터 처리(Image Data Processing): 시각적 안전 데이터의 부족을 해결하기 위해, 파이프라인은 제한된 중재 데이터셋을 일반 목적의 이미지 데이터셋으로 보충합니다. 쿼리 변이(시각적 카테로리에 대한 다양한 구절 생성)와 시각-언어 리랭커(vision-language reranker)를 사용하여 잘못 레이블링된 데이터와 환각을 필터링하며, 그 결과 약 450만 개의 멀티모달 샘플을 얻었습니다.

3. 훈련 및 모델 병합(Training and Model Merging)

• 미세 조정(Fine-Tuning): Shieldstral은 교차 엔트로피 손실(cross-entropy loss)을 사용하여 LoRA로 미세 조정됩니다. 두 개의 체크포인트가 훈련됩니다: 하나는 공공 안전 데이터셋($P$)에 대해, 다른 하나는 공공 및 생성된 분류 체계 데이터의 조합($PG$)에 대해 훈련됩니다.
• 모델 병합(Model Merging): 두 데이터 레짐의 상호 보완적인 강점(P의 벤치마크 캘리브레이션과 PG의 미세한 적응성)을 활용하기 위해, 저자들은 구형 선형 보간법(Spherical Linear Interpolation, SLER)을 적용합니다. 최종 모델은 $PG$(0.6),$P$ (0.3), 그리고 베이스 모델인 Ministral-3B-Instruct (0.1)의 가중치 병합 모델입니다.

주요 기여

• 정책 적응형 분류(Policy-Adaptive Classification): Shieldstral은 운영자가 추론 시점에 사전 정의된 라벨 세트에 얽매이지 않고 자유로운 자연어 쿼리를 통해 중재 기준을 정의할 수 있게 합니다.
• 통합 훈련 프레임워크(Unified Training Framework): 본 논문은 다양한 안전 작업이 단일 이진 QA 문제로 통합될 수 있음을 보여주며, 이를 통해 서로 다른 분류 체계를 가진 이질적인 데이터셋을 통합할 수 있음을 입증합니다.
• 확장 가능한 데이터 큐레이션(Scalable Data Curation): 미세한 정책 구분을 학습시키기 위한 새로운 대조적 생성 전략을 포함하여 5,410만 개의 샘플을 생성하고 통합하는 레시피를 제시합니다.
• 미세 조정된 평가(Fine-Grained Evaluation): 정책 적응성을 엄격히 테스트하고 라벨 암기를 방지하기 위해, 훈련 분류 체계와 독립적으로 설계된 전용 평가 분류 체계(다른 카테고리 이름, 세분도 및 그룹화 포함)를 도입했습니다.

결과

Shieldstral은 16개 벤치마크(21개 분할)에서 평가되었으며, 최대 7배 더 큰 모델을 포함한 10개의 베이스라인과 비교되었습니다.

• 텍스트 안전(Text Safety): Shieldstral은 평균 F1 점수 **84.9%**를 달성하여, 자신보다 거의 7배 큰 모델(예: GPT-OSS-Safeguard-20B)과 대등하거나 이를 능가하는 성능을 보였습니다. 다양한 안전 벤치마크 전반에서 최상위권을 차지했습니다.
• 멀티모달 안전(Multimodal Safety): 이 모델은 멀티모달 벤치마크에서 평균 F1 **83.8%**를 달성하여, OmniGuard (7B) 및 LlavaGuard (7B)를 포함한 모든 평가된 베이스라인을 능가하며 새로운 SOTA(State of the Art)를 기록했습니다.
• 정책 적응성(Policy Adaptability): 보이지 않는 정책에 대한 일반화 능력을 테스트하기 위해 설계된 미세 분류 체계 평가에서, Shieldstral은 91.3% F1을 달성했습니다. GPT-OSS-Safeguard-20B와 같은 더 큰 적응형 모델은 약간 더 높은 점수(94.1%)를 기록했지만, 이는 긴 추론 과정을 필요로 하여 추론 효율성을 떨어뜨립니다. Shieldstral은 단일 토큰 출력을 통해 유사한 성능을 달면서도 훨씬 적은 파라미터를 사용합니다.
• 절제 연구(Ablation Studies): 실험을 통해 생성된 분류 체계 데이터가 미세한 작업을 위해 공공 데이터만으로 훈련했을 때보다 F1 점수를 +23.3% 향상시킨다는 것을 확인했습니다. 세 방향 모델 병합 전략은 표준 벤치마크에서의 성능 저하를 회복하는 동시에 적응성을 극대화합니다.

의의

본 논문은 Shieldstral이 **통합 적응형 중재(unified adaptive moderation)**의 생존 가능성을 입증한다고 주장합니다. 통합 QA 공식과 대조적 데이터 생성을 통해 서로 다른 훈련 데이터셋을 통합함으로써, 작은 규모(3B)의 적응형 모델이 훨씬 더 큰 고정 분류 체계 모델과 대등하거나 이를 능가할 수 있음을 보여줍니다. 이 접근 방식은 재학습이나 경직된 카테고리 정의 없이도 특정 배포 요구 사항에 적응할 수 있는 안전 시스템에 대한 핵심적인 요구를 해결하며, 실제 콘텐츠 중재를 위한 확장 가능하고 효율적인 솔루션을 제공합니다.