기술 요약: YuFeng-XGuard

문제 정의

대규모 언어 모델(LLM)이 실제 애플리케이션에 배포됨에 따라, 안전 가드레일은 현재의 역량과 실질적인 배포 요구 사이의 심각한 간극에 직면해 있습니다. 기존 솔루션은 주로 거친 입도의 분류 체계나 사후 규칙 기반 필터링에 의존합니다. 이러한 접근 방식은 세 가지 주요 한계를 가집니다:

1. 해석 가능성 부족: 추론 과정을 노출하지 않고 불투명한 이진 라벨이나 스칼라 점수만을 생성하므로, 실패 분석 및 감사가 어렵습니다.
2. 유연성 부족: 위험 정의가 모델 파라미터에 암시적으로 인코딩되어 있어, 미묘한 시나리오로의 일반화가 제한되며 비용이 많이 드는 재학습 없이 정책을 조정하는 것이 불가능합니다.
3. 효율성-효능 트레이드오프: 고충실도 추론은 과도한 추론 지연 시간을 초래하는 반면, 저지연 모델은 설명적 깊이를 희생합니다.

본 논문은 안전 가드레일이 단순한 보조 분류 작업에서 벗어나, 다차원적 위험 인지, 구조화된 출력, 그리고 동적 적응 능력을 갖춘 추론 중심 시스템으로 진화해야 한다고 주장합니다.

방법론

YuFeng-XGuard는 Qwen3 아키텍처를 기반으로 구축된 추론 중심 가드레일 모델 제품군으로, 8B 풀 용량 변체와 0.6B 경량 증류 변체를 제공합니다. 방법론은 네 가지 핵심 기둥으로 정의됩니다:

1. 추론 중심의 구조화된 위험 인지

이 모델은 이진 분류 대신 다음과 같은 구조화된 출력을 생성합니다:

• 명시적 위험 카테カテゴリ: 통합된 분류 체계에서 매핑됨.
• 설정 가능한 신뢰도 점수: 첫 번째 디코딩된 토큰의 확률로부터 도출됨.
• 자연어 설명: 근저에 깔린 추론 과정을 노출하는 선택적 근거(rationale).

학습 목표는 분류 후 설명(classify-then-explain) 패러다임을 따릅니다. 모델은 분류 토큰($y_{cls}$)과 후속 추론 문자열($y_{reason}$)의 결합 확률을 최대화하도록 학습되어, 모델의 결정이 스스로의 정당화와 논리적으로 일관되도록 보장합니다.

2. 계층적 추론 패러다임

지연 시간과 해석 가능성 사이의 긴장을 해결하기 위해, YuFeng-XGuard는 2단계 추론 메커니즘을 채택합니다:

• 1단계 (즉각적 결정): 모델은 위험 카테고리를 나타내는 단일 토큰을 생성합니다. 이 토큰의 확률은 신뢰도 점수로 활용되어, 즉각적이고 저지연인 안전 결정을 가능하게 합니다.
• 2단계 (온디맨드 추론): 더 깊은 분석이 필요한 경우(예: 감사를 위한 경우), 생성을 계속하여 전체 자연어 설명을 생성합니다. 이를 통해 시스템은 실시간으로 효율적으로 작동하면서도 상세한 속성 부여 능력을 유지할 수 있습니다.

3. 동적 정책 (DP) 메커니즘

모델은 위험 인지(텍스트가 함의하는 바)와 정책 집행(제품이 차단하고자 하는 바)을 분리합니다.

• 런타임 적응성: 운영자는 추론 시점에 동적 정책 지침($P_{dyn}$)을 주입하여, 재학습 없이도 새로운 카테로리를 추가하거나, 범위를 확장하거나, 정의를 좁힐 수 있습니다.
• 학습 전략: 모델이 반사실적(counterfactual)이고 변화하는 정책 규칙을 준수하도록 가르치기 위해, 3단계 파이프라인(정책 변이, 응답 정제, 일관성 필터링)을 사용하여 합성 데이터셋을 구축했습니다.

4. 데이터 큐레이션 및 분류 체계

• 분류 체계: 모델은 9개의 주요 위험 차원과 28개의 세부 카테고리(예: 범죄, 혐오 발언, 신체적/정신적 건강, 극단주의)를 다루는 엄격한 4단계 계층 시스템인 S-Eval 분류 체계를 채택합니다.
• 데이터 구축: 학습 코퍼스(2.8M 샘м플)는 공개 벤치마크와 커스텀 다국어 파이프라인을 결합합니다. 이는 코드 스위칭(code-switched) 및 코드 믹싱(code-mixed) 학습 모드를 사용하여 언어 혼합 및 "영어 중심적" 추론 패턴 문제를 해결합니다.
• 품질 제어: 2단계 어노테이션 파이프라인(어노테이터 및 검증자)을 갖춘 "LLM-as-a-Judge" 프레임워크를 통해 고품질의 라벨과 추론 궤적을 보장합니다.

주요 기여

본 논문은 네 가지 주요 기여를 명시합니다:

1. 구조화된 위험 인지: 가드레일을 불투명한 예측에서 실행 가능하고, 디버깅 가능하며, 감사 친화적인 구조화된 출력(카테고리, 신뢰도, 근거)으로 재정의했습니다.
2. 계층적 추론: 첫 번째 토큰을 통한 즉각적인 위험 결정과 상세한 추론을 위한 선택적 지속 생성을 지원하는 통합 생성 프레임워크를 통해, 속도와 깊이를 위한 별도의 모델이 필요 없도록 했습니다.
3. 동적 정책 (DP): 안전 정책을 재학습 없이 추론 시점의 지침을 통해 조정할 수 있는 런타임 메커니즘을 제공합니다.
4. 다중 규모 오픈 모델: 8B 모델과 0.6B 증류 변체를 모두 출시하였으며, 두 모델 모두 높은 효율성-효능 트레이드오프를 유지하면서 다양한 벤치마크에서 최첨단(SOTA) 성능을 달와성했습니다.

실험 결과

YuFeng-XGuard는 네 가지 차원에서 현대적인 가드레일들(LlamaGuard, WildGuard, PolyGuard, Nemotron, ShieldGemma 포함)과 비교하여 종합적인 평가를 받았습니다:

• 일반 안전 분류: 8B 변체는 프롬프트 및 응답 분류 벤치마크(예: Aegis, SEval, XSTest) 모두에서 가장 높은 평균 F1 점수를 달성했습니다. 0.6B 변체는 많은 카테고리에서 훨씬 더 큰 모델들(예: 4B 및 8B 경쟁 모델)을 능가했습니다.
• 다국어 견고성: 모델은 25개의 유형학적으로 다양한 언어에 대해 높은 정확도를 보여주었으며, 프롬프트 및 응답 분류 모두에서 최상위 평균 F1 점수를 기록하여 교차 언어 작업에서 ShieldGemma 및 LlamaGuard와 같은 모델보다 우수한 성능을 보였습니다.
• 적대적 탄력성: 공격 벤치마크(StrongReject, BreakShell)에서 YuFeng-XGuard는 가장 높거나 두 번째로 높은 평균 F1 점수를 달성하여, 탈옥(jailbreaking) 시도에 대한 강력한 방어력을 입증했습니다.
• 안전한 완성 (과잉 차단): 건설적인 응답을 통과하는 능력을 테스트하기 위해 설계된 SEval2.0 벤치마크에서, YuFeng-XGuard는 가장 높은 F1 점수를 기록하여 유해한 콘텐츠와 유익하고 무해한 콘텐츠를 구분하는 탁월한 능력을 보여주었습니다.
• 동적 정책 효과성: 이커머스 모더레이션 및 적응형 정책 범위를 시뮬레이션하는 커스텀 벤치마크에서, YuFeng-XGuard는 각각 0.91과 0.75의 F1 점수를 달성하여 훨씬 더 큰 모델(예: GPT-OSS-SafeGuard-20B)을 능가하고, 그에 따른 추론 오버헤드 없이 훨씬 더 큰 "사고하는" 모델(Qwen3-32B-Thinking)의 성능에 필적했습니다.

절제 연구(Ablation Study): 저자들은 추론 정렬을 위해 강화 학습(GRPO)을 조사했습니다. GRPO는 "설명 후 분류(explain-then-classify)" 정확도는 향상시켰으나, 주요인 "분류 후 설명(classify-then-explain)" 저지연 모드에서는 미미한 이득만을 제공했습니다. 결과적으로 최종 릴리스는 견고한 지도 미세 조정(SFT) 전략에 의존합니다.

의의 및 주장

본 논문은 현재 가드레일의 해석 가능성, 유연성, 결정 효율성 문제를 해결함으로써 안전 인프라의 중요한 진보로서 YuFeng-XGuard를 포지셔닝합니다.

• 필터에서 시스템 구성 요소로: 저자들은 YuFeng-XGuard가 안전 가드레일의 패러다임을 단순하고 불투명한 필터에서 동적이고 해석 가능하며 유지 관리가 가능한 시스템 구성 요소로 전환한다고 주장합니다.
• 실행 가능한 인텔리전스: 구조화된 위험 카테고리와 신뢰도 점수를 제공함으로써, 이 모델은 다운스트림 시스템이 이진 차단/허용 결정에 의존하는 대신 미세한 임계값 설정과 정책 오케스트레이션을 수행할 수 있게 합니다.
• 민첩한 위험 관리: 동적 정책 프레임워크를 통해 조직은 비용이 많이 들고 느린 모델 재학습 주기 없이도 새로운 위협과 특정 비즈니스 요구 사항에 즉각적으로 대응할 수 있습니다.
• 접근성: 풀 용량 모델과 경량 모델을 모두 출시함으로써, 본 연구는 높은 안전 표준을 유지하면서도 고처리량 생산 환경부터 자원이 제한된 에지 케이스에 이르기까지 광범-한 배포 시나리오를 지원하는 것을 목표로 합니다.

저자들은 훈련에 포함되지 않은 새로운 적대적 공격에 대한 잠재적 취약성, 훈련 코퍼스에서 상속된 사회적 편향, 그리고 동적 정책 메커니즘을 위한 명확한 사용자 지침에 대한 의존성 등의 한계를 인정합니다. 이들은 이러한 과제를 해결하기 위해 지속적인 레드팀 활동(red-teaming)과 모니터링을 약속합니다.