💬 NLP

CHILLGuard: Towards Fine-Grained Chinese LLM Safety Guardrail with Scalable Data Construction and Model-aware Preference Alignment

이 논문은 확장 가능한 다단계 구축 파이프라인을 통해 고품질 주석 데이터의 부족 문제를 해결하고, 대규모의 엄격하게 큐레이션된 데이터셋에 대한 모델 인식 선호도 정렬을 통해 최첨단 성능을 달하는 미세 조정된 중국어 LLM 안전 가드레일인 CHILLGuard를 소개한다.

원저자: Wenbo Yu, Bohua Wang, Hao Fang, Kuofeng Gao, Jingru Zeng, Xiaochen Yang, Tianyi Zhang, Xiaoxiao Ma, Jiawei Kong, Hao Wu, Bin Chen, Shu-Tao Xia, Min Zhang

게시일 2026-06-16

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Wenbo Yu, Bohua Wang, Hao Fang, Kuofeng Gao, Jingru Zeng, Xiaochen Yang, Tianyi Zhang, Xiaoxiao Ma, Jiawei Kong, Hao Wu, Bin Chen, Shu-Tao Xia, Min Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 도움이 되는 로봇 비서(거대 언어 모델, LLM)가 있다고 상상해 보세요. 이 비서는 이야기를 쓰고, 질문에 답하며, 업무를 도와줄 수 있습니다. 하지만 어떤 강력한 도구든 주의 깊게 살피지 않으면, 특히 중국어로 말할 때 무례하거나, 불법적이거나, 위험한 내용을 실수로 말할 수도 있습니다.

이 논문은 중국어를 사용하는 로봇을 전문적으로 감시하기 위해 설계된 특화된 "안전 가드(safety guard)"인 CHILLGuard를 소개합니다. 이들이 이를 어떻게 구축했는지 쉽게 설명해 드리겠습니다.

1. 문제점: "모두에게 맞는" 옷은 맞지 않는다

기존의 로봇 안전 가드들은 대부분 영어로 훈련되었습니다. 키 큰 미국인에게 맞춰진 정장을 체형이 다른 사람에게 입히려고 한다고 상상해 보세요. 어떤 부분은 너무 꽉 끼고, 어떤 부분은 헐렁할 것입니다.

문제점: 영어로 훈련된 가드들은 중국 문화나 특정 법률, 또는 사람들이 나쁜 의도를 숨기기 위해 사용하는 교묘한 방식(예: 나쁜 단어를 직접 말하지 않고도 해로운 내용을 전달하기 위해 사용하는 언어유희, 이모지, 역사적 참조 등)을 이해하지 못했습니다.
결과: 이로 인해 위험한 콘텐츠를 놓치거나, 무해한 것을 잘못 차단하는 경우가 빈번했습니다.

2. 해결책: 맞춤 제작된 안전복

저자들은 세 가지 주요 부분으로 구성된 새로운 안전 시스템을 구축했습니다.

파트 A: 규칙집 (Taxonomy)

먼저, 중국의 안전을 위해 구체적이고 상세한 새로운 규칙집을 작성했습니다. 단순히 "나쁨" 또는 "좋음"이라고 하는 대신, 31개의 특정 카테고리를 가진 5성급 등급 시스템을 만들었습니다.

5가지 주요 카테고리:
1. 국가 가치 (National Values): 국가의 안정과 법률 보호.
2. 공정성 (Fairness): 인종, 성별, 직업에 따른 차별 방지.
3. 비즈니스 규칙 (Business Rules): 사기, 아이디어 도용 또는 불공정 거래 방지.
4. 개인 권리 (Personal Rights): 개인의 프라이버시, 명성 및 안전 보호.
5. 서비스 품질 (Service Quality): 로봇이 쓸모없거나 과학적으로 틀린 조언을 하지 않도록 보장.

파트 B: 훈련 체육관 (Data Construction)

가드를 가르치기 위해서는 방대한 예시 라이브러리가 필요했습니다. 하지만 "나쁜" 중국어 프롬프트의 좋은 예시를 찾기는 어려웠습니다. 그래서 그들은 3단계 공장을 구축하여 이를 만들어냈습니다.

보물찾기 (RAG): 인터넷에서 31개 카테코리에 관련된 키워드를 검색하여 실제 텍스트 샘플을 수집했습니다.
실제 세상 (The Real World): 중국 내 상업용 로봇에 실제 사용자들이 던졌던 질문들을 수집했습니다.
"트릭스터" 공장 (Prompt Engineering): 이것이 영리한 부분입니다. 그들은 실제 질문들을 가져와 AI를 사용하여 까다로운 방식으로 재작성했습니다.
- 비유: 보안 요원 훈련을 상상해 보세요. 도둑의 사진만 보여주는 대신, 변장을 하거나 암호를 사용하거나 농담 뒤에 숨어 있는 도둑을 보여주는 것입니다. AI는 동음이의어(철자는 다르지만 소리는 같은 단어), 역사적 은유, 그리고 반어법을 사용하여 질문을 재작성함으로써 잡아내기 어렵게 만들었습니다.

그 결과 405,000개의 훈련 예시(체육관)와 51,000개의 테스트 예시(최종 시험)를 확보했습니다.

파트 C: 훈련 방법 (스파링 파트너)

보통 안전 가드를 훈련할 때는 단순히 예시를 보여주기만 합니다. 하지만 이 논문에서는 스파링 파트너 접근 방식을 사용했습니다.

파이터 (Generator): 가드를 속이기 위해 가능한 가장 까다로운 트릭 질문을 만들어내도록 훈련된 AI.
가드 (Classifier): 그 질문들을 잡아내려는 안전 모델.
댄스 (The Dance): 그들은 함께 라운드별로 훈련했습니다. 파이터는 가드를 속이려 노력하고, 가드가 실패하면 파이터가 보상을 받습니다. 가드가 성공하면 가드는 더 강해집니다.
비법 (MDPO): 그들은 **모델 인식 직접 선호 최적화(Model-aware Direct Preference Optimization)**라는 특별한 기술을 사용했습니다.
- 비유: 코치를 상상해 보세요. 학생이 이미 수학을 잘한다면 코치는 쉬운 문제에 시간을 낭비하지 않습니다. 하지만 학생이 특정 어려운 개념에서 헤매고 있다면, 코치는 그 부분에 더 많은 에너지를 집중합니다. 이 방법은 학습 난이도를 자동으로 조정하여, 가드가 답변하는 데 어려움을 겪는 질문에 가장 많은 노력을 집중하게 했습니다.

3. 결과: 우수한 성적으로 시험 통과

그들은 자신들의 새로운 가드를 다른 유명한 안전 가드들(LlamaGuard, QwenGuard 등)과 비교 테스트했습니다.

점수: CHILLGuard는 자신들의 커스텀 테스트에서 훨씬 높은 점수를 기록했습니다.
비교: 주요 테스트에서 두 번째로 뛰어난 모델보다 큰 차이(약 16% 더 높은 성능)로 앞섰습니다.
일관성: 특정 주제에는 강하지만 다른 주제에는 취약한 다른 모델들과 달리, CHILLGuard는 31개 모든 카테고리에서 강력한 모습을 보였습니다.

요약

저자들은 다음과 같이 중국 AI를 위한 맞춤형 안전 가드를 구축했습니다:

상세하고 문화적으로 특화된 규칙집을 제작했습니다.
훈련을 위해 수백만 개의 까다롭고 숨겨진 위험이 담긴 예시를 제조했습니다.
가장 어려운 문제에 추가적인 노력을 기울이는 "스파링 파트너" 훈련 방식을 사용했습니다.

그 결과, CHILLGuard는 이전 모델들보다 중국어 텍스트에 담긴 미묘하고, 숨겨져 있으며, 문화적으로 특화된 위험을 훨씬 더 잘 포착하는 가드가 되었습니다. 그들은 다른 이들도 사용할 수 있도록 데이터와 코드를 공개했습니다.

기술 요약: CHILLGuard

문제 정의

대규모 언어 모델(LLM)의 급격한 배포로 인해 악의적, 공격적 또는 비준수 콘텐츠 생성을 완화하기 위한 강력한 안전 가드레일이 필수적이 되었습니다. 그러나 기존의 안전 가드레일은 중국어 시나리오에 적용할 때 다음과 같은 결정적인 한계점을 보입니다:

문화적 및 규제적 불일치: 대부분의 가드레일은 영어 또는 일반적인 다국어 환경에 최적화되어 있으며, 서구적 문화 규범과 글로벌 규제 표준에 의존합니다. 이는 중국 특유의 규제 정책, 문화적 맥락, 그리고 암시적 언어적 뉘앙스(예: 동음이의어, 은유, 완곡어법)를 반영하지 못하여 높은 오탐률(False Positive)과 미탐률(False Negative)을 초래합니다.
데이터 부족: 고품질의 세밀한 대규모 중국어 안전 데이터셋이 심각하게 부족합니다. 기존 리소스는 대개 입도가 거칠고 규모가 제한적이며, 중국 온라인 환경에서 흔히 나타나는 다양하고 암시적인 유해 샘플이 결여되어 있습니다.
학습 패러다임의 한계: 전통적인 방식은 단순한 지도 미세 조정(SFT)에 크게 의존하며, 암시적이고 은폐된 형태의 경계 사례(edge-case) 유해 콘텐츠에 대한 강건성을 높이기 위한 고급 인간 선호도 정렬 기술을 활용하지 못합니다.

방법론

1. 세밀한 중국어 유해성 분류 체계 (Taxonomy)

저자들은 중국 규제 및 언어적 특성에 맞춘 전용 분류 체계를 도입하였으며, 이는 5개의 매크로 카테고리와 31개의 마이크로 카테고리로 구성됩니다:

매크로 A: 핵심 사회주의 가치 위반 (예: 전복 선동, 국가 안보 위협).
매크로 B: 차별적 콘텐츠 (예: 민족, 성별, 지역 차별).
매크로 C: 상업적 위반 및 비준수 (예: 지식재산권 침해, 독점).
매크로 D: 정당한 권익 침해 (예: 프라이버시, 명예, 초상권).
매크로 E: 특정 서비스의 안전 요구사항 미충족 (예: 과학적으로 부정확하거나 신뢰할 수 없는 콘텐츠).

2. 확장 가능한 데이터 구축 파이프라인

데이터 부족 문제를 해결하기 위해, 본 논문은 CHILLGuardTrain(405,007개 샘플)과 CHILLGuardTest(51,745개 샘플)를 구축하기 위한 다단계 파이프라인을 제안합니다:

다중 소스 생성:
- RAG 기반 프롬프트 구성: 검색 증강 생성(RAG)을 사용하여 약 480,000개의 실제 인터넷 텍스트 코퍼스(Quora, X, Weibo 출처)를 확장함으로써 자연스러운 사용자 프롬프트를 생성합니다.
- 실제 데이터 수집: 사이버 보안 및 법률 전문가가 주석을 달은 실제 운영 환경의 실제 사용자 프롬프트 46,742개를 수집합니다.
- 프롬프트 엔지니어링(PE) 증강: 중국어의 언어적 특징(동음이의어 치환, 문화적 은유, 수사적 아이러니, 의미적 중첩)에 특화된 전략을 사용하여 실제 프롬프트를 재작성함으로써 암시성과 다양성을 높입니다.
통합 전처리 및 레이블 교정:
- 모든 콘텐츠를 중국어로 번역하고, 중복을 제거하며, 길이에 따라 필터링합니다.
- 4개의 중국어 LLM(Qwen3, GLM-4, InternVL3.5, Yi-1.5)을 '배심원'으로 사용하는 다중 모델 투표(Multi-Model Voting) 프레임워크를 사용하여 이진 안전 레이블링을 수행하며, DeepSeek-V3.2가 동점 발생 시 최종 판결 및 세밀한 카테고리 할당을 담당합니다.

3. 모델 학습: MDPO를 활용한 생성기-분류기 협업

본 논문은 **모델 인식 직접 선호도 최적화(MDPO)**를 활용한 반복적인 생성기-분류기 협업 학습 프레임워크를 제안합니다:

프레임워크: 생성기(재작성된 프롬프트 생성자)와 분류기(가드레일)가 3회 반복 루프를 수행합니다. 생성기는 도전적인 적대적 샘플을 생성하고, 분류기는 이를 탐지하는 법을 학습합니다.
모델 인식 DPO (MDPO): 정적인 KL 페널티를 적용하는 표준 DPO와 달리, MDPO는 특정 학습 인스턴스에 대한 모델의 실시간 반응성에 따라 페널티 계수( $\beta$ )를 동적으로 조정합니다. 이는 선택된 응답과 거부된 응답 사이의 "보상 격차(reward gap)"를 정량화하여, 모델이 이미 숙달된 샘플에는 더 큰 페널티를 부여하여 과최적화를 방지하고, 어려운 샘플에는 더 작은 페널티를 부여하여 집중을 유도합니다.
난이도 기반 페어링: 생성된 샘플은 정답(ground truth), 분류기 예측 및 생성기 품질 점수를 기준으로 4가지 난이도 단계( $L_1$ ~ $L_4$ )로 분류됩니다. 학습을 최적화하기 위해 우선순위 규칙( $\langle L_1, L_4 \rangle \succ \langle L_1, L_3 \rangle \succ \langle L_2, L_4 \rangle$ )에 따라 선호도 쌍을 구성합니다.

주요 기여

CHILLGuard 시스템: 세밀한 5-매크로/31-마이크로 분류 체계를 갖춘 전용 중국어 LLM 콘텐츠 안전 가드레일.
대규모 데이터셋: 확장 가능한 다중 소스 파이프라인을 통해 구축된, 다양하고 암시적인 유해 샘플을 포괄하는 CHILLGuardTrain 및 CHILLGuardTest 데이터셋 공개.
MDPO 알고리즘: 샘플 난이도에 따라 최적화 페널티를 동적으로 조정하는 새로운 선호도 정렬 방법으로, 적대적 및 암시적 공격에 대한 강건성을 높이기 위해 생성기-분류기 협업 프레임워크에 통합됨.

실험 결과

CHILLGuardTest 및 주요 공개 벤치마크(PolyGuard, WildGuard, ChineseSafe)에 대한 광범한 실험 결과, 최첨단(SOTA) 성능을 입증했습니다:

성능: CHILLGuard-8B 변형 모델은 CHILLGuardTest에서 89.77의 전체 F1 점수를 달성하여, 두 번째로 우수한 모델인 Qwen3Guard-8B-Strict보다 15.92% 높은 성능을 보였습니다.
효율성: 가장 작은 변형인 CHILLGuard-1.7B조차 F1 점수 82.72를 기록하며, 모든 0~~3B 규모의 베이스라인 모델 및 대부분의 4~~7B 모델을 능가했습니다.
강건성: CHILLGuard는 5개 매크로 카테고리와 31개 마이크로 카테고리 전반에서 일관된 선두 성능을 유지하는 반면, 베이스라인 모델들은 차별적 콘텐츠 및 서비스 안전과 같은 카테고리에서 심각한 취약성(F1 < 60)을 보였습니다.
절제 연구(Ablation Studies): 반복적인 협업 학습과 MDPO 메커니즘이 모두 필수적임을 확인했습니다. 이를 제거할 경우 성능이 크게 저하되었습니다.

의의 및 주장

본 논문은 CHILLGuard가 언어적, 문화적으로 적응되었을 뿐만 아니라 정교하고 암시적인 적대적 공격에 대해 기술적으로 강건한 시스템을 제공함으로써 중국 LLM 안전의 핵심적인 공백을 메운다고 주장합니다. 저자들은 데이터셋, 분류 체계 및 모델을 공개함으로써 중국 맥락에서의 책임 있는 AI 발전을 촉진하고자 합니다. 이 연구는 표준 안전 패러다임이 중국 시나리오에는 불충분하며, 세밀한 규제 정렬과 고급 선호도 최적화(MDPO)를 결리하는 것이 차세대 가드레일을 위해 필수적임을 강조합니다.

참고: 저자들은 모든 리소스가 비상업적 연구 용도를 위한 CC BY-NC 4.0 하에 공개되었으며, 모든 데이터는 개인 식별 정보(PII)를 제거하고 책임 있는 사용을 보장하도록 스크리닝되었음을 명시합니다.