Taiwan Safety Benchmark and Breeze Guard: Toward Trustworthy AI for Taiwanese Mandarin

이 논문은 대만식 중국어의 문화적 뉘앙스를 반영한 TS-Bench 라는 안전성 평가 벤치마크와 이를 기반으로 한 Breeze Guard 안전 모델을 소개하며, 대만 특화 위험 요소 탐지에 있어 문화적 기반이 있는 모델이 일반 안전 모델보다 훨씬 우수한 성능을 보임을 입증합니다.

핵심

🌟 핵심 비유: "현지 가이드 vs. 세계 여행 가이드"

상상해 보세요.

• **기존 글로벌 AI **(예: Granite Guardian)는 "세계 여행 가이드"입니다. 영어권이나 대륙 중국어권에서는 아주 훌륭하지만, 대만의 좁은 골목길이나 현지인들만 아는 은어를 모릅니다.
• 이 논문이 만든 Breeze Guard는 "대만 현지 가이드"입니다. 대만의 역사, 방언, 사기 수법, 정치적인 뉘앙스를 어릴 적부터 익혀온 사람처럼 행동합니다.

---

1. 왜 새로운 모델이 필요했을까요? (문제 상황)

대만에서는 사기꾼들이 매우 교묘한 수법을 사용합니다. 예를 들어:

• "ATM 에서 분할 상환을 취소하세요"라는 사기 메시지.
• "LINE 그룹에서 핫한 주식을 알려주겠다"는 투자 사기.
• "새우와 레몬을 같이 먹으면 비소가 생긴다"는 잘못된 건강 정보.

이런 말들은 대만 현지인에게는 바로 위험 신호가 보이지만, 영어로만 훈련된 AI 는 "아, 그냥 정보구나"라고 착각하고 넘어갑니다. 마치 현지인만 아는 은어로 쓴 편지를 외국인이 읽었을 때, 그 속에 숨겨진 위험을 전혀 못 알아채는 것과 같습니다.

2. 이 논문이 만든 두 가지 도구

🛠️ 도구 1: TS-Bench (대만 안전 시험지)

이것은 "대만 특화 안전 시험"입니다.

• 기존 시험지는 영어로만 되어 있어서 대만 사기 수법을 테스트할 수 없었습니다.
• 연구팀은 대만의 실제 사기 사례, 정치적 은어, 지역적 차별 표현 등을 담은 400 개의 문제로 시험지를 만들었습니다.
• 이 시험지는 AI 가 대만의 위험을 얼마나 잘 알아차리는지 측정하는 최고의 척도가 됩니다.

🛡️ 도구 2: Breeze Guard (대만 특화 안전 경비원)

이것은 대만어에 특화된 AI 경비원입니다.

• 기반: 이미 대만 문화와 언어를 잘 알고 있는 'Breeze 2'라는 AI 를 베이스로 했습니다. (이미 현지 사정을 아는 사람)
• 훈련: 이 경비원에게 대만의 구체적인 사기 수법과 위험한 표현들을 가르쳤습니다.
• 특징: 단순히 "나쁜 말"을 막는 게 아니라, "대만적인 맥락"에서 나쁜 의도를 파악합니다.

---

3. 어떻게 작동할까요? (핵심 원리)

연구팀은 "안전 교육만으로는 부족하다"는 가설을 세웠습니다.

• 기존 방식: 외국에서 온 경비원에게 "이건 나쁜 말이야"라고 외우게 하는 것 (단순 훈련).
• 이 연구의 방식: 이미 대만 문화에 익숙한 현지인에게 "이런 수법이 위험해"라고 가르치는 것 (맥락 기반 훈련).

예시:

• "너 진짜 **客家 **(하카) 같네?"라는 말은 대만에서 "아까워"라는 부정적인 편견을 담고 있습니다.
• 글로벌 AI는 "하카는 민족 이름이니까 괜찮아"라고 생각합니다.
• Breeze Guard는 "아, 이건 대만에서 특정 민족을 조롱하는 은어야"라고 바로 알아챕니다.

4. 결과는 어땠나요?

• **대만 시험 **(TS-Bench) Breeze Guard 가 압도적으로 이겼습니다. 특히 사기 (SCAM) 나 금융 사기 (FIN_MALPRACTICE) 영역에서 기존 모델보다 약 2 배 이상 더 잘 찾아냈습니다.
• 영어 시험: 영어로 된 위험한 말은 조금 덜 잘 찾아냈습니다. 하지만 이는 "대만 특화 경비원"이 대만 사기를 막는 데 집중했기 때문에 발생한 자연스러운 trade-off(교환) 입니다.

5. 결론: 왜 이 연구가 중요한가요?

이 논문은 "AI 는 지역마다 다른 문화와 언어를 이해해야 진짜 안전하다"는 것을 증명했습니다.

• 비유하자면: 전 세계에 통용되는 "만능 자물쇠"도 있지만, 대만의 특정 문에 맞는 "맞춤 자물쇠"가 있어야 그 문은 안전하게 잠길 수 있다는 것입니다.

이 연구는 대만의 AI 안전을 지키는 새로운 기준을 세웠을 뿐만 아니라, 다른 지역 (한국, 일본 등) 에서도 자국의 문화와 언어에 맞는 AI 안전 시스템을 만드는 방법을 제시했다는 점에서 매우 중요합니다.

---

한 줄 요약:

"전 세계용 AI 는 대만의 복잡한 사기와 은어를 못 알아채지만, **대만 문화에 푹 빠진 AI 경비원 **(Breeze Guard)을 만들어 내면, 대만의 위험을 정확히 막아낼 수 있다!"

기술 요약

1. 문제 정의 (Problem Statement)

• 문화적/언어적 맹점: 기존의 글로벌 안전 모델 (Safety Models) 은 영어 중심의 데이터로 훈련되어 있어, 대만 표준어 (Taiwanese Mandarin) 의 문화적 뉘앙스와 언어적 특성을 제대로 파악하지 못합니다.
• 지역 특화 위험의 간과: 대만 지역의 고유한 금융 사기 (ATM 해지 사기 등), 문화적으로 뿌리 깊은 혐오 표현, 지역적 정치 선동, 의료 오정보 등은 전 세계적 안전 데이터셋에 잘 포함되어 있지 않습니다.
• 기존 모델의 한계: 이러한 모델들은 지역 특유의 은어, 관용구, 사기 수법을 식별하지 못하거나, benign(위험하지 않은) 콘텐츠를 위험한 것으로 오인하는 등 지역별 위험을 감지하는 데 실패합니다.

2. 핵심 방법론 (Methodology)

가. TS-Bench (Taiwan Safety Benchmark) 개발

• 목적: 대만 표준어 환경에서의 안전 성능을 평가하기 위한 표준화된 벤치마크입니다.
• 구성: 400 개의 인간이 선별한 프롬프트 (200 개 위험, 200 개 안전) 로 구성되었습니다.
• 6 가지 위험 카테고리:
  1. 사기 및 허위 모집 (SCAM): ATM 해지 사기, Shopee/PChome 등 현지 플랫폼 사칭 피싱.
  2. 불법 금융 조언 (FIN_MALPRACTICE): '투자 선생님' 사기, LINE 그룹 내 주가 조작, 피라미드식 모금.
  3. 의료 오정보 (HEALTH_MISINFO): 검증되지 않은 민간요법 (예: 새우 + 레몬 = 비소), 가짜 치료법.
  4. 성별 차별 (GENDER_BIAS): '대만녀 (台女)', '어미 돼지 (母豬)' 등 지역 특화 성차별적 비하 표현.
  5. 인종 및 사회적 집단 혐오 (GROUP_HATE): 객가족 (Hakka) 에 대한 편견, 원주민 및 이주 노동자에 대한 차별, '탕바오바오 (唐寶寶)' 등 장애인 비하.
  6. 정치적 조작 및 선동 (POL_MANIPULATION): '측익 (側翼)', '타그린반 (塔綠班)', '랑바이주 (藍白豬)' 등 대만 정치권에서 사용되는 적대적 용어.
• 하드 네거티브 (Hard Negatives): 위험한 내용과 유사하지만 안전한 콘텐츠 (예: 사기 수법 설명 vs 실제 사기 메시지, 건강 루머 전파 vs 루머 debunking) 를 쌍으로 구성하여 모델의 과잉 차단 (Over-refusal) 능력을 평가합니다.

나. Breeze Guard 모델 개발

• 베이스 모델: 대만의 문화적 배경을 잘 이해하는 일반 목적 LLM 인 **Breeze 2 (8B)**를 기반으로 합니다. (Llama 3 를 대만 전통 한자 (Traditional Chinese) 코퍼스로 추가 전학습한 모델).
• 핵심 가설: 안전성 미세 조정 (Safety Fine-tuning) 만으로는 새로운 사회언어학적 지식을 주입할 수 없으며, 사전 학습 (Pre-training) 단계에서 얻은 문화적 토대 (Cultural Grounding) 가 필수적입니다.
• 학습 데이터: 대만 특화 위험을 대상으로 한 대규모 합성 데이터 (Synthetic Dataset) 를 생성하고, 인간 검증 (Human-in-the-loop) 을 거쳐 정제했습니다.
  • 12,000 개 이상의 프롬프트 생성 (위험/안전 쌍, 다양한 어조, 코드스위칭 포함).
  • '생각 모드 (Think Mode, CoT 포함)'와 '비생각 모드 (No-think Mode)' 두 가지 추론 방식을 모두 학습.
• 아키텍처: Breeze 2 의 텍스트 디코더 부분만 파인튜닝하며, 비전 (Vision) 구성 요소는 고정 (Freeze) 합니다.

3. 주요 기여 (Key Contributions)

1. TS-Bench: 대만 지역 특화 안전 리스크를 측정하는 최초의 표준 벤치마크를 공개했습니다.
2. Breeze Guard: 대만 표준어에 최적화된 8B 안전 모델로, 지역 특화 위험 감지 성능을 획기적으로 개선했습니다.
3. 문화적 토대의 중요성 입증: 안전성 미세 조정 전의 베이스 모델이 가진 문화적 이해도가 최종 안전 판단 성능에 결정적임을 실험적으로 증명했습니다.

4. 실험 결과 (Results)

가. TS-Bench 성능 (대만 지역 특화)

• 전체 성능: Breeze Guard 는 기존 최강의 8B 안전 모델인 Granite Guardian 3.3보다 전체 F1 점수에서 +0.17만큼 우위를 보였습니다.
• 카테고리별 개선:
  • 사기 (SCAM): F1 점수 +0.66 (Granite: 0.18 → Breeze Guard: 0.93) 로 압도적인 개선.
  • 불법 금융 (FIN_MALPRACTICE): F1 점수 +0.43 개선.
  • 이는 Granite Guardian 이 대만 특유의 사기 수법 (ATM 해지, LINE 투자 사기 등) 을 거의 인식하지 못했음을 보여줍니다.

나. 글로벌 벤치마크 성능 (영어 중심)

• ToxicChat 및 AegisSafetyTest: Breeze Guard 는 영어 중심 벤치마크에서 Granite Guardian 보다 약간 낮은 성능을 보였습니다.
• 의미: 이는 지역 특화 모델이 특정 도메인 (대만) 에 최적화되면서 영어 중심의 일반적 독성 감지 능력은 다소 희생되는 Trade-off가 발생함을 의미하며, 이는 지역 특화 모델로서 예상되는 결과입니다.
• 생각 모드 (Think Mode): 영어 벤치마크에서 CoT(Chain-of-Thought) 추론을 통해 성능 격차를 줄이는 데 도움을 주었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 신뢰할 수 있는 AI 의 기반: 대만 지역에서 신뢰할 수 있는 AI 를 배포하기 위해 지역적 문화와 언어적 맥락을 반영한 안전 모델이 필수적임을 증명했습니다.
• 방법론의 확장성: 이 연구에서 제시된 '문화적 토대 기반 베이스 모델 + 지역 특화 합성 데이터 파인튜닝' 방법론은 다른 비영어권 지역이나 독특한 사기 유형을 가진 지역에도 적용 가능한 일반적인 프레임워크를 제시합니다.
• 향후 과제: 과민 반응 (Over-sensitivity) 문제 해결, 다중 회화 (Multi-turn) 및 멀티모달 (이미지 기반 사기 등) 안전성으로의 확장, 그리고 지속적인 레드팀링을 통한 데이터 갱신이 필요함을 강조했습니다.

이 논문은 지역적 문화적 맥락 (Cultural Grounding) 이 AI 안전성 (Safety) 의 핵심 요소임을 강조하며, 글로벌 모델의 맹점을 해결하기 위한 구체적인 대안 (TS-Bench 와 Breeze Guard) 을 제시했다는 점에서 의의가 큽니다.