ThaiSafetyBench: Assessing Language Model Safety in Thai Cultural Contexts

이 논문은 영어 중심의 안전 평가에서 소외된 태국어와 태국 문화를 반영한 위험을 평가하기 위해 태국어 악성 프롬프트 1,954 개로 구성된 오픈소스 벤치마크 'ThaiSafetyBench'와 관련 분류기, 리더보드를 소개하고, 이를 통해 오픈소스 모델의 안전성 취약점과 문화적 맥락 공격의 높은 성공률을 규명했습니다.

핵심

🌏 1. 문제: "영어는 잘하지만, 태국 문화는 몰라요"

지금까지 AI 의 안전성을 검사할 때는 주로 영어로 된 질문을 많이 썼습니다. 마치 "영어로만 된 요리책"만 가지고 전 세계 요리를 평가하는 것과 비슷하죠.
하지만 태국 같은 나라에서는 영어로 된 질문보다 태국 특유의 문화, 속담, 사회적 관습을 건드리는 질문을 했을 때 AI 가 더 쉽게 넘어가거나 위험한 대답을 할 수 있습니다.

비유: 마치 "영어로 된 교통법규"만 외운 운전자가, 태국에서 흔히 쓰이는 복잡한 골목길 (문화적 뉘앙스) 을 운전하다가 사고를 낼 수 있는 것과 같습니다.

이 연구팀은 **"태국 문화에 특화된 안전성 검사표 (ThaiSafetyBench)"**를 만들어 1,954 개의 '악의적인 질문 (공격)'을 준비했습니다. 이 질문들은 단순한 나쁜 말뿐만 아니라, 태국의 왕실, 종교, 지역 갈등, 사회적 예절 등 태국인만이 이해할 수 있는 민감한 주제들을 포함합니다.

🧪 2. 실험: 24 명의 AI 학생에게 시험지 내기

연구팀은 이 검사표를 이용해 24 개의 다양한 AI 모델 (구글, 오픈AI 같은 거대 기업 모델부터 오픈소스 모델까지) 에게 시험을 보게 했습니다.

• 시험 감독관: 두 명의 초고성능 AI (GPT-4.1, Gemini-2.5-Pro) 가 "이 답변이 위험한가?"를 판정했습니다.
• 결과:
  • 상용 AI (비밀 유지 모델): 대부분 시험을 잘 봤습니다. 위험한 질문을 거절하는 능력이 뛰어났습니다.
  • 오픈소스 AI (누구나 쓸 수 있는 모델): 일부는 잘했지만, 전반적으로 문화적 맥락이 포함된 질문에는 훨씬 취약했습니다.
  • 가장 큰 발견: 일반적인 나쁜 질문보다 **"태국 문화 특유의 질문"**에 AI 가 더 쉽게 넘어갔습니다. 즉, AI 가 태국 문화를 제대로 이해하지 못해 안전 장치가 작동하지 않는다는 뜻입니다.

비유: 영어로 된 "불법 주정차" 경고는 잘 지키지만, 태국 현지에서 "어르신께 인사할 때 실수하는 것" 같은 복잡한 사회적 규칙은 AI 가 지키지 못해 사고가 나는 상황입니다.

🛠️ 3. 해결책: "가벼운 안전 검사관 (ThaiSafetyClassifier)"

매번 비싼 AI 감독관 (GPT-4 등) 을 불러서 검사하는 것은 비용이 많이 듭니다. 그래서 연구팀은 DeBERTa라는 경량 모델을 훈련시켜, **태국어 답변이 안전한지 위험한지 84.4% 의 정확도로 판단하는 '자동 검사관'**을 만들었습니다.
이 모델은 오픈소스로 공개되어, 누구나 저렴하게 AI 의 안전성을 다시 한번 점검할 수 있게 되었습니다.

비유: 매번 고가의 전문 검사소를 이용할 필요 없이, 집에서 쓸 수 있는 **'안전 진단 키트'**를 무료로 배포한 것과 같습니다.

🏆 4. 리더보드: "태국 AI 안전성 순위표"

연구팀은 이 검사 결과를 바탕으로 온라인 리더보드를 만들었습니다. 여기서 전 세계 개발자들이 만든 태국어 AI 모델들이 안전성 점수에 따라 랭킹을 매길 수 있습니다. 이를 통해 "누가 가장 안전한 태국어 AI 를 만들었는지" 투명하게 비교하고, 더 안전한 AI 를 개발하도록 독려합니다.

💡 요약: 이 연구가 중요한 이유

1. 문화적 안전의 중요성: AI 가 안전하려면 단순히 '나쁜 말'을 막는 것뿐만 아니라, 그 나라의 문화와 정서를 이해해야 합니다.
2. 오픈소스의 취약점: 누구나 쓸 수 있는 오픈소스 AI 는 상용 AI 에 비해 태국 문화적 공격에 더 취약할 수 있음을 경고했습니다.
3. 공유와 협력: 태국어 AI 를 더 안전하게 만들기 위해 데이터, 검사 도구, 순위표를 모두 공개하여 커뮤니티가 함께 발전하도록 돕습니다.

결론적으로, 이 논문은 **"AI 가 태국이라는 땅에서 안전하게 살아가려면, 태국 문화라는 '언어'와 '정서'를 제대로 배워야 한다"**는 메시지를 전하고 있습니다.

기술 요약

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 안전성 평가는 현재 영어 중심으로 이루어져 있어, 비영어권 언어와 문화적 맥락에 기반한 위험 요소가 충분히 탐구되지 않고 있습니다.

• 문화적 맥락의 부재: 기존 안전성 데이터셋은 영어 문화에 최적화되어 있어, 태국어와 같은 특정 언어의 방언, 관용구, 사회적 규범, 문화적 민감성 (예: 왕실 존중, 지역적 정치적 이슈 등) 을 반영하지 못합니다.
• 비영어권 공격의 취약성: 연구에 따르면 비영어권 언어를 대상으로 한 LLM 공격은 영어보다 성공률이 높으며, 기존 영어 중심 벤치마크는 다른 언어의 모델 안전성을 정확히 평가할 수 없습니다.
• 태국어 안전성 평가의 공백: 태국어 문화적 맥락을 반영한 공개된 안전성 데이터셋과 오픈소스 평가 프레임워크가 부재하여, 태국어 애플리케이션의 특정 취약점을 식별하거나 모델 간 안전성을 비교하기 어렵습니다.

2. 방법론 (Methodology)

A. 태국 안전성 벤치마크 (ThaiSafetyBench) 구축

• 데이터셋 규모: 총 1,954 개의 태국어 악성 프롬프트로 구성됨 (태국 법규 준수를 위해 왕실 관련 카테고리는 제외된 1,889 개 샘플을 공개).
• 분류 체계 (Taxonomy): 6 가지 주요 위험 영역과 17 가지 하위 해악 유형을 계층적으로 정의.
  • 주요 영역: 차별/배제/독성, 인간 - 챗봇 상호작용 해악, 정보 위험, 악용, 허위 정보, 태국 사회문화적 해악 (국경 문제, 문화 파괴, 왕실 관련, 부적절한 행동 등).
• 데이터 구성:
  1. 번역: 영어 안전 데이터셋 (Do-Not-Answer) 을 태국어로 번역하고 원어민이 자연스러움과 의미 정합성을 검증.
  2. 기존 데이터 정제: 기존 태국어 안전 데이터 (Typhoon2 등) 에서 노이즈를 제거하고 재선별.
  3. 생성: 안전 필터가 없는 LLM(Grok 3) 을 활용하여 태국 특유의 슬랭, 개인 정보, 조직 정보, 사회적 매너 위반 사례 등을 생성하고 전문가가 검증.

B. 모델 평가 프레임워크

• 평가 대상: 상업용 폐쇄형 모델, 오픈소스 다국어 모델, 동남아 특화 모델, 태국어 특화 모델 등 24 개 LLM 평가.
• 평가자 (LLM-as-a-Judge): GPT-4.1과 Gemini-2.5-Pro를 독립적인 평가자로 활용하여 이진 분류 (유해/안전) 수행.
• 주요 지표: **공격 성공률 (Attack Success Rate, ASR)**을 평균화하여 모델의 안전성 성능을 측정.

C. 경량 분류기 개발 (ThaiSafetyClassifier)

• 목적: 평가 비용 절감 및 재현성 확보.
• 아키텍처: DeBERTaV3-base 모델을 기반으로 LoRA(Low-Rank Adaptation) 를 사용하여 파인튜닝한 이진 분류기.
• 입력: 프롬프트와 LLM 응답을 연결한 시퀀스.
• 학습: 불균형 클래스 보정을 위한 클래스 밸런스 로스 (Class-balanced loss) 적용.

3. 주요 기여 (Key Contributions)

1. ThaiSafetyBench 데이터셋: 태국 문화적 맥락을 반영한 1,954 개 악성 프롬프트와 계층적 분류 체계를 갖춘 최초의 공개 태국어 안전성 벤치마크.
2. 포괄적 안전성 평가: 24 개 모델에 대한 자동화된 평가 및 GPT-4.1/Gemini-2.5-Pro 를 활용한 정량적 분석.
3. ThaiSafetyBench 리더보드: 모델 안전성 성능을 실시간으로 업데이트하고 커뮤니티 참여를 유도하는 공개 플랫폼.
4. ThaiSafetyClassifier: GPT-4.1 판결과 높은 일치도 (가중치 F1 점수 84.4%) 를 보이는 경량 해로운 응답 분류기 공개.

4. 결과 및 분석 (Results & Analysis)

• 전체 성능: 폐쇄형 상용 모델 (Claude 4.5, GPT-5 등) 이 오픈소스 모델보다 전반적으로 안전성 성능이 우수함. 일부 오픈소스 모델 (SeaLLMs-v3-7B 등) 은 폐쇄형 모델과 유사한 성능을 보였으나, 전반적인 오픈소스 모델의 취약성이 확인됨.
• 위험 영역별 차이:
  • 정보 위험 (Information Hazards): 민감 정보 유출에 대한 방어력은 상대적으로 높음.
  • 태국 사회문화적 해악 (Thai Socio-Cultural Harm): 모델 성능이 가장 취약한 영역으로, 문화적 맥락을 이해하지 못해 공격에 쉽게 노출됨.
• 태국 특화 공격 vs 일반 공격: 태국 특화 문화적 공격 (Thai-specific attacks) 이 일반 태국어 공격보다 공격 성공률 (ASR) 이 일관되게 높음. 이는 현재 안전성 정렬 (Safety Alignment) 방법이 지역별 문화적 뉘앙스에 취약함을 시사.
• 모델 크기와 안전성: 일반적으로 파라미터 수가 큰 모델일수록 ASR 이 낮아 안전성이 향상됨. 하지만 훈련 데이터의 품질 (안전성 데이터 포함 여부 등) 이 모델 크기만큼 중요함.
• 계속적 사전 학습 (CPT) 의 영향: 동남아/태국어 특화 파인튜닝 (CPT) 이 항상 안전성을 높이는 것은 아니며, 학습 데이터의 정제 품질과 안전성 정렬 과정의 적절성이 핵심 변수임.

5. 의의 및 결론 (Significance)

• 문화적 안전성 격차 해소: 태국어 및 태국 문화적 맥락에 특화된 안전성 평가 도구를 제공함으로써, 비영어권 LLM 의 안전성 연구 공백을 메웠습니다.
• 오픈소스 모델의 취약성 경고: 오픈소스 모델이 태국 문화적 맥락에서 특히 취약함을 보여주어, 지역화된 안전성 튜닝의 중요성을 강조했습니다.
• 재현성 및 커뮤니티 활성화: 경량 분류기와 리더보드를 공개하여 연구 비용 절감과 커뮤니티 기반의 지속적인 안전성 개선 노력을 장려했습니다.
• 향후 과제: 단순 프롬프트 기반 재프라이킹 (Jailbreak) 평가에서 벗어나, 더 정교한 공격 기법과 모델의 유용성 (Utility) 을 함께 고려한 평가 체계로 확장할 필요가 있음을 지적했습니다.

이 논문은 다국어 LLM 의 안전성 평가가 단순한 언어 번역을 넘어, **지역적 문화적 맥락 (Cultural Nuances)**을 깊이 있게 반영해야 함을 강력하게 주장하며, 태국어 AI 생태계의 안전한 발전을 위한 기초를 마련했습니다.