ArabicDialectSafety: A Dialect-Aware Benchmark for Arabic Content Safety Classification

기술 요약: ARABICDIALECTSAFETY

문제 정의
아랍어권 커뮤니티에서 대규모 언어 모델(LLM)의 급격한 배포는 언어적 및 문화적 맥락을 고려하지 못하는 안전 메커니즘의 치명적인 결함을 드러냈습니다. 핵심 과제는 아랍어의 언어적 다양성입니다. 아랍어는 주로 공식적인 환경을 위한 현대 표준 아랍어(MSA)와 고유한 어휘 및 문법 구조를 가진 수십 개의 뚜렷한 지역 방언(예: 이집트, 모로코, 레반트 방언)으로 존재합니다. 주로 MSA에 기반하여 학습된 현재의 안전 필터는 지역 방언으로 표현된 유해 콘텐츠를 감지하는 데 실패합니다. 더욱이, 사용자들은 안전 필터를 우회하기 위해 의도적으로 방언을 혼합하여 사용할 수 있으며, 이는 학습 데이터와 실제 사용 패턴 사이의 간극을 악용하는 것입니다. 기존의 아랍어 안전 벤치마크는 MSA에만 독점적으로 집중하거나, 명시적인 레이블링 없이 방언을 혼재시키거나, 견고하고 방언별로 계층화된 평가를 지원하기에는 규모가 너무 작습니다. 결과적으로, 이 분야는 분류 성능이 방언에 따라 어떻게 저하되는지, 그리고 LLM이 방언별 안전 사각지대를 보이는지에 대한 명확한 이해가 부족합니다.

방법론
이러한 격차를 해결하기 위해 저자들은 인간이 큐레이션한 데이터셋이자 평가 프레임워크인 ARABICDIALECTSAFETY를 소개합니다.

• 데이터셋 구축: 이 데이터셋은 MSA, 시리아, 이집트, 알제리, 팔레스타인, 모로코 등 6가지 아랍어 변체를 아우르는 25,071개의 프롬프트로 구성됩니다. 정제 과정(null 값, 빈 문자열, 주석이 없는 항목 제거)을 거쳐 24,053개의 인스턴스가 평가를 위해 남았습니다. 데이터셋은 자해, 타인 가해, 괴롭힘, 사기 및 기만, 불링(Bullying), 혐오 표현, 성인 콘텐츠의 7가지 세분화된 유해 카테고리를 다룹니다. 구축 과정은 설계자 선정, 윤리 지침 학습, 프롬프트 생성(유해한 경우와 무해한 경우 모두 포함), 교차 검증, 최종 출시를 포함하는 5단계 파이프라인을 거쳤습니다. 상호 주석자 간 일치도(Cohen's $\kappa$)는 0.72에서 0.91 사이로 상당 수준이었으며, 괴롭힘과 불링처럼 의미론적으로 중첩되는 카테고리에서 더 낮은 일치도가 관찰되었습니다.
• 평가 프레임워크: 저자들은 이중 작업 평가 프로토콜을 제안합니다:
  1. 이진 분류: 안전(Safe) 대 유해(Unsafe) 탐지.
  2. 세밀한 분류: 정의된 7가지 유형에 걸친 다중 클래스 유해 카테고리 분류.
     두 작업 모두 전역적 및 방언별로 평가됩니다.
• 모델 벤치마킹: 다음을 포함한 7개의 시스템을 벤치마킹했습니다:
  • 지도 학습 분류기: TF-IDF + 로지스틱 회귀, 다국어-e5-base (동결된 밀집 인코더), 그리고 방언형 아랍어로 사전 학습된 BERT 기반 인코더인 미세 조정된 MARBERTv2.
  • 지시어 튜닝된 LLM: FANAR-9B-Instruct, Jais-2-8B-Chat, Qwen2.5-7B-Instruct, Llama3.1-8B-Instruct를 퓨샷(few-shot) 설정에서 평가.
  • 방언 조건화: 방언 태그(예: [DIALECT])를 통한 명시적 방언 신호의 영향을 평가하기 위해, 모델을 태그 유무에 따라 테스트했습니다.
• 응답 생성 평가: 7개의 최첨단 LLM(GPT-4o, Gemini, Claude 및 아랍어 특화 모델 포함)에 유해한 방언 프롬프트를 쿼리했습니다. 이들의 응답은 인간의 주석을 기준으로 검증된 LLM-as-a-judge(GPT-5.2)를 사용하여 평가되었습니다.

주요 결과

• 지도 학습 모델이 LLM보다 우수함: 미세 조정된 MARBERTv2는 이진 분류에서 0.95, 세밀한 분류에서 0.90의 Macro-F1을 달성하며 가장 강력한 성능을 보였습니다. 이는 0.70–0.74(이진) 및 0.58–0.69(세밀한 분류)를 기록한 프롬프트 기반의 최첨단 LLM들을 크게 상회하는 수치입니다. 가벼운 TF-IDF + LR 베이스라인조차 매우 경쟁력 있는 성능(Macro-F1 0.93)을 유지했습니다.
• 방언 조건화 효과: 명시적인 방언 조건화(방언 태그 추가)는 표현 계층(MARBERTv2와 같이)에 통합되었을 때만 성능을 향상시켰으며, 프롬프트 수준의 단서로는 그렇지 않았습니다. LLM 및 기타 베이스라인의 경우, 방언 단서가 이진 탐지에서 미미하거나 개선 효과가 없었는데, 이는 이진 안전성이 방언별 변이보다는 일반적인 유해 어휘 패턴에 더 의존함을 시사합니다. 그러나 방언 단서는 세밀한 유해 구분에 있어 작지만 일관된 이득을 제공했습니다.
• 방언별 격차: 성능은 방언에 따라 크게 달랐습니다. MARBERTv2는 이집트(0.96), 팔레스타인(0.97), MSA(0.96)에서 높은 F1 점수를 달성했으나, 모로코 아랍어에서는 눈에 띄게 하락했습니다(이진 0.85, 세밀한 분류 0.69). 이는 마그레브(Maghrebi) 변체의 낮은 리소스 문제로 인해 발생하는 지속적인 과제를 시사하며, 이는 사전 학습 코퍼스에서의 제한된 표현력 때문일 가능성이 높습니다.
• LLM 안전성: 응답 생성기로서 최첨단 LLM들은 일반적으로 유해한 방언 프롬프트를 거부하거나 정화했으며, 모든 모델에서 유해 생성률은 5% 미만으로 유지되었습니다. 아랍어 특화 모델인 FANAR-v2는 낮은 유해 생성률(1.00%)을 유지하여, 아랍어 적응이 본질적으로 안전 정렬을 약화시키지 않음을 보여주었습니다. 그러나 인간 검증 결과, 이러한 추정치는 보수적일 수 있음이 나타났습니다.
• 오류 분석: 세밀한 분류에서의 오류는 의미론적으로 인접한 카테고리(예: 괴롭힘 vs 타인 가해, 불링 vs 타인 가해) 사이에 집중된 반면, 특징적인 어휘 신호가 있는 카테고리(성인 콘텐츠, 혐오 표현)는 안정적으로 분류되었습니다.

의의 및 주장
본 논문은 여러 아랍어 방언에 걸쳐 콘텐츠 안전 분류를 직접 벤치마킹한 최초의 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 방언 인식 벤치마크: 방언별로 계층화된 안전 평가를 위한 리소스 부족 문제를 해결하기 위해, 명시적인 방언 수준 주석이 포함된 대규모의 인간 큐레이션 데이터셋을 제공합니다.
2. 방언 편향의 실증적 증거: 현재의 안전 메커니즘과 LLM이 방언 간에 상당한 성능 격차를 보이며, 특히 마그레브 변체에 불리하게 작용함을 입증했습니다.
3. 방법론적 통찰: 최첨단 LLM의 퓨샷 프롬프팅보다 지도 학습 기반의 미세 조정 모델(특히 MARBERTv2와 같은 방언 인식 모델)이 아랍어 안전 분류에서 현재 더 우수한 정확도-비용 트레이드오프를 제공함을 확립했습니다.
4. 안전 베이스라인: 최첨단 LLM들이 유해한 방언 프롬프트에 대해 일반적으로 견고하지만, 자동화된 판독기가 "유해" 생성률을 과소평가할 가능성이 있음을 보여줌으로써 지속적인 방언 인식 평가의 필요성을 강조하는 베이스라인을 제공합니다.

저자들은 향후 연구가 단순히 모델 규모를 키우는 것이 아니라, 의미론적 중첩을 해결하기 위한 주석 택소노미(taxonomy)를 정교화하고 방언 형평성 있는 평가에 집중해야 한다고 결론짓습니다.