SalamahBench: Toward Standardized Safety Evaluation for Arabic Language Models

이 논문은 영어 중심의 기존 평가 한계를 극복하고 아랍어 언어 모델의 안전성을 체계적으로 평가하기 위해 MLCommons 안전 해저드 분류에 기반한 12 개 범주의 8,170 개 프롬프트로 구성된 'SalamahBench'를 제안하고, 이를 통해 다양한 아랍어 모델의 안전성 편차를 분석하고 전용 안전 장치가 필요함을 입증합니다.

핵심

🌍 1. 문제: "영어 AI 는 안전하지만, 아랍어 AI 는 위험할 수 있다?"

지금까지 AI(인공지능) 의 안전성을 검사하는 시험지는 대부분 영어로만 만들어졌습니다. 마치 "영어로 말하면 예의를 지키는 학생"이 "아랍어로 말하면 갑자기 폭력적으로 변할 수 있다"는 뜻입니다.

• 비유: 영어로 "총을 만드는 법을 알려줘"라고 하면 AI 가 "안 돼요"라고 거절합니다. 하지만 아랍어 방언이나 문화적 뉘앙스로 같은 의도를 감춰서 물어보면, AI 가 그걸 모르고 "알려드릴게요"라고 답할 수 있습니다.
• 현실: 중동과 북아프리카 지역에 전용으로 개발된 아랍어 AI 들이 급격히 늘고 있지만, 이들을 제대로 검사할 '안전 시험지'가 없어서 위험한 상황에 노출될 수 있습니다.

🛠️ 2. 해결책: "살라마 벤치 (SalamahBench) 라는 새로운 시험지"

저자들은 이 문제를 해결하기 위해 8,170 개의 아랍어 질문으로 구성된 새로운 시험지를 만들었습니다. 이름은 '살라마 (Salamah)'로, 아랍어로 **'안전'**을 의미합니다.

• 시험지 구성: 이 시험지는 12 가지 위험 카테고리 (폭력, 범죄, 성범죄, 자살 유도, 혐오 발언, 사생활 침해 등) 로 나뉘어 있습니다.
• 만드는 과정: 단순히 영어 시험지를 번역한 게 아닙니다.
  1. 여러 기존 데이터를 모았습니다.
  2. AI 가 먼저 걸러냈습니다.
  3. 현업 전문가 (사람) 가 최종 검수를 통해 "이 질문은 정말 위험한가?"를 확인했습니다.
  • 비유: 번역기만 믿지 않고, 현지 원어민 전문가들이 "이건 진짜 위험한 농담이야, 진짜 범죄 유도야"라고 하나하나 확인한 것입니다.

🧪 3. 실험: "AI 학생들 시험 보기"

이 새로운 시험지로 최신 아랍어 AI 5 개 (Fanar 2, Jais 2 등) 를 시험시켰습니다. 결과는 매우 극명했습니다.

• 최고 점수 (Fanar 2): 대부분의 위험한 질문을 잘 막아냈습니다. 하지만 특정 분야 (예: 지적 재산권이나 성적인 내용) 에서는 여전히 약점이 있었습니다.
• 최저 점수 (Jais 2): 거의 모든 위험한 질문을 막아내지 못했습니다. "내부적으로 안전 장치가 약하다"는 뜻입니다.
• 교훈: "전체 점수가 좋다고 해서 모든 과목이 좋은 건 아닙니다." 특정 분야에 따라 AI 의 안전성이 천차만별이라는 것을 발견했습니다.

🛡️ 4. 추가 발견: "AI 가 AI 를 감시할 수 있을까?"

연구진은 "아랍어 AI 가 스스로의 답변을 감시 (안전 검사) 할 수 있을까?"라고 궁금해했습니다.

• 결과: 불가능에 가깝습니다.
• 비유: "스스로를 감시하는 경비원"은 자신이 만든 답변의 위험성을 잘 못 봅니다. 반면, **전용 안전 검사 AI (Qwen3Guard 등)**는 사람과 거의 비슷한 수준으로 위험을 잘 찾아냅니다.
• 결론: AI 가 스스로를 안전하게 지키기엔 부족하므로, 전용 안전 검사 시스템을 따로 달아줘야 합니다.

📝 5. 결론 및 미래

이 논문은 다음과 같은 중요한 메시지를 전달합니다.

1. 아랍어 AI 는 영어 AI 와 다릅니다. 영어로 만든 안전 규칙을 그대로 적용하면 안 됩니다.
2. 세부적인 검사가 필요합니다. "전반적으로 안전하다"는 말로 만족하면 안 되고, 어떤 분야 (폭력, 사생활, 성 등) 에서 약한지 구체적으로 봐야 합니다.
3. 전문 감시 시스템이 필수입니다. AI 가 스스로를 감시하는 것보다, 전용 안전 검사기를 함께 쓰는 것이 훨씬 안전합니다.

한 줄 요약:

"아랍어 AI 가 안전하게 쓰이려면, 영어식 안전 규칙이 아닌 **아랍어 문화와 언어에 맞춘 전용 안전 시험지 (살라마 벤치)**와 전문 감시 시스템이 꼭 필요합니다."

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 문맥: 대규모 언어 모델 (LLM) 의 안전성 정렬 (Safety Alignment) 은 신뢰할 수 있는 AI 의 핵심 요소이나, 기존 안전 평가 벤치마크와 방어 모델 (Guard Models) 은 주로 영어 중심으로 개발되어 왔습니다.
• 문제점:
  • 아랍어 언어 모델 (ALMs) 의 안전성 평가 부재: 중동 및 북아프리카 (MENA) 지역에서 ALMs 의 개발이 급증하고 있으나, 체계적인 안전성 평가 도구가 부족합니다.
  • 문화적/언어적 차이: 아랍어는 복잡한 형태론, 다양한 방언, 그리고 문화적 맥락 (간접적 표현, 은유 등) 을 가지므로, 영어 기반의 번역 데이터나 방어 모델로는 아랍어 특유의 유해한 의도를 정확히 탐지하기 어렵습니다.
  • 표준화 부족: 기존 아랍어 안전 데이터셋은 파편화되어 있으며, MLCommons 와 같은 표준화된 해저드 (위험) 분류 체계에 부합하지 않아 모델 간 비교가 어렵습니다.

2. 제안 방법론 (Methodology)

이 논문은 아랍어 LLM 의 안전성을 평가하기 위한 통합 벤치마크인 SalamahBench를 제안합니다.

가. SalamahBench 구축 프로세스

• 데이터 수집 및 통합: 기존 6 개의 아랍어 안전 데이터셋 (RTP-LX, PGPrompts, AraSafe 등) 과 영어 기반 데이터셋 (AdvBench, HarmBench 등) 을 아랍어로 번역 및 통합하여 총 8,170 개의 프롬프트를 구성했습니다.
• 표준화: 모든 프롬프트를 **MLCommons Safety Hazard Taxonomy(12 가지 위험 카테고리)**에 매핑하여 일관된 평가 기준을 마련했습니다. (단, '전문적 조언' 카테고리는 자동화된 평가의 한계로 제외됨)
• 3 단계 정제 파이프라인:
  1. 전처리: 원본 데이터 정제 및 MLCommons taxonomy 매핑.
  2. AI 필터링: Claude Sonnet 4.5 와 GPT-5 를 'AI 저지 (Judge)'로 활용하여 모호하거나 품질이 낮은 샘플을 선별.
  3. 인간 검증: 인간 어노테이터가 AI 간 이견을 조정하고, 해저드 카테고리 적절성을 최종 검증하여 'Gold Label' 생성.

나. 평가 프로토콜

• 평가 대상 모델: Fanar 1/2, ALLaM 2, Falcon H1R, Jais 2 등 5 가지 최신 ALMs.
• 방어 모델 (Guard Models) 설정:
  • 개별 방어 모델: Qwen3Guard, Llama Guard 4, PolyGuard.
  • 다수결 (Majority Vote): 3 개의 방어 모델 중 과반수가 '유해'로 판단할 경우 유해로 간주.
  • Native Self-Guard: ALMs 자체를 안전성 판정자 (Safety Judge) 로 사용하여 평가.
• 평가 지표: 공격 성공률 (ASR, Attack Success Rate), 거절률 (Refusal Rate), 인간 골드 레이블과의 일치도.

3. 주요 기여 (Key Contributions)

1. SalamahBench 출시: 아랍어 특유의 안전 실패 모드를 포착하고 MLCommons taxonomy 에 기반한 최초의 통합 아랍어 안전 평가 벤치마크 제공.
2. 포괄적인 ALMs 안전성 평가: 5 가지 최신 ALMs 에 대한 카테고리별 (Category-aware) 안전성 분석 수행.
3. 원어 기반 안전 평가 프로토콜 제안: 번역에 의한 왜곡을 방지하고, 아랍어 LLM 을 직접 안전성 판정자로 활용하는 평가 파이프라인을 제안 및 검증.

4. 실험 결과 (Results)

• 모델별 안전성 편차:
  • Fanar 2: 전체 공격 성공률 (ASR) 이 가장 낮아 (0.8% ~ 3.4%) 가장 안전한 모델로 평가됨.
  • Jais 2: 모든 방어 설정과 해저드 카테고리에서 일관되게 높은 취약성 (ASR 최대 24.2%) 을 보임.
  • Falcon H1R: 전반적으로 낮은 ASR 을 보였으나, 특정 카테고리에서 민감함.
• 카테고리별 취약성 (Category-Level Vulnerability):
  • 전체적인 안전성 점수가 높은 모델이라도 **지적 재산권 (Intellectual Property)**이나 **성적 콘텐츠 (Sexual Content)**와 같은 특정 카테고리에서는 취약점이 발견됨. 이는 집계된 지표만으로는 모델의 미세한 안전성 약점을 파악하기 어렵다는 것을 시사.
• 방어 모델 성능:
  • Qwen3Guard가 인간 골드 레이블과 가장 높은 일치도 (90.8%) 를 보이며 가장 효과적인 방어 모델로 확인됨.
  • Self-Guard 한계: ALMs 를 직접 안전성 판정자로 사용할 경우 (Fanar 2 기준 48.3% 정확도), 전용 방어 모델에 비해 성능이 현저히 떨어짐. 이는 생성 능력과 안전 판단 능력 사이의 격차를 보여줌.

5. 의의 및 결론 (Significance)

• 표준화된 평가의 필요성 강조: 아랍어 LLM 의 안전성은 모델마다, 그리고 해저드 카테고리마다 크게 다르므로, 단일 지표가 아닌 카테고리별 세분화된 평가가 필수적입니다.
• 전용 방어 모델의 중요성: 아랍어 LLM 이 자체적으로 안전성을 판단하는 것은 신뢰할 수 없으므로, **전용 아랍어 안전 방어 모델 (Native Safeguards)**의 개발이 시급합니다.
• 향후 방향: 방언 (Dialect) 다양성 확대, 다턴 (Multi-turn) 대화 시나리오 평가, 그리고 커뮤니티 기반의 데이터 확장을 통해 보다 견고한 아랍어 AI 안전 생태계 구축을 제안합니다.

요약: 이 논문은 아랍어 LLM 의 안전성 평가에 있어 영어 중심의 한계를 극복하기 위해 SalamahBench를 구축하고, 이를 통해 최신 아랍어 모델들의 안전성 편차를 규명했습니다. 연구 결과는 전용 방어 모델의 필요성과 카테고리별 세밀한 평가의 중요성을 강력하게 입증했습니다.