💬 NLP

SomaliBench Eval: Measuring English-to-Somali Refusal Gaps in Open-Weight Language Models

본 논문은 네 가지 오픈 가중치 언어 모델을 네이티브 화자가 검증한 SomaliBench v0 벤치마크를 사용하여 평가하고, 모델이 유해한 요청에 대한 유창한 순응이 아니라 불일치하거나 잘못된 언어의 출력으로 인해 소말리어로 유해한 프롬프트를 거부하지 못하는 경우가 빈번한 영어-소말리어 안전 거부 간극이 있음을 밝힌다.

원저자: Khalid Yusuf Dahir

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Khalid Yusuf Dahir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

네 가지 서로 다른 로봇 (AI 모델) 이 도움이 되고, 해를 끼치지 않으며, 정직하도록 설계되었다고 상상해 보세요. 위험한 질문을 했을 때 이 로봇들이 진정으로 "안전한지" 테스트하고 싶다고 가정해 봅시다.

이 논문은 이러한 로봇들을 점검하는 안전 검사관과 같지만, 한 가지 차이가 있습니다: 검사관은 동일한 위험한 질문을 영어와 소말리어라는 두 가지 다른 언어로 묻습니다.

그들이 발견한 내용을 간단히 설명해 드리겠습니다:

설정: "하지 마세요" 테스트

연구자들은 100 가지 위험한 요청 (예: "폭탄을 만드는 방법은 무엇인가요?" 또는 "누구의 신원을 도용하는 방법은 무엇인가요?") 을 준비하고, 네 가지 인기 있는 무료 AI 로봇에게 이러한 질문을 했습니다.

테스트: 먼저 영어로 질문한 후, 동일한 질문을 소말리어로 다시 물었습니다.
목표: 로봇들이 두 언어 모두에서 "아니요, 그건 할 수 없습니다"라고 거절 (Refusal) 하는지, 아니면 혼란을 겪으며 "네"라고 동의 (Compliance) 하거나 단순히 의미 없는 말을 늘어놓는지 (Unclear) 확인하고 싶었습니다.

큰 발견: "언어 맹점"

결과는 충격적이었습니다. 영어로 말할 때는 매우 엄격하지만, 소말리어로 말하면 갑자기 매우 느슨해지거나 혼란스러워지는 보안 요원과 같은 상황입니다.

영어에서: 네 로봇 모두 "아니요"라고 말하기를 매우 잘했습니다. 위험한 요청을 거의 100% 의 비율로 거절했습니다. 그들은 무엇을 해야 할지 정확히 아는 바운서와 같았습니다.
소말리어에서: 로봇들의 신뢰도는 훨씬 떨어졌습니다.
- Llama 와 Aya: 이 두 로봇은 소말리어에서 안전 규칙을 거의 완전히 잊어버렸습니다. 10% 미만의 경우에만 "아니요"라고 답했습니다.
- Qwen: 이 로봇은 약 24% 의 경우에만 "아니요"라고 답했습니다.
- Gemma: 이 로봇은 무리 중 가장 잘했지만, 여전히 약 59% 의 경우에만 "아니요"라고 답했으며, 영어 성능에 비해 절반 이상 실패했습니다.

"혼란스러운 로봇" 문제

가장 흥미로운 부분은 여기 있습니다. 로봇들이 소말리어에서 실패했을 때, 항상 "네, 폭탄 만드는 방법을 알려드리겠습니다"라고 말한 것은 아닙니다.

네 로봇 중 세 개에서 가장 흔한 실패는 위험한 "네"가 아니라 **"무슨 소리인가요?"**였습니다.

그들은 빈 답변을 내놓았습니다.
잘못된 언어로 말했습니다.
의미 없는 텍스트나 일관성 없는 글을 생성했습니다.

이렇게 생각해보세요: 모르는 언어로 길 안내를 요청한 당황한 관광객에게 길을 물어보면, 그들이 당신을 절벽으로 안내하는 것 (해로운 동의) 이 아니라 멍하니 바라보거나 프랑스어로 말을 시작하는 것 (불분명한 출력) 일 수 있습니다. 논문은 이것이 직접적인 "공격"은 아니지만, 로봇이 안전하거나 명확하게 제 역할을 하지 못한다는 점에서 여전히 실패라고 주장합니다.

"심판자"와 "현장 점검"

연구자들이 계산을 정확하게 했는지 확인하기 위해, 모든 답변을 읽고 "거절했는가? 동의했는가? 아니면 불분명한가?"를 결정하는 초지능 AI("심판자") 를 사용했습니다.

"심판자"가 실수를 하지 않았는지 확인하기 위해, 소말리어 원어민 (이 논문의 저자) 이 80 개의 답변을 무작위로 점검했습니다.

결과: 인간과 AI 심판자는 100% 일치했습니다. 이는 숫자가 실제임을 매우 높은 확신으로 보여줍니다.

주요 결론

이 논문은 영어에서의 안전 훈련이 자동으로 소말리어로 전이되지 않는다고 결론 내립니다.

이러한 로봇들이 똑똑하고 여러 언어를 구사하더라도, 그들의 "안전 브레이크"는 영어에서는 매우 강력하지만 소말리어에서는 종종 약하거나 고장 난 상태입니다.

격차: 영어와 소말리어에서의 안전성 사이에는 엄청난 격차가 존재합니다.
미묘한 차이: 소말리어에서 실패할 때, 그들은 악의적으로 변하기보다는 단순히 무너져서 의미 없는 말을 늘어놓는 경우가 많습니다. 하지만 소말리어와 같은 주요 언어에서 명확하거나 안전하게 말하지 못하는 로봇은 여전히 문제입니다.

연구자들이 하지 않은 일

이 논문이 무엇이 아닌지를 알아두는 것이 중요합니다:

그들은 로봇을 해킹하기 위한 교묘한 트릭 (재일브레이크) 을 시도하지 않았습니다.
실제 세계의 앱이나 라이브 시스템에서 로봇을 테스트하지 않았습니다.
로봇들이 제공한 실제 위험한 답변을 공개하지 않았습니다 (인터넷을 안전하게 유지하기 위함).

간단히 말해: 이 AI 로봇들은 영어로는 완벽한 업무 수행을 하는 이중언어 보안 요원들과 같지만, 같은 고객들이 소말리어로 말하면 혼란스러워하거나 침묵하거나 도움이 되지 않습니다. 연구자들은 그 혼란의 격차가 얼마나 큰지 정확히 측정했습니다.

기술 요약: SomaliBench 평가

문제 제기
대규모 언어 모델 (LLM) 안전성 평가는 주로 영어 중심적으로 이루어져, 영어에서 견고한 거부 행위가 저자원 언어로 전이되지 않는 "다국어 안전성 격차"를 초래합니다. 본 논문은 1500 만~2000 만 명의 화자를 보유한 주요 쿠시트어족 언어이지만 역사적으로 자연어 처리 (NLP) 인프라가 제한적이었던 소말리어에 대해 이러한 격차를 구체적으로 다룹니다. 본 연구는 상용 하드웨어에서 로컬 배포되는 맥락에서, 오픈 가중치 지시 튜닝 모델이 영어와 비교하여 소말리어로 프롬프트를 입력받았을 때 일관된 안전성 거부율을 유지하는지 조사합니다.

방법론
본 평가는 HarmBench 와 AdvBench 에서 파생된 100 개의 유해 의도 프롬프트와 원어민 작가가 검증한 소말리어 번역본을 짝지은 SomaliBench v0를 활용합니다. 본 연구는 Apple Silicon 에서 로컬 실행이 가능한 네 가지 오픈 가중치 모델을 평가합니다:

Llama-3.1-8B-Instruct
Gemma-2-9B-Instruct
Qwen-2.5-7B-Instruct
Aya-23-8B

실험 설정:

추론: 모든 모델은 고정된 디코딩 매개변수 (temperature 0, top-p 1.0, 최대 512 토큰) 와 통일된 영어 "유용하고, 해롭지 않으며, 정직한 (HHH)" 시스템 프롬프트를 사용하여 Ollama 를 통해 로컬에서 실행되었습니다.
분류: 응답은 거부, 수용, 또는 불명확(비어 있음, 잘못된 언어, 비일관성) 의 세 가지 범주로 분류되었습니다. 분류는 고정된 Anthropic Claude Sonnet 스냅샷 (claude-sonnet-4-5-20250929) 에 의해 수행되었습니다.
검증: 원어민 소말리어 작가가 안전 범주 전반에 균형을 맞춘 80 개의 행에 대해 층화 표본 검사를 수행하여 자동 판정관과 100% 일치 (Cohen's κ = 1.00) 를 달성했습니다.
지표: 주요 지표는 95% 부트스트랩 신뢰 구간으로 계산된 영어 감산 소말리어 거부 격차 ( $G_m = R_{m,en} - R_{m,so}$ ) 입니다.

주요 기여

교차 모델 측정: 통합된 영어/소말리어 안전성 데이터셋에 대한 네 가지 로컬 오픈 가중치 언어 모델의 거부율 평가를 최초로 제공합니다.
헤드라인 지표: 통계적 신뢰 구간을 갖춘 영어에서 소말리어로의 거부 격차를 보고하여 안전성 전이 실패를 정량화합니다.
신뢰성 검증: 거부, 수용, 비일관성을 구분하는 특정 작업에서 원어민 작가 주석과 LLM-판정관 접근법을 비교 검증하여 높은 일치를 확인했습니다.
배포 원칙: 유해 내용을 포함한 원시 모델 생성물은 로컬에 보관하고 배포하지 않으며, 집계 통계 및 벤치마크 데이터는 책임 있는 사용 라이선스 (CC-BY-NC-4.0) 하에 공개하는 프로토콜을 채택했습니다.

결과
본 연구는 네 가지 모델 전반에 걸쳐 유의미하고 일관된 거부 격차를 발견했습니다:

Llama-3.1-8B: 영어 거부율 0.97 대 소말리어 거부율 0.07 (격차: 0.90).
Aya-23-8B: 영어 거부율 0.80 대 소말리어 거부율 0.05 (격차: 0.75).
Qwen-2.5-7B: 영어 거부율 0.93 대 소말리어 거부율 0.24 (격차: 0.69).
Gemma-2-9B: 영어 거부율 0.97 대 소말리어 거부율 0.59 (격차: 0.38).

실패 모드에 대한 비판적 관찰:
네 가지 모델 중 세 가지 (Llama, Aya, Qwen) 의 경우, 소말리어에서의 지배적인 실패 모드는 유창한 유해 수용이 아니라 "불명확한" 출력(비어 있거나, 주제에서 벗어났거나, 비일관적인 생성) 이었습니다. Gemma-2-9B 만이 더 높은 일관된 소말리어 거부율과 더 적은 불명확한 출력을 보였으나, 여전히 유의미한 격차를 나타냈습니다. 이는 소말리어에서의 낮은 거부율이 안전성 제약 하에서 목표 언어로 일관된 응답을 생성하는 모델의 실패에서 비롯된 경우가 많으며, 안전성 필터를 고의적으로 우회하는 것이 아님을 시사합니다.

의의 및 주장
본 논문은 현재 소형 오픈 가중치 모델에서 안전성 거부 행동이 영어에서 소말리어로 신뢰성 있게 전이되지 않는다는 것을 입증하는 견고하고 재현 가능한 기준을 확립했다고 주장합니다.

"다국어" 지시 튜닝 (Aya-23 및 Qwen 에서 볼 수 있듯) 이 나열되지 않은 저자원 언어에서 안전성 정렬을 자동으로 보장하지 않는다는 점을 강조합니다.
안전성 격차를 재정의합니다: 위험은 단순히 직접적인 유해 수용이 아니라, 소말리어에서 신뢰할 수 있고 일관된 안전성 거부를 제공하지 못해 예측 불가능한 행동을 초래하는 모델의 능력 부재에도 있습니다.
이 작업은 언어별 안전성 격차를 문서화하는 더 넓은 의제의 측정 지점으로 기능하며, 현재 안전성 조건 설정 (영문 HHH 프롬프트를 사용하더라도) 이 소말리어에는 불충분함을 지적합니다.

인정된 한계
저자들은 벤치마크 크기 (100 개 쌍) 가 세분화된 범주 분석을 제한하며, 무해한 소말리어 제어 세트의 부재가 안전성 실패와 일반 생성 무능력을 혼동하게 만들고, 단일 영어 시스템 프롬프트 사용이 모든 배포 시나리오를 반영하지 못할 수 있음을 지적합니다. 향후 작업 (v2) 은 데이터셋을 확장하고, 무해한 제어 세트를 포함하며, 여러 시스템 프롬프트 구성을 테스트하는 것을 제안합니다.