TukaBench: A Culturally Grounded Jailbreak Benchmark for African Languages

기술 요약: TukaBench

문제 정의

대규모 언어 모델(LLM)에 대한 안전성 평가는 여전히 영어 중심으로 이루어져 있어, 저자원 언어(LRL), 특히 아프리카 언어들에 대한 탐구가 매우 미흡한 실정이다. 기존의 탈옥(jailbreak) 벤치마크(예: JailbreakBench)와 안전성 평가 방식은 고자원 언어를 다루고 있지만, 저자원 언어의 언어적, 문화적 뉘앙스를 반영하지 못한다. 선행 연구들은 유해한 프롬프트를 저자원 언어로 번역하는 것이 모델의 안전 가드레일을 우회할 수 있음을 보여주었으나, 아프리카 언어에 대해 언어, 문화적 근거, 그리고 프롬프트 회피성이 모델 안전성에 미치는 영향을 체계적으로 연구하기 위한 인간 큐레이션 기반의 벤치마크는 부족한 상태이다. 또한, 현재의 평가 방법은 종종 "LLM-as-a-judge(판단자로서의 LLM)" 프레임워크에 의존하는데, 이는 저자원 환경에서 신뢰도가 떨어질 수 있으며, 진정한 안전 거부(refusal)와 모델의 이해 실패(comprehension failure)를 구분하지 못하는 문제가 있다.

방법론

저자들은 암하라어(Amharic), 하우사어(Hausa), 이보어(Igbo), 치체와어(Chichewa), 키스와힐리어(Kiswahili), 요루바어(Yorùbá), 그리고 이식서사(isiXhosa) 등 7개 아프리카 언어를 위해 설계된 탈옥 벤치마크인 TukaBench를 소개한다. 이 벤치마크는 언어, 문화, 코드 스위칭(code-switching)의 효과를 격리하기 위해 네 가지 상호 보완적인 설정을 통해 JailbreakBench(JBB)를 확장한다:

1. Afri-JBB-Harm/Benign: 원래의 서구적 맥락과 고유 명사를 보존하면서 JBB의 유해 및 무해 프롬프를 대상 언어로 직접 인간이 번역한 것.
2. Afri-JBB-Culture: JBB의 유해 프롬프트를 인간 번역 전, 아프리카 맥락에 맞게 조정(아프리카 관련 고유 명사 및 참조 항목 도입)한 것.
3. AfriJail-Mono: 나이지리아의 데이터 수집가들이 GPT-5.2와의 상호작용을 통해 영어로 직접 작성한 343개의 문화적 근거를 가진 적대적 프롬프트로, 현지 거버넌스, 지역 갈등, 특정 사회적 해악을 다룬다. 이후 이들은 번역 및 문화적 현지화를 거쳤다.
4. AfriJail-CS: 단일 발화 내에서 아프리카 언어와 영어를 혼합하여 일반적인 다국어 화법을 반영한 AfriJail-Mono의 코드 스위칭 버전.

구축 파이프라인:
모든 프롬프트는 기계 번역(Google Translate 또는 요루바어의 경우 AfriqueQwen-8B 사용), 자동 품질 추정(SSA-COMET-QE 사용), 그리고 원어민에 의한 인간 사후 편집의 3단계 파이프라인을 거쳤다. 사후 편집자들은 오류를 수정하고 필요한 경우 문화적 현지화를 수행했다.

평가 프로토콜:

• 모델: GPT-3.5, 4o, 5.2, Grok-3/4/4.3, Gemini-2.5/3.1을 포함한 폐쇄형 모델과 Gemma, Llama, DeepSeek, Qwen, GPT-OSS를 포함한 오픈 웨이트 모델 등 13개의 LLM을 평가했다.
• 공격 전략: 모델들은 **직접 프롬프팅(Direct Prompting)**과 경계점 탈옥(Boundary Point Jailbreaking, BPJ) 하에서 테스트되었다. BPJ는 비거부 응답을 유도하기 위해 문자 수준의 노이즈를 추가하는 블랙박스 공격이다.
• 라벨링 체계: 세 가지 방식의 평가 체계를 도입했다:
  • 탈옥됨(Jailbroken): 모델이 유해한 의도를 수행함.
  • 거부됨(Refused): 모델이 명시적으로 거부함.
  • 편향됨(Deflected): 모델이 목표에서 벗어난 응답을 하거나 프롬프트를 이해하지 못함(거부도 아니고 유해한 완료도 아닌 상태).
• 검증: 저자원 환경에서 "LLM-as-a-judge"의 신뢰도 문제를 해결하기 위해, 1,500개의 모델 응답 서브셋을 원어민 검증자를 통해 검증했다.

주요 결과

1. 언어 및 문화적 근거의 영향:

• 편향(Deflection) vs 공격 성공: 영어에서 아프리카 언어로 전환하는 것이 공격 성공률(ASR)을 일관되게 높이지는 않는다. 대신, **편향률(Deflection Rate)**을 크게 높인다. 모델들은 아프리카 언어의 프롬프트를 이해하는 데 실패하여, 거부하거나 따르는 대신 목표에서 벗어난 응답을 하는 경우가 많다.
• 문화적 근거: 문화적으로 조정된 프롬프트(Afri-JBB-Culture 및 AfriJail-Mono)는 직접 번역된 프롬프트에 비해 탈옥 및 편향 응답 비율을 모두 높였다. 이는 번역만 수행하는 벤치마크가 배포 위험을 체계적으로 과소평가할 수 있음을 시사하는데, 문화적으로 근거를 둔 프롬프트가 실제 세계의 맥락과 더 잘 부합하며 모델의 취약점을 더 잘 활용하기 때문이다.
• 자원 및 스크립트 효과: 고자원 언어(예: 스와힐리어)는 일반적으로 낮은 실패율(탈옥 및 편향 모두)을 보였다. 그러나 암하라어(비라틴 계열인 Ge'ez 스크립트로 작성됨)는 유사한 자원 수준을 가진 다른 언어들에 비해 현저히 높은 편향률을 보였으며, 이는 토큰화의 비효율성("토큰 세금")이 이해력을 저하시킨다는 것을 시사한다.

2. 공격 전략:

• BPJ: 경계점 탈옥은 ASR을 높였으나 편향을 완전히 제거하지는 못했다. 이는 노이즈가 필터를 우회할 수는 있지만, 이해력이 여전히 병목 구간임을 나타낸다.
• 코드 스위칭: 코드 스위칭 프롬프트(AfriJail-CS)는 단일 언어 아프리카 프롬프트에 비해 편향률을 낮추었다. 이는 영어 파편이 모델이 요청에 참여하도록 돕는다는 것을 시사한다. 그러나 이것이 ASR을 일관되게 높이지는 않았는데, 이해도의 향상이 모델의 기저 안전 행동에 따라 준수(compliance)가 아닌 거부(refusal)로 이어지기도 했기 때문이다.

3. 평가 신뢰도:

• 판단자-인간 일치도: 저자원 언어 및 비라틴 스크립트에 대해 "LLM-as-a-judge"의 신뢰도가 감소했다. 일치도는 스와힐리어(~80%)에서 가장 높았고, 암하라어 및 요루바어, 이보어와 같은 저자원 라틴 스크립트 언어(<60%)에서 가장 낮았다.
• 이해 실패: 편향(Deflection) 라벨의 도입은 이전에 "안전함" 또는 "거부됨"으로 잘못 분류되었던 많은 응답이 실제로는 이해 실패였음을 드러냈다. 편향과 탈옥 비율을 함께 고려할 때, 더 명확한 자원 기반 패턴이 나타난다. 즉, 저자원 언어는 더 높은 결합 실패율을 보인다.

의의 및 주장

본 논문은 TukaBench가 단순한 직접 번역을 넘어 문화적 적응과 코드 스위칭을 포함하는, 아프리카 언어를 위한 최초의 인간 큐레이션 탈옥 벤치마크임을 주장한다. 주요 기여는 다음과 같다:

1. 이해의 병목 현상 규명: 본 연구는 저자원 언어에서 안전성 평가가 모델의 정렬(alignment)뿐만 아니라 근본적인 이해 실패에 의해 제약받는다는 것을 입증한다. 높은 편향률은 모델이 프롬프트를 이해하지 못하는 경우가 많음을 나타내며, 이는 표준 ASR 지표가 불충분함을 의미한다.
2. 취약점으로서의 문화적 근거: 문화적으로 근거를 둔 프롬프트가 직접 번역보다 높은 실패율을 유발한다는 결과는, 정확한 평가를 위해 안전성 평가가 현지 맥락과 고유 명사를 반드시 고려해야 함을 시사한다.
3. 방법론적 개선: 편향(Deflection) 카테고리를 도입하고 인간 주석을 통해 "LLM-as-a-judge"의 출력을 검증함으로써, 저자원 환경에서의 자동화된 평가의 한계를 지적하고 안전성을 평가하기 위한 더 미묘한 프레임워크를 제안한다.

저자들은 새로운 세대의 모델들이 개선된 모습을 보이고 있으나, 아프리카 언어(특히 비라틴 스크립트 및 저자원 언어)에 대한 이해와 안전성 측면에서는 여전히 상당한 격차가 존재한다고 결론짓는다. 이들은 이 지역의 안전성 평가가 단순한 번역을 넘어 문화적으로 근거를 둔 평가로 나아가야 한다고 강조한다.