기술 요약: UbuntuGuard

문제 정의

현재 대규모 언어 모델 (LLM) 안전 메커니즘, 특히'가디언 모델'은 주로 고자원 서구 중심 언어에 최적화되어 있습니다. 이로 인해 저자원 아프리카 언어에서 안전 격차가 크게 발생하며, 모델은 진화하는 해악, 교차 언어 실패, 문화적 불일치에 취약해집니다. 기존 안전 벤치마크는 다양한 사회문화적 맥락에서 일반화되지 않는 경직된 사전 정의 카테고리에 의존합니다. furthermore, 안전의 정의는 문화적으로 상대적입니다. 보편적 기준은 종종 의료, 금융, 종교와 같은 분야의 지역적 규범, 법적 요구사항, 윤리적 기대와 충돌합니다. 지역 아프리카 언어의 다양성과 사회문화적 맥락을 반영하는 벤치마크가 critically 부족하여, 이러한 지역은 안전하지 않은 AI 배포에 취약한 상태입니다.

방법론

저자들은 문화적, 언어적으로 다양한 아프리카 환경에서 가디언 모델을 평가하도록 설계된 정책 기반 안전 벤치마크인 UbuntuGuard를 소개합니다. 벤치마크 구축은 다음 두 단계 파이프라인을 따릅니다:

1. 데이터 구축

• 전문가 작성 시드: 가나, 케냐, 말라위, 나이지리아, 남아프리카, 우간다의 155 명의 분야 전문가 (의사, 변호사, 종교 지도자, 인권 옹호자 포함) 가 작성한 8,091 개의 적대적 쿼리로 시작합니다. 이러한 쿼리는 건강, 교육, 정치와 같은 민감한 분야를 포괄합니다.
• 맥락 인식 정책 생성: 각 쿼리에 대해 구조화된 맥락 (도메인, 주제, 테마, 민감한 특성, 국가) 이 정의됩니다. GPT-5 는 특정 문화적 설정에서 LLM 이 어떻게 반응해야 하는지를 설명하는 5~8 개의 행동 규칙 (정책) 을 생성하도록 프롬프트됩니다.
• 대화 생성: NVIDIA-NeMo Curator 플랫폼을 사용하여 두 개의 LLM(Llama-3.1-405B 및 Qwen3-235B) 이 정책에 기반하여 다중 턴 사용자 - 에이전트 대화 (3~5 턴) 를 생성합니다. 각 쿼리는 두 가지 변형을 생성합니다:
  • PASS: 에이전트가 모든 정책 규칙을 준수합니다.
  • FAIL: 에이전트가 하나 이상의 규칙을 (미묘하게 또는 노골적으로) 위반합니다.
• 다국어 번역: 정책과 대화는 Google Translate 를 사용하여 10 개 대상 아프리카 언어 (아칸어, 에웨어, 하우사어, 이보어, 루간다어, 니안자어, 스와힐리어, 툼부카어, 크사어, 요루바어, 줄루어) 로 번역됩니다.

2. 품질 관리 및 필터링

• 자동 평가: 번역 품질은 BLEU 나 chrF 보다 인간 의미 정확도와 더 강하게 상관관계가 있는 것으로 알려진 GEMBA-MQM 지표를 사용하여 평가됩니다.
• 인간 검증: 원어민 검증자 (영어와 하나의 대상 언어에 유창함) 가 번역의 하위 집합을 검토하여 필터링 임계값을 보정했습니다. 그들은 의미 충실도(원래 의미 보존) 와 문화적 토대(대상 맥락에서의 적절성) 를 평가했습니다.
• 임계값 설정: 데이터를 유지하기 위한 번역 품질 점수 임계값으로 70% 가 설정되었습니다. 이 임계값 미만의 쌍은 폐기되었습니다. 평균 점수가 낮아 툼부카어는 완전히 제외되었습니다.
• 최종 데이터셋: 선별된 데이터셋은 10 개 언어에 걸쳐 2,307 개의 테스트 인스턴스로 구성되며, 5 가지 테마 (오정보, 공익, 고정관념, 혐오 발언, 전문가 조언) 와 8 가지 도메인을 포괄합니다.

실험 설정

이 벤치마크는 세 가지 다른 시나리오 하에서 15 개 모델을 평가합니다:

1. 영어 기준 (EN–EN): 정책과 대화 모두 영어로 이루어집니다.
2. 완전 현지화 (LRL–LRL): 정책과 대화 모두 저자원 아프리카 언어로 이루어집니다.
3. 교차 언어 (LRL–EN): 대화는 저자원 아프리카 언어로 이루어지지만 정책은 영어로 유지됩니다.

평가된 모델에는 다음이 포함됩니다:

• 가디언 모델: 정적 (예: NeMoGuard, LlamaGuard-3), 동적 (예: DynaGuard, gpt-oss-safeguard), 다국어 (예: PolyGuard, CultureGuard) 로 분류된 8 개의 최첨단 모델.
• 범용 LLM: 네이티브 안전 정렬을 위한 기준을 설정하기 위해 8B 에서 671B 파라미터까지 범위를 가진 7 개의 오픈 소스 모델 (예: Qwen, Llama, DeepSeek).
• 지표: 성능은 F1 점수를 사용하여 측정됩니다.

주요 결과

• 영어 중심 과대평가: 모든 모델은 영어 기준 시나리오에서 가장 높은 F1 점수를 달성했습니다. 예를 들어, Qwen-3.1(8B) 및 gpt-oss-safeguard(20B) 와 같은 범용 모델은 97% 이상을 기록한 반면, 정적 모델은 36% 에서 50% 사이를 기록했습니다.
• 심각한 현지화 저하: 완전 현지화 시나리오에서 거의 모든 모델의 성능이 급격히 떨어졌습니다. 정적 모델이 가장 큰 타격을 입어 NeMoGuard-8B 는 F1 점수가 36.94 에서 1.41 로 하락했습니다. DeepSeek(671B) 과 같은 대규모 범용 모델도 상당한 저하를 경험했지만, 여전히 가장 높은 전반적 견고성 (80.59 F1) 을 유지했습니다.
• 교차 언어 한계: 교차 언어 전이 (영어 정책, 아프리카 대화) 는 부분적인 포괄성을 제공했지만 견고성을 보장하기에는 부족했습니다. 고용량 모델은 정적 변형보다 더 나은 교차 언어 견고성을 보였지만, 기본 모델 사전 훈련에서 덜 대표되는 언어 (예: 에웨어, 니안자어) 에서는 오분류율이 여전히 높았습니다.
• "다국어 안전 버퍼": 대규모 모델은 일반적으로 현지화 환경에서 소형 모델보다 우수한 성과를 보였으며, 이는 막대한 사전 훈련이 안전 격차에 대한'버퍼'를 제공함을 시사합니다. 그러나 이 버퍼는 불균등하며 현지화되고 전문가가 작성한 데이터를 완전히 대체하지는 못합니다.
• 전문화 역설: 고용량 범용 모델은 일관되게 전문화된 동적 가디언보다 우수한 성과를 보였습니다. 특히 120B 규모에서 안전 튜닝된 변형은 기본 대응 모델보다 성능이 저하되어, 집중적인 안전 정렬이 모델이 영어 중심 패턴에 과도하게 적합되어 아프리카 맥락에서 유연성을 잃는'분류학적 축소'를 초래할 수 있음을 시사합니다.
• 도메인 민감성: 오류율은 건강, 교육과 같은 보편적 기준이 더 명확한 도메인에 비해 정치, 문화, 종교와 같이 문화적으로 자리 잡은 판단이 필요한 도메인에서 가장 높았습니다.

중요성 및 주장

이 논문은 UbuntuGuard가 안전 평가에서 이러한 언어의 중요한 소외 문제를 해결하기 위해 특별히 아프리카 언어를 위해 설계된 최초의 정책 기반 안전 벤치마크라고 주장합니다. 그 중요성은 다음과 같습니다:

1. "안전 격차"폭로: 영어 중심 벤치마크가 실제 세계의 다국어 안전을 과대평가하여 저자원 맥락으로 전환되지 않는 모델 성능에 대한 기만적인 상한선을 노출시킵니다.
2. 문화적 토대의 필요성 검증: 경직된 사전 정의 안전 카테고리가 일반화되지 못함을 결과가 강조합니다. 견고한 안전은 지역적 규범과 문화적 기대를 반영하는 유연하고 런타임에 강제 가능한 정책을 필요로 합니다.
3. 미래 개발 지침: 연구 결과는 모델 규모가 일부 완화를 제공하지만 현지화되고 전문가가 작성한 안전 데이터의 필요성을 대체할 수 없음을 시사합니다. 이 벤치마크는 저자원 언어를 위한 신뢰할 수 있고 공정한 가디언 모델 개발의 기초를 제공하며, 아프리카 맥락 안전 데이터에 대한 LLM 미세 조정에 대한 추가 연구를 장려합니다.

저자들은 합성 증강에 대한 의존성과 전문가 원어민 화자의 부족으로 인해 일부 언어에 대해 단일 인간 검증자를 사용했다는 한계를 인정하며 겸손한 입장을 유지합니다. 그들은 UbuntuGuard 를 견고한 아프리카 언어 안전 벤치마크를 향한'첫걸음'이자 개념 증명으로 위치시킵니다.