기술 요약: URDUMMLU

문제 정의

현재의 대규모 언어 모델(LLM) 평가는 MMLU 및 MMLU-PRO와 같은 영어 중심의 벤치마크에 크게 의존하고 있다. 다국어 확장판들이 존재하기는 하지만, 이들은 주로 번역된 질문에 의존하며, 이는 현지 교육 맥락, 지역 역사, 종교 연구 및 특정 지역 커리큘럼에 기반한 지식을 포착하는 데 실패한다. 이러한 한계는 2억 3천만 명 이상의 사용자를 보유하고 풍부한 문학적 및 교육적 전통을 가진 우르두어(Urdu)의 경우 특히 심각하다. 기존의 우르두어 자원은 독해, 통사론적 진단 또는 번역된 추론 작업에 국한되어 있어, 우르두어의 광범위한 모국어 교육 지식과 추론 능력을 평가하는 데 공백을 남겨두고 있다.

방법론

저자들은 최초의 광범위한 커버리지를 가진 네이티브 작성 방식의 MMLU 스타일 우르두어 벤치마크인 URDUMMLU를 소개한다. 구축 및 평가 과정은 다음 단계로 진행되었다:

1. 데이터 수집 및 구축

• 출처: 질문은 두 가지 주요 출처, 즉 파키스탄의 공공 SSC(중등 교육 수료증) 및 HSSC(고등 중등 교육 수료증) 시험 PDF와 네이티브 우르두어 MCQ 웹사이트에서 수집되었다.
• 추출 파이프라인: 원시 데이터를 처리하기 위해 16단계 파이프라인이 사용되었다. 여기에는 PDF를 위한 OCR(비전-언어 모델 사용), 우르두어 스크립트를 위한 양방향 텍스트 처리, 구두점 및 문자 정규화(예: 아랍어 문자를 우르두어 대응 문자로 매핑), 일관된 옵션 형식(A–D)을 보장하기 위한 구조적 정리가 포함된다.
• 주석 전략:
  • 웹 유래 MCQ: 기존 정답 키가 있는 13,672개의 질문을 인간 주석가(human annotators)가 검증하였다.
  • 시험 유래 MCQ: 시험 PDF에서 추출된 12,759개의 질문은 정답 키가 없었다. 이 질문들은 17명의 네이티브 우르두어 화자에 의한 이중 인간 주석(dual human annotation) 과정을 거쳤다. 엄격한 합의 규칙이 적용되었다: 두 주석가 모두 플래그(flag)나 "불확실(unsure)" 라벨 없이 동일한 유효한 답을 선택한 경우에만 항목이 유지되었다. 불일치, 플래그 또는 불확실 선택은 제외되었다.
• 최종 데이터셋: 이 벤치마크는 5개 도메인(STEM, 인문학, 사회과학, 전문직, 기타) 내 26개 하위 도메인에 걸친 26,431개의 객관식 질문으로 구성된다. 이는 표준 학술 과목과 지역 특화 콘텐츠(예: 우르두 문학, 이슬람 연구, 파키스탄 연구)를 모두 다룬다.

2. 평가 프로토콜

• 모델: Gemini, GPT, Claude와 같은 독점 API 모델, LLaMA, Gemma, Qwen, DeepSeek와 같은 오픈 웨이트 모델, 그리고 Qalb, Alif와 같은 우르두어 특화 모델을 포함한 30개의 LLM을 평가하였다.
• 설정:
  • Zero-shot: 30개 모델 모두 영어 및 우르두어 지시 프롬프트 하에서 테스트되었으며, 결과적으로 60회의 평가가 수행되었다.
  • Few-shot: 4개의 오픈 소스 모델은 영어와 우르두어 프롬프트 설정 모두에서 1-shot, 3-shot, 5-shot 환경으로 추가 평가되었다.
• 지표: 주요 지표는 정확도(생성된 답변과 골드 라벨 비교)였다. 유효하지 않은 출력률(파싱할 수 없거나 형식이 잘못된 응답) 또한 추적되었다.

주요 결과

전반적인 성능

• 최고 성능 모델: Gemini-3.5-Flash가 가장 높은 정확도를 달 기록했으며, 영어 프롬프트에서 90.20%, 우르두어 프롬프트에서 **90.34%**에 도달했다.
• 오픈 소스 격차: 가장 강력한 오픈 소스 모델인 DeepSeek-V4-Flash는 영어에서 82.41%, 우르두어에서 **81.42%**를 기록하며 크게 뒤처졌으며, 최고의 독점 모델과 약 7.8~8.9 포인트의 격차를 보였다.
• 베이스라인 모델: 작은 규모의 오픈 소스 모델(예: BLOOMZ, LLaMA-3.2-3B)은 무작위 확률 수준(~25–35%) 근처에서 성능을 보였으며, 우르두어에 특화된 튜닝을 거친 모델(Qalb-1.0-8B, Alif-1.0-8B)조차 36% 미만의 점수를 기록했다. 이는 우르두어 중심의 튜닝만으로는 광범위한 교육적 역량을 보장할 수 없음을 나타낸다.

도메인 간 격차

• STEM vs. 인문학: STEM과 우르두어 중심의 인문학 사이에 상당한 성능 격차가 존재한다. 모델들은 일반적으로 인문학 과목보다 STEM 과목에서 25~40포인트 더 높은 점수를 기록한다.
  • 예시: Gemini-3.5-Flash는 우르두어 프롬프트 하에서 STEM에서는 97.81%를 기록했으나 인문학에서는 85.31%를 기록했다.
  • 예시: DeepSeek-V4-Flash는 97.57%(STEM)에서 67.32%(인문학)로 급락했다.
• 시사점: 모델들은 과학적 개념을 처리하는 데는 충분하지만, 우르두 문학, 언어, 이슬람 연구와 같이 문화적으로 뿌리 깊은 콘텐츠에는 어려움을 겪는다.

프롬프트 언어 및 Few-Shot 효과

• 프롬프트 언어: 지시 언어를 영어에서 우르두어로 변경하는 것은 대부분의 모델에서 전체 정확도에 미미한 영향(통상 1포인트 미만 차이)을 미쳤다. 이는 어려움이 지시 언어 자체가 아니라 우르두어 특유의 콘텐츠에 있음을 시사한다.
• Few-Shot 학습: Few-shot 프롬프팅(1–5 shots)은 완만한 이득(약 +1.5 ~ +2.7 포인트)만을 제공했으며, 모델의 순위를 바꾸거나 오픈 소스와 독점 모델 간의 격차를 좁히지는 못했다.

출력 유효성

• 대규모 독점 및 오픈 소스 모델은 낮은 유효하지 않은 출력률(<0.1%)을 유지했다.
• 작은 모델과 우르두어 타겟 모델은 우르두어 프롬프트 하에서 높은 유효하지 않은 출력률을 보였다(예: BLOOMZ-3B 74.2%, Alif-1.0-8B 12.6%). 이는 형식 지시를 따르는 데 실패했음을 나타낸다.

의의 및 주장

본 논문은 URDUMMLU가 우르두어 이해 및 추론을 평가하기 위한 최초의 엄격한 네이티브 벤치마크를 제공한다고 주장한다. 이 연구의 주요 의의는 다음을 입증하는 데 있다:

1. 번역의 불충분함: 영어 벤치마크에서의 강력한 성능이 우르두어의 교육적 및 문화적 지식으로 반드시 전이되는 것은 아니다.
2. 지식 격차: 현재의 LLM은 불균형한 지식을 보유하고 있으며, 전 세계적으로 공유되는 STEM 개념에는 뛰어나지만 지역적으로 뿌리 깊은 인문학 분야에서는 깊이가 부족하다.
3. 평가의 필요성: 이 벤치마크는 다국어 모델의 능력을 진정으로 평가하기 위해서는 번역된 데이터셋이 아닌 현지 교육 자료에 기반한 평가 자원이 필요함을 강조한다.
4. 향-후 방향: 결과는 문화적으로 특화된 도메인의 성능을 개선하기 위해 네이티브 우르두어 교육 및 문학 자료에 대한 지속적인 사전 학습(pre-training)과 지시 튜닝(instruction tuning)의 필요성을 고취한다.

저자들은 본 벤치마크가 파키스탄 SSC/HSSC 커리큘럼에 국한되어 있으며 학부 과정, 인도 우르두어 커리큘럼 또는 방언적 변이를 다루지 않는다는 점을 명시하였으나, 이는 더 포용적인 다국어 평가를 향한 기초적인 단계로서 역할을 한다.