KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding

기술 요약: KyrgyzLLM-Bench

문제 정의
다양한 언어에 걸쳐 대규모 언어 모델(LLM)을 평가하는 것은 여전히 중요한 과제이며, 특히 키르기스어와 같이 자원이 부족한 언어의 경우 더욱 그러합니다. 현재의 다국어 벤치마크는 주로 영어 데이터셋을 기계 번역한 것에 의존하고 있는데, 이는 종종 "번역투(translationese)", 미묘한 오류, 그리고 문화적 불일치를 유발하여 언어적 특수성을 가리고 평가의 신뢰성을 저해합니다. 교착적 형태론을 가진 투르크계 언어이자 사전 학습 코퍼스 내 표현이 제한적인 키르기스어의 경우, 고품질의 네이티브 저작(natively authored) 평가 데이터가 심각하게 부족한 실정입니다. 이러한 격차는 체계적인 연구와 해당 지역을 위한 신뢰할 수 있는 언어 기술 개발을 저해합니다.

방법론
저자들은 네이티브 저작과 정교하게 큐레이션된 번역을 결합한 하이브리드 접근 방식을 통해 키르기스어로 LLM을 평가하기 위해 설계된 체계적이고 대규모인 벤치마크 스위트인 KyrgyzLLM-Bench를 소개합니다. 이 벤치마크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

1. KyrgyzMMLU: 7,977개의 항목을 포함하는 대규모의 네이티브 저작 객관식 질의응답 데이터셋입니다. 키르기스 공화국 일반 교육 시험(GRT)에서 파생되었으며, 8개 학교 과목(수학, 생물, 물리, 화학, 키르기스 문학, 지리, 키르기스 역사, 키르기스어)과 의학 전공을 다룹니다. 항목들은 커리큘럼 전문가들에 의해 작성되었으며 국가 교육 등록 체계와 일치하도록 구성되었습니다.
2. KyrgyzRC: 키르기스어 위키백과, 국가 뉴스, 문학, 학교 수준의 수학 등 4개 영역의 실제 키르기스어 텍스트를 기반으로 한 400개의 객관식 질문으로 구성된 네이티브 독해 데이터셋입니다. 이 데이터셋은 항목 생성, 도메인 수준 큐레이션, 최종 언어 검토를 포함하는 다단계 파이프라인을 통해 네이티브 키르기스어 화자(학생 및 감독관)에 의해 구축되었습니다.
3. 번역된 벤치마크: WinoGrande(대명사 해소), HellaSwag(사건 지속), BoolQ(독해), TruthfulQA(사실성) 등 4개의 확립된 영어 벤치마크를 수동으로 후속 편집한 키르기스어 버전입니다. 이들은 LLM 앙상블을 사용하여 번역된 후, 문화적 적절성과 언어적 충실도를 보장하기 위해 네이티브 언어학자들의 엄격한 수동 검토를 거쳤습니다.

본 연구는 26개의 오픈 소스 및 폐쇄형 LLM(Qwen, Gemma, Llama, GPT, Claude 등 포함)을 제로샷(zero-shot) 및 퓨샷(few-shot) (5-shot 또는 10-shot) 설정 하에 평가했습니다. 평가는 Lighteval 프레임워크를 활용하였으며, 텍스트 기반 답변 파싱을 통해 정확도를 측정했습니다. 또한 교차 언어 전이를 분석하기 위해 병렬적인 영어 베이스라인을 구축했습니다.

주요 결과

• 모델 성능: 성능은 일반적으로 모델 용량에 따라 확장됩니다. 오픈 소스 모델 중에서는 Qwen3-8B가 퓨샷 키르기스어 평가에서 가장 높은 평균 정확도(52.7%)를 기록했으며, Llama-3.1-8B-Instruct(50.3%)가 그 뒤를 이었습니다. 독점 모델(Proprietary models)은 더 높은 성능을 보였으며, Claude 4.5 Sonnet이 제로샷(74.82%)과 퓨샷(77.06%) 설정 모두에서 선두를 차지했습니다.
• 교차 언어 전이: 영어에서 관찰된 모델 순위는 WinoGrande와 BoolQ에서 키르기스어로 상당 부분 전이되었으나, MMLU에서는 그 정도가 덜했습니다. 그러나 HellaSwag는 영어와 키르기스어 사이에 상당한 성능 격차를 보였으며, 키르기스어 점수가 현저히 낮았습니다.
• 퓨샷 효과: 퓨샷 프롬프팅의 영향은 일관되지 않았습니다. 오픈 소스 모델의 경우, 퓨샷 프롬프팅은 KyrgyzRC와 BoolQ에서 성능을 향상시켰으나, HellaSwag에서는 이득이 제한적이거나 오히려 성능 저하를 보였습니다. 독점 모델의 경우, 특히 BoolQ와 같은 번역된 작업에서 퓨샷 프롬프팅은 제로샷 설정에서의 성능 포화로 인해 흔히 정체되거나 부정적인 이득을 보였습니다.
• 과목별 편차: 모델들은 문화 특정적 주제(키르기스 문학, 키르기스어)보다 교차 언어적으로 전이 가능한 주제(수학, 물리)에서 더 나은 성능을 보였으며, 이는 특정 문화적 지식에 대한 사전 학습 데이터의 한계를 드러냅니다.

핵심 기여

1. 최초의 체계적 평가: 본 연구는 네이티브 평가 자원의 부재를 해결하며, 키르기스어에 대한 최초의 대규모 체계적 LLM 평가를 제시합니다.
2. 네이티브 데이터셋 구축: 저자들은 단순 번역 데이터셋의 한계를 넘어, 키르기스어를 위한 최초의 네이티브 저작 및 전문가 검증 벤치마크인 KyrgyzMMLU와 KyrgyzRC를 도입합니다.
3. 번역 아티팩트 분석: 본 연구는 사건 지속 작업(HellaSwag와 같은)에서 번역이 자연스러움과 일관성의 예측 불가능한 변화를 유발하여 신뢰할 수 없는 교차 언어 측정을 초래한다는 "타당성-변화 가설(plausibility-shift hypothesis)"을 뒷받침하는 실증적 근거를 제공합니다.
4. 오픈 릴리스: 모든 데이터셋, 평가 코드 및 모델별 결과는 향후 키르기스 NLP 연구를 지원하기 위해 Lighteval 프레임워크에 통합되어 공개적으로 배포됩니다.

의의 및 주장
본 논문은 KyrgyzLLM-Bench가 자원이 부족하고 형태론적으로 풍부한 언어의 평가에 있어 결정적인 공백을 메운다고 주장합니다. 이는 현대의 인스트럭션 튜닝된 모델들이 일반화 능력을 보여줌에도 불구하고, 네이티브 저작 키르기스어 작업에서의 성능은 영어 베이스라인보다 실질적으로 낮음을 입증합니다. 저자들은 평가 방법론이 결과에 큰 영향을 미친다는 점을 강조합니다. 특히, 문화적으로 민감한 작업에 번те된 프롬프트를 사용하는 것은 모델의 추론 능력에 대해 오도된 결론을 이끌어낼 수 있습니다.

본 연구는 저자원이면서 번역된 프롬프트를 사용하는 퓨샷 시나리오에서의 퓨샷 프롬프팅이 반드시 유익할 것이라고 가정해서는 안 되며 주의 깊게 해석되어야 한다고 결론짓습니다. 이 작업은 중앙아시아 언어들을 위한 LLM 개발의 형평성 있는 진보를 지원하고, 다양한 언어 공동체 전반에 걸쳐 AI 기술의 접근성을 높이기 위해 문화적으로 뿌리 깊은 네이티브 저작 벤치마크 개발을 옹호합니다.