KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding

技術要約：KyrgyzLLM-Bench

問題提起
多様な言語における大規模言語モデル（LLM）の評価は、依然として大きな課題である。特にキルギス語のようなリソースの少ない言語においては顕著である。現在の多言語ベンチマークは、主に英語のデータセットを機械翻訳したものに依存しており、それらはしばしば「翻訳調（translationese）」、微細な誤り、および文化的な不一致をもたらし、言語特有の性質を不明瞭にし、評価の信頼性を損なう。膠着語的な形態論を持ち、事前学習コーパスにおける表現が限られているテュルク系言語であるキルギス語にとって、高品質でネイティブに執筆された評価データの不足は深刻である。このギャップは、体系的な研究と、この地域における信頼性の高い言語技術の開発を阻害している。

手法
著者らは、ネイティブによる執筆と慎重に精査された翻訳を組み合わせたハイブリッド・アプローチを通じて、キルギス語におけるLLMを評価するために設計された体系的かつ大規模なベンチマーク・スイート、KyrgyzLLM-Benchを導入する。このベンチマークは、以下の3つのコアコンポーネントで構成されている。

1. KyrgyzMMLU: 7,977項目を含む、大規模でネイティブに執筆された多肢選択式質問回答データセット。キルギスの共和国一般試験（GRT）に由来し、8つの学校科目（数学、生物学、物理学、化学、キルギス文学、地理学、キルギス語、キルギス歴史）および医学専門分野をカバーしている。各項目はカリキュラムの専門家によって作成され、国家教育登録制度に準拠している。
2. KyrgyzRC: キルギス語のウィキペディア、国内ニュース、文学、および学校レベルの数学という4つのドメインからの真正なキルギス語テキストに基づく、400の多肢選択式質問からなるネイティブ読解データセット。このデータセットは、項目の作成、ドメインレベルのキュレーション、および最終的な言語学的レビューを含むマルチステージのパイプラインを通じて、ネイティブのキルギス語話者（学生および指導者）によって構築された。
3. 翻訳済みベンチマーク: 確立された4つの英語ベンチマーク、すなわち WinoGrande（代名詞解決）、HellaSwag（イベント継続）、BoolQ（読解）、および TruthfulQA（事実性）の、手動でポストエディットされたキルギス語版。これらはLLMのアンサンブルを用いて翻訳された後、文化的妥当性と言語的忠実性を確保するために、ネイティブの言語学者による厳格な手動レビューが行われた。

本研究では、26のオープンソースおよびクローズドソースのLLM（Qwen、Gemma、Llama、GPT、Claudeなどを含む）を、ゼロショットおよびフューショット（5-shotまたは10-shot）設定の両方で評価した。評価には Lighteval フレームワークを使用し、テキストベースの回答解析による正確性を測定した。また、クロスリンガルな転移を分析するために、並行する英語のベースラインも確立した。

主な結果

• モデルの性能: パフォーマンスは概してモデルの容量とともにスケールする。オープンソースモデルの中では、Qwen3-8B がフューショットのキルギス語評価において最高の平均精度（52.7%）を達成し、次いで Llama-3.1-8B-Instruct（50.3%）となった。プロプライエタリなモデルはより高い性能を示し、Claude 4.5 Sonnet がゼロショット（74.82%）とフューショット（77.06%）の両方の設定でリードした。
• クロスリンガル転移: 英語で見られたモデルのランキングは、WinoGrande と BoolQ においてキルギス語にも大部分が転移したが、MMLU では限定的であった。しかし、HellaSwag は英語とキルギス語の間で大幅な性能差を示し、キルギス語のスコアは著しく低かった。
• フューショットの効果: フューショット・プロンプティングの影響は一貫していなかった。オープンソースモデルの場合、フューショット・プロンプティングは KyrgyzRC と BoolQ の性能を向上させたが、HellaSwag では限定的な改善、あるいは性能の低下が見られた。プロプライエタリなモデルについては、フューショット・プロンプティングは、特に BoolQ のような翻訳されたタスクにおいて、ゼロショット設定での性能飽和が原因と思われる停滞または負の影響をもたらした。
• 科目の差異: モデルは、文化固有の科目（キルギス文学、キルギス語）と比較して、クロスリンガルに転移しやすい科目（数学、物理学）において高いパフォーマンスを示した。これは、特定の文化的知識に関する事前学習データの限界を浮き彫りにしている。

主な貢献

1. 初の体系的な評価: 本研究は、ネイティブな評価リソースの欠如に対処する、キルギス語における初の大規模かつ体系的なLLM評価を提示する。
2. ネイティブ・データセットの構築: 著者らは、純粋な翻訳データセットの限界を超え、キルギス語のための初となる、専門家によって検証されたネイティブ執筆のベンチマークである KyrgyzMMLU と KyrgyzRC を導入する。
3. 翻訳アーティファクトの分析: 本研究は、「妥当性シフト仮説（plausibility-shift hypothesis）」を支持する経験的証拠を提供し、翻訳されたイベント継続タスク（HellaSwagなど）が自然さや一貫性の予測不可能な変化に苦しみ、信頼性の低いクロスリンガル測定につながることを実証している。
4. オープンリリース: すべてのデータセット、評価コード、およびモデルごとの結果は、将来のキルギスNLP研究を支援するために公開され、Lighteval フレームワークに統合されている。

意義と主張
本論文は、KyrgyzLLM-Benchが、リソースの少ない形態的に豊かな言語の評価における決定的なギャップを埋めるものであると主張している。本研究は、現代のインストラクションチューニングされたモデルが汎化能力を示す一方で、ネイティブに執筆されたキルギス語のタスクにおける性能は、英語のベースラインを大幅に下回っていることを示している。著者らは、評価方法が結果に大きく影響することを強調している。具体的には、文化的に敏感なタスクに対して翻訳されたプロンプトに依存することは、モデルの推論能力について誤解を招く結論を導く可能性がある。

本研究は、低リソースかつ翻訳されたプロンプトのシナリオにおけるフューショット・プロンプティングは、一様に有益であると想定すべきではなく、注意深く解釈されるべきであると結論付けている。この成果は、中央アジアの言語におけるLLM開発の公平な進歩を支援し、多様な言語コミュニティにおけるAI技術のアクセシビリティを向上させるために、文化的に根ざした、ネイティブ執筆によるベンチマークの開発を提唱するものである。