論文「GreekMMLU: A Native-Sourced Multitask Benchmark for Evaluating Language Models in Greek」の技術的サマリー

本論文は、大規模言語モデル（LLM）のギリシャ語能力を評価するための、初の大規模かつネイティブソースのベンチマーク「GreekMMLU」を提案し、その構築プロセス、評価結果、および分析結果を報告したものです。

1. 背景と課題 (Problem)

既存の多言語 LLM は、英語を含む大規模なコーパスでトレーニングされていますが、ギリシャ語の評価には以下の重大な課題がありました。

• ネイティブ評価ベンチマークの欠如: 既存のギリシャ語評価データは、英語のベンチマーク（MMLU など）を機械翻訳したものが主流です。
• 文化的・言語的特徴の欠落: 機械翻訳では、ギリシャ語の複雑な形態論（語形変化）、柔軟な語順、複雑な否定表現、そして歴史・法律・市民権など国家的文脈に密接に結びついた知識を正しく評価できません。
• 評価の歪み: 翻訳されたベンチマークは「翻訳の質」や「英語からのクロスリンガル転移」を測ってしまい、モデルの真のギリシャ語理解能力や文化的知識を過大評価または過小評価するリスクがあります。

2. 提案手法とデータセット構築 (Methodology)

著者らは、教育および専門的な試験から直接収集された、完全にネイティブなデータセット「GreekMMLU」を構築しました。

データセットの概要

• 規模: 21,805 問の多肢選択問題（MCQ）。
• カテゴリー: 45 の科目を 4 つの主要分野（STEM、人文科学、社会科学、その他）に分類。
• 出典: 大学入試、公務員採用試験、運転免許試験、国家資格試験など、公的機関や教育機関から公開された資料のみを使用。
• 教育レベル: 小学校から大学、専門職レベルまで、教育段階に応じて難易度がラベル付けされています。
• ギリシャ固有科目: 「ギリシャ史」「ギリシャ神話」「ギリシャ文学」「ギリシャの伝統」「現代ギリシャ語」など、文化的文脈を必要とする 8 つの固有科目を含みます。
• データ分割:
  • 公開セット (16,857 問): 研究利用向け。
  • 非公開セット (4,948 問): リーダーボード用。データ汚染（Contamination）を防ぎ、堅牢な評価を可能にします。

データキュレーションと品質管理

• 収集: PDF、DOCX、Web 形式など多様な形式からデータを抽出。OCR と LLM（Claude 3.5 など）を用いた自動修正プロセスを経て、文字化けや構文エラーを修正。
• 人間による検証: ネイティブのギリシャ語話者で構成される専門家チーム（大学院レベル以上の資格保有者）が、質問と正解の言語的忠実度、毒性コンテンツの有無、意味のズレなどを厳格に検証。最終的なノイズレベルは約 2% 以下に抑えられました。

3. 主要な貢献 (Key Contributions)

1. GreekMMLU の公開: 45 科目、2 万超の質問を含む、初のネイティブソースの大規模マルチタスクベンチマーク。
2. 大規模モデル評価: 80 以上のオープンソースおよびクローズドソース LLM に対する包括的な評価実施。
3. 要因分析: モデルの規模、適応（Instruction Tuning やギリシャ語特化トレーニング）、プロンプト戦略、科目領域、教育レベルが性能に与える影響の体系的な分析。
4. リーダーボードの整備: 公平で汚染に強い評価を可能にする公開・非公開セットを備えた公式リーダーボードの提供。

4. 実験結果と分析 (Results & Analysis)

80 以上のモデル（Qwen, Llama, Gemma, EuroLLM, Meltemi, Krikri など）をゼロショットおよび 5 ショット設定で評価しました。

主要な知見

• 性能の格差:
  • 最先端のクローズドソースモデル（Gemini 3 Flash: 93.16%, GPT-5.2: 87.75%）は、オープンウェイトモデル（Llama-3.3-70B: 79.65%, Qwen2.5-72B: 79.70%）を大きく上回りました。
  • 小規模モデル（2B 以下）はランダムベースラインに近い性能しか発揮できませんでした。
• モデル規模と性能: パラメータ数の増加に伴い、性能は明確に向上しました。
• ギリシャ語特化モデルの優位性:
  • 汎用多言語モデルと比較して、ギリシャ語またはヨーロッパ言語に特化してトレーニングされたモデル（例：Llama-Krikri, Meltemi, EuroLLM）は、特に「ギリシャ固有」の科目（歴史、神話、伝統）において顕著な性能向上を示しました。
  • 例：Llama-Krikri-8B は、同サイズの汎用モデルよりも文化的知識が必要なタスクで高い精度を達成しました。
• 指示微調整（Instruction Tuning）の効果: 指示微調整済みモデルは、ベースモデルと比較してすべての科目で一貫して高い性能を示しました。
• 教育レベルによる難易度: 小学校・中学校レベルの質問は比較的高い精度で回答されましたが、大学レベルや専門職レベルの質問では精度が低下する傾向が見られました。
• 較正（Calibration）: ギリシャ語特化モデル（Llama-Krikri など）は、自信度と正解率の相関が高く（r=0.93）、信頼性の高い予測を行えることが示されました。一方、旧世代モデルや汎用モデルでは較正が不十分でした。

5. 意義と結論 (Significance)

• 評価の革新: 機械翻訳に依存しない、文化的・言語的に真実なギリシャ語 LLM 評価の基準を確立しました。
• 地域言語の重要性: 低資源言語であっても、ネイティブなデータと特化トレーニングが、モデルの能力、特に文化的文脈を理解する能力を劇的に向上させることを実証しました。
• 将来への示唆: 今後の LLM 開発において、単なる多言語対応ではなく、特定の言語圏の教育・文化・法制度に根ざしたネイティブ能力の強化が不可欠であることを示唆しています。

本論文は、ギリシャ語における LLM の現状を可視化し、より高品質で文化的に適切な言語モデルの開発を促進するための重要な基盤を提供しています。