論文「GRDD+: An Extended Greek Dialectal Dataset with Cross-Architecture Fine-tuning Evaluation」の技術的サマリー

本論文は、ギリシャ語の多様な方言を扱うための大規模データセット「GRDD+」の構築と、それを用いた大規模言語モデル（LLM）のファインチューニング評価について報告するものです。ギリシャ語方言は地理的に多様ですが、計算言語学的なリソースが限られており、LLM の方言対応能力が課題となっていました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

• リソースの不足: 現代ギリシャ語にはクレタ、キプロス、ポントス、北部など多くの方言が存在しますが、これらに対応する大規模な計算言語学リソースは不足しています。
• LLM の限界: 既存の LLM は、リソースの少ない言語の方言変種（品詞タグ付けや方言識別など）において、ゼロショット転移よりも性能が劣る傾向があり、特にファインチューニングされたモデルに比べて地域的な方言への適応が不十分です。
• 既存データセットの限界: 先行する「GRDD」データセットは 4 つの方言しか扱っておらず、より多様な方言（特に消滅危機にあるものや歴史的変種）を網羅していませんでした。

2. 手法とデータセット (Methodology & Dataset)

GRDD+ データセットの構築

既存の GRDD データセットを拡張し、以下の 10 のギリシャ語変種を含む大規模データセット「GRDD+」を構築しました。

• 既存の 4 方言の拡張: クレタ、キプロス、ポントス、北部ギリシャ語（特に北部方言のデータ量が大幅に増加）。
• 新規追加の 6 変種:
  1. Greco-Corsican: コルシカ島で話されていたが 1976 年に消滅したギリシャ語。
  2. Griko: イタリア南部のギリシャ語少数言語。
  3. Heptanesian: イオニア諸島の方言（ベネチア語の影響）。
  4. Tsakonian: 古代ドーリス方言に由来し、現代ギリシャ語とは大きく異なる独立した言語とみなされることもある方言。
  5. Maniot: ラコニア半島のマニ地方の方言。
  6. Katharevusa: 1976 年まで公式文書語として使用された「純粋主義」的なギリシャ語。
• データ規模: 総単語数は約 637 万語。既存の GRDD（約 314 万語）から約 2 倍に拡大されました。
• 収集方法: ウェブ上のブログ、文学作品、歌、民話、および OCR 技術を用いた書籍からのテキスト抽出。前処理として、URL や特殊文字の除去、重複行の削除などを実施。

ファインチューニング実験

• モデル: 3 つの 8B パラメータモデルを選択。
  • Llama-3-8B (マルチリンガル)
  • Llama-3.1-8B (拡張コンテキスト)
  • Krikri-8B (ギリシャ語特化、Llama-3.1 ベース)
• データ構築: 生テキストを 100 単語のチャンクに分割し、50 単語以上のチャンクをプロンプト（前半）と完了（後半）のペアとして作成。各方言に固有の指示文（例：「クレタ方言で書いてください」）を付与。
• トレーニング設定: LoRA (Low-Rank Adaptation) を使用して効率的にファインチューニング。エポック数 3、バッチサイズ 16、学習率 3e-4。
• 評価: 3 つのベースモデル、3 つのファインチューニングモデル、および 3 つの最先端モデル（Claude-3.7-Sonnet, Gemini-2.5, ChatGPT-5）を比較。ネイティブ話者による 5 段階評価（1: 全く不自然〜5: 完全にネイティブレベル）を実施。

3. 主要な結果 (Results)

評価スコアの概要

• ファインチューニングの効果: 全てのファインチューニングモデルはベースモデルよりも大幅に性能が向上しました（平均スコアで約 1.5〜2 ポイントの向上）。
  • 例：Llama-3-8B (ベース) はクレタ方言で 1.15 でしたが、ファインチューニング後は 3.67 まで向上。
• 最先端モデルとの比較:
  • Claude-3.7-Sonnet: 全体的に最も高い性能を示し、特にクレタ（3.79）と北部（3.86）でトップスコアを記録。
  • Llama-3.1-8B (ファインチューニング): キプロス（3.51）とポントス（2.86）で最も高いスコアを記録し、最先端モデルを凌駕しました。
  • Krikri-8B (ギリシャ語特化): 意外なことに、他のマルチリンガルモデル（Llama-3-8B/3.1-8B）のファインチューニング版よりも低いスコアを示すケースが多く、特にクレタとキプロスで最下位となりました。
  • Gemini-2.5-Pro: 全ての方言で平均以下（1.06〜2.47）の性能でした。
• データ量と性能の非線形関係:
  • 北部ギリシャ語: 学習データが最も少ない（333 例、1.7%）にもかかわらず、クレタ（9,004 例）と同等かそれ以上の高いスコア（2.84〜3.86）を達成しました。
  • ポントス: 比較的多いデータ（4,190 例）があるにもかかわらず、スコアが低く（2.14〜2.86）、標準語からの言語的距離が性能に影響している可能性が示唆されました。

評価者の信頼性

• 評価者間の一致度（Krippendorff's Alpha）は 0.37〜0.55（公平〜中程度）でしたが、相対的なランク付けの一致（ICC）は 0.87〜0.96 と非常に高く、モデル比較の妥当性は確認されました。

4. 主要な貢献 (Key Contributions)

1. GRDD+ データセットの公開: 10 のギリシャ語変種（うち 6 つは新規）を含む、過去最大規模（約 637 万語）のギリシャ語方言データセットを公開。
2. 多様なアーキテクチャでの評価: 3 つの異なる LLM アーキテクチャ（Llama 系、ギリシャ語特化モデル）と最先端モデルを横断的に比較し、方言タスクにおけるファインチューニングの効果を定量的に示した。
3. 特異な知見の提示:
   • 言語特化モデル（Krikri）が必ずしも方言タスクで優位ではないこと。
   • 学習データ量と性能が単純な比例関係にないこと（北部方言の事例）。
   • 標準ギリシャ語からの言語的距離がモデルの性能に大きく影響する可能性。

5. 意義と将来の展望 (Significance & Future Work)

• 低リソース NLP への示唆: 少量の質の高い方言データでも、適切なファインチューニングを行えば、LLM の方言生成能力を劇的に向上させられることを実証しました。
• 学術的基盤: 方言学、社会言語学、言語ドキュメンテーション研究のための基盤となるリソースを提供します。
• 今後の課題:
  • 追加された 6 つの方言（特に消滅危機にあるもの）へのファインチューニング実施。
  • 自動評価指標の開発と、要約や翻訳などのタスクベース評価の導入。
  • 多方言対応モデルの構築や、より多様なアーキテクチャ（Mistral, Gemma など）での検証。

本論文は、ギリシャ語方言の NLP 研究において重要なマイルストーンであり、データ不足に悩む低リソース言語の方言処理におけるファインチューニング戦略の有効性を示す重要な研究です。