TharuChat: 合成データと人間による検証を通じた低資源言語向け大規模言語モデルのブートストラップ

技術的概要（日本語）

本論文は、ネパールとインドのテライ地域で約 170 万人が話している先住民族の言語「Tharu（タール語）」に特化した指令追従型大規模言語モデル（LLM）「Tharu-LLaMA (3B)」の開発と、その学習に用いたデータセット「TharuChat」の構築を報告しています。低資源言語における AI 技術の格差（デジタルディバイド）を解消し、限られた計算リソースで高品質な言語モデルを構築する手法を提案しています。

1. 背景と課題 (Problem)

• デジタルディバイド: 現在の主要な LLM（LLaMA-3, GPT-4 など）は英語や主要な欧州言語では高い性能を示しますが、低資源言語、特に Himalaya 地域の先住民族言語では性能が著しく低下します。
• Tharu 言語の特殊性: Tharu 語はインド・アーリヤ語族に属しますが、ヒンディー語やネパール語とは異なる動詞の形態論や敬語体系を持ちます。しかし、デジタル化されたコーパスが極めて不足しており、既存の多言語モデルは学習データに含まれるヒンディー語の影響を受け、Tharu 語を「ノイズのあるヒンディー語の方言」として扱います。
• 言語の崩壊（Code-Switching）: 既存モデルは Tharu 語で文を始めた後、文脈の途中でヒンディー語の文法や語彙に無意識に切り替わる「壊滅的なコードスイッチング」を起こし、言語のアイデンティティを消滅させる傾向があります。
• コールドスタート問題: 学習データがないためモデルが作れず、モデルがないためデータ生成もできないというジレンマが存在します。

2. 手法 (Methodology)

本研究は「LLM-to-Human」ブートストラップパイプラインを採用し、以下の 3 段階でデータセットとモデルを構築しました。

A. TharuChat データセットの構築

• 合成データ生成（LLM 利用）:
  • 教師モデルとして Gemini 2.5 Pro を使用し、プロンプトエンジニアリングを通じて Tharu 語の文法則（SOV 語順、性一致、時制マーカー）や民話（Alha, Sorathi 伝統）を注入しました。
  • 生成領域は、農業（作物サイクル、害虫対策）、市民生活（戸籍、土地登記）、文化（祭礼、食習慣）など、農村生活に密着した分野に焦点を当てました。
• 人間による検証とクリーニング:
  • 生成されたデータは「シルバー標準（Silver Standard）」と位置づけられ、ネイティブ話者による検証を行いました。
  • ヒンディー語の文法構造への依存（Hindi-fication）や、方言の混在（Rana, Dangaura, Kochila）を修正・調整しましたが、地域の実情を反映するため、完全な標準化ではなく「パン・タール（Pan-Tharu）」的な混合方言の性質を意図的に残しました。
  • 最終的に 3,955 件の指令 - 応答対を構築し、実験には約 3,116 件を使用しました。

B. Tharu-LLaMA (3B) モデルの微調整

• ベースモデル: Meta の LLaMA-3.2-3B-Instruct を採用。
• パラメータ効率型微調整（PEFT）:
  • LoRA (Low-Rank Adaptation) を使用し、事前学習済み重みを固定したまま、ランク分解行列（A, B）のみを学習させました。
  • 設定: r=16, alpha=32。すべての線形層（q_proj, k_proj, v_proj など）にアダプターを適用し、ヒンディー語への強い事前学習バイアスを上書きしました。
• ハードウェア制約:
  • 開発途上国の研究者でもアクセス可能な環境を想定し、単一の NVIDIA T4 GPU (16GB VRAM) での実行を可能にしました。
  • 精度は fp16 を使用し、メモリ制約を考慮してバッチサイズと勾配蓄積を調整しました。

3. 主要な貢献 (Key Contributions)

1. TharuChat データセットの公開: 約 4,000 件の指令対を含む初の Tharu 語特化データセット（GitHub で公開）。
2. Tharu-LLaMA (3B) モデルの公開: 3B パラメータの指令追従モデル。低コストハードウェアでのデプロイを可能にしました。
3. データスケーリング則の実証: 合成データの量とモデルの流暢さ（Perplexity）の関係を定量的に分析し、少量の検証済みデータでも劇的な性能向上が可能であることを示しました。

4. 実験結果 (Results)

パープレキシティ（Perplexity: PPL）の分析:

• ベースライン: ゼロショット（学習なし）の LLaMA-3.2 は PPL > 88.0 で、実質的にランダムな出力かヒンディー語への回帰を示しました。
• データ量による改善:
  • 25% データ（779 サンプル）: PPL 6.42
  • 50% データ（1,558 サンプル）: PPL 4.33
  • 75% データ（2,337 サンプル）: PPL 3.40
  • 100% データ（3,116 サンプル）: PPL 2.88
• 分析: データ量の増加に伴い、PPL は線形的に低下しました。2.88 という値は、高資源言語におけるベースモデルの性能に匹敵する流暢さを示しています。また、検証損失が訓練損失と並行して減少しており、過学習（Overfitting）は発生していませんでした。

定性的評価:

• 実用性: ATM の操作方法、機械学習の概念説明、市民権申請手続きなど、具体的なタスクにおいて、Tharu 語特有の文法構造（例：複数形・敬語マーカー「-haen」）を正しく使用し、英語の借用語を文法構造に組み込む能力（コードミキシング）を証明しました。

5. 意義と結論 (Significance & Conclusion)

• データ密度の重要性: 数百万のデータが必須という通説に対し、約 3,000 件の高品質（検証済み）な合成データで、モデルの言語バイアスを上書きし、方言に適応できることを実証しました。
• 小規模モデルの可行性: 3B パラメータモデルでも、適切な LoRA 設定（r=16）により、複雑な動詞の形態論を学習可能であり、消費電力や計算コストの低い「グリーン AI」の実現に寄与します。
• 不完全さの受容: 低資源言語においては、「完璧な」単一言語データセットを待つよりも、方言が混在する「シルバー標準」のデータセットで機能的なコミュニケーションを可能にする方が優先されるべきです。
• グローバルサウスの民主化: 高価な H100/A100 クラスターが不要な手法を確立し、ネパールやインドの研究者が自らの言語モデルを構築・展開できる道を開きました。

本論文は、生成 AI を活用した先住民族言語の保存とデジタル化における新しいパラダイムを示すものとして、Himalaya 地域の多様な言語生態系のデジタル化に向けた再現可能な青写真（ブループリント）を提供しています。