PashtoCorp 論文の技術的サマリー（日本語）

本論文は、自然言語処理（NLP）において依然として過小評価されているパシュトー語（話者数 6000 万人）向けに、大規模なコーパス「PashtoCorp」、評価スイート、および再現可能なパイプラインを提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義

• リソース不足: パシュトー語は、アフガニスタン、パキスタン、および世界中のディアスポラコミュニティで話されていますが、NLP 分野では深刻なリソース不足に直面しています。
• 既存コーパスの限界: 既存の最大規模のコーパスである OSCAR 2301 サブセット（約 3100 万語）や NLPashto コーパス（約 1500 万語）は、競争力のある言語モデルのトレーニングには不十分です。パシュトー語版 Wikipedia すら約 600 万語に過ぎません。
• 評価基盤の欠如: 低リソース言語におけるドメイン適応型事前学習の効果や、ソースごとの寄与を定量化するための体系的な評価基盤が不足していました。

2. 手法とパイプライン

2.1 データ収集 (PashtoCorp の構築)

• 規模: 12.5 億語（281 万件のドキュメント）。
• ソース: 39 種類の多様なソースから構成されています。
  • HuggingFace データセット: 7 種類（OSCAR, CulturaX, CC-100, MADLAD-400, GlotCC, FineWeb2, HPLT など）。
  • Web スクレイピング: 32 個の専用 Scrapy スパイダーを使用。アフガニスタンおよびパキスタンのニュースサイト、ラジオ放送（Azadi Radio, VOA, BBC など）からデータを収集。
• 特徴: 多様なドメイン（ニュース、ラジオ、百科事典、PDF 書籍、ブログなど）を網羅。

2.2 処理パイプライン（再現可能）

• 言語識別: パシュトー語の Unicode 範囲（U+0600–U+06FF 等）内のトークン比率が 70% 未満のドキュメントを除外（コードスイッチングや誤ラベルの除去）。
• 重複除去: 小文字化・空白正規化後のコンテンツの SHA-256 ハッシュ値を用いて完全な重複を除去。
• 品質フィルタリング: トークン数が 10 未満のドキュメントを除外。
• 技術的柔軟性: このパイプラインは、アラビア文字を使用する他の言語（ダリー語、ウルドゥー語など）への適応が容易です（言語識別フィルターの Unicode 範囲変更のみで対応可能）。

2.3 評価手法

• モデル: XLM-R-base を継続的に事前学習（Continued Pretraining）。
• タスク:
  • 内在的評価: 困惑度（Perplexity）、語彙カバレッジ。
  • 外在的評価:
    • WikiANN: 固有表現認識（NER）。
    • POLD: 攻撃的言語検出（ソーシャルメディアデータ）。
    • Belebele: 読解力（Reading Comprehension）。
• アブレーション研究: 各ドメイングループ（例：Wikipedia、ニュース、PDF）を 1 つずつ除外して、モデル品質とタスク性能への寄与を定量化（Leave-one-out）。

3. 主要な貢献

1. PashtoCorp コーパスの公開: 12.5 億語規模の、39 種類のソースから構成される大規模コーパス。既存の最大コーパスと比較して 83 倍、OSCAR 比較で 40 倍の規模。
2. 包括的な評価スイート: 困惑度、語彙カバレッジ、サンプル効率、および固定分割による NER、POLD、Belebele でのベンチマーク。
3. ソースアブレーション分析: 各ドメインが言語モデルの品質や下流タスクに与える影響を定量化。特に「少量の多様なソース」の重要性を立証。

4. 主要な結果

4.1 言語モデルの性能向上

• 困惑度（Perplexity）: XLM-R-base を PashtoCorp で継続学習させた結果、保持データ（held-out）の困惑度が 25.1% 改善（8.08 → 6.06）。
• 固有表現認識（NER）: WikiANN タスクにおいて、事前学習済みモデルはエンティティ F1 スコアを 10% 相対改善（19.0% → 21.0%）。
  • 学習の安定性: 学習の分散（バリエーション）が約 7 倍減少（±4.7% → ±0.7%）。
  • サンプル効率: 学習データが 50 文のとき、事前学習モデルの相対的な改善率が最大（+27%）となりました。
  • 語彙カバレッジ: PashtoCorp は WikiANN のエンティティ語彙の 97.9% をカバーしています。

4.2 ドメイン依存性とアブレーション結果

• ドメインの一致が重要:
  • 成功: ニュースや Wikipedia とドメインが一致する NER タスクでは大幅な改善が見られました。
  • 失敗: ソーシャルメディアデータ（POLD）では改善が見られませんでした（コーパスに会話的な口語が不足しているため）。
• ソースの寄与（アブレーション）:
  • Wikipedia: ドキュメント数の 0.7% しか占めていませんが、NER にとって最も重要なソースです。除外すると F1 スコアが 47% 相対低下しました。
  • PDF 書籍: ドキュメント数の 0.6% ですが、語彙の 35% を独自に提供しており、語彙多様性に極めて重要です。
  • Web クロール: 言語モデルの品質（困惑度）には最も重要ですが、NER への寄与は Wikipedia に劣ります。

4.3 大規模言語モデル（LLM）のベンチマーク

• Belebele 読解タスク: Gemma-3n-E4B モデルが 64.6% の正答率を達成し、パシュトー語におけるこのベンチマークの最初の公開 LLM ベースラインとなりました。

5. 意義と結論

• 低リソース言語開発への指針:
  • 単にデータ量を増やすだけでなく、**「多様なレジスター（文体・分野）」**を早期に収集することの重要性を実証しました。特に、百科事典や書籍などの少量のデータが、大規模な Web クロールデータよりも語彙や特定タスク（NER）に対して相対的に高い価値を持つことを示しました。
• 再現性と転用性:
  • 単一のマシンで 24 時間未満でコーパス構築が可能であり、Apple M4 などの消費電力の低いハードウェアでも事前学習が実行可能です。
  • パイプラインはアラビア文字圏の他の言語（ダリー語、ウルドゥー語など）への適用が容易であり、低リソース言語コミュニティ全体に貢献する可能性があります。
• 倫理的配慮:
  • 収集データは公開テキストのみを使用し、個人を特定できる情報は含まれていません。ただし、コーパスはアフガニスタン発のニュースに偏っており、パキスタン側の方言やディアスポラの言語使用は不足しているため、モデルのバイアスには注意が必要です。

結論:
PashtoCorp は、パシュトー語 NLP の基盤を劇的に強化するものであり、ドメイン適応型事前学習の効果を定量的に示すとともに、低リソース言語における効率的なデータ収集戦略（量より質と多様性）を示唆する重要な成果です。すべてのデータ、コード、モデルは Hugging Face と GitHub で公開されています。