HPLT 3.0: 大規模多言語リソースの技術的サマリー

本論文は、欧州の学術コンソーシアム HPLT（High-Performance Language Technologies）によって開発された、HPLT 3.0 という大規模なマルチリンガルデータセットと、それに基づいて構築されたモデル・評価フレームワークについて報告するものです。これは、約 200 言語にわたる約 30 兆トークンの大規模な単一言語データセットであり、現在一般に利用可能な LLM（大規模言語モデル）の事前学習用データとしては最大規模のものの一つとされています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

大規模言語モデル（LLM）の時代において、高品質なテキストデータは「原油」とも呼ばれる重要な資源ですが、その精製プロセスには莫大な計算資源と技術力が必要であり、しばしば大企業に独占されています。

• データ偏在: 既存の主要なデータセット（C4, FineWeb, MADLAD-400 など）は英語中心であり、多言語対応、特に低リソース言語のデータが不足しています。
• 品質と透明性の欠如: 企業主導のデータセットは、データ選定やフィルタリングのプロセスが非公開であることが多く、学術的な再現性や多様性の確保が課題となっています。
• 評価の限界: 多言語モデルの性能を適切に評価するための、ネイティブスピーカーによるタスクや、プロンプト感応性を考慮した包括的な評価フレームワークが不足しています。

2. 手法とアプローチ (Methodology)

HPLT 3.0 は、オープンソースの処理パイプラインを用いて、インターネットアーカイブ（IA）と Common Crawl（CC）から収集された約 7.2 ペタバイトの生ウェブデータを精製するプロセスを実行します。

A. データ準備パイプライン (Monotextor Pipeline)

HPLT 2.0 のパイプラインを拡張・改良し、以下のステップでデータを処理します。

1. テキスト抽出: Trafilatura フレームワークを使用し、ハイパーパラメータをデータ駆動で最適化して抽出品質を向上。
2. 言語識別 (LID): OpenLID-v2 を使用。Flores+ 評価セットと整合性を持たせ、非標準的な表記への頑健性を高めるため、入力前処理（空白正規化、小文字化、非単語文字の除去）を簡素化。
3. 重複除去 (Deduplication): 英語、ロシア語、中国語を除く全言語で、MinHash ベースのグローバルなニア・デュープリケーション除去を実施。これにより、異なるクロール間での重複を除去し、テキストの多様性を確保。
4. 注釈付け:
   • Web Docs Scorer (WDS): 文書品質をスコアリング（レベル 5-10）。
   • レジスター分類: 104 言語に対してウェブレジスター（ニュース、ブログ、百科事典など）を自動分類。
   • 個人情報 (PII) 検出: 氏名、メールアドレス、電話番号などの検出。
   • 成人向けコンテンツのフラグ付け: 不適切なコンテンツの識別。
5. フィルタリングとパッケージ化: WDS スコアに基づいて文書をバインニングし、高品質なデータを選択的にサンプリング可能にする。データは Zstandard 圧縮の JSONL 形式で公開。

B. 評価フレームワーク (HPLT-e)

9 つのヨーロッパ言語（カタルーニャ語、スペイン語、バスク語など）を対象に、事前学習データの品質を評価する新しいフレームワークを開発。

• タスク: 127 種類の言語理解・生成タスク（推論、常識推論、読解、トキシシティ検出など）を網羅。
• プロンプト多様性: 単一のプロンプトに依存しないよう、各タスクに 3〜7 種類の人間作成プロンプトを準備し、プロンプト感応性を低減。
• 評価指標: モデルの性能がトレーニングの進行とともに単調に向上するか（monotonicity）、ランダム推測を超えるかなど、事前学習評価に適したタスクを選定。

C. モデル学習

• 単一言語エンコーダー (GPT-BERT): 約 60 言語でトレーニング。Masked LM と Causal LM を組み合わせたアーキテクチャ。
• 単一言語エンコーダー・デコーダー (T5-like): 57 言語でトレーニング。mT5 アーキテクチャをベースに、HPLT 3.0 の高品質データで学習。
• バイリンガルデータマイニング: 28 言語ペアに対して、Bitextor を用いて文書レベルと文レベルの並列データを抽出。また、機械翻訳を用いて高品質な英語ドキュメントを低リソース言語へ変換し、合成データを生成（Synthetic Data Generation）。

3. 主要な貢献 (Key Contributions)

1. HPLT 3.0 データセット: 約 30 兆トークン、約 200 言語の単一言語データ。そのうち英語以外の言語が約半分を占める。FineWeb や HPLT 2.0 よりも多言語データが大幅に多い。
2. オープンソース・パイプライン: データ収集からフィルタリング、注釈付けまでの完全なオープンソースパイプラインの公開。
3. HPLT-e 評価フレームワーク: 多言語モデルの事前学習データを比較・評価するための包括的なベンチマークと、プロンプト感応性を考慮した評価手法。
4. 事前学習済みモデルのファミリー:
   • 約 60 言語の GPT-BERT モデル。
   • 57 言語の T5-like エンコーダー・デコーダーモデル。
   • これらは mBERT や mT5 ベースラインと比較して、多くの言語で優れた性能を示す。
5. 並列データと合成データ: 28 言語ペアの並列コーパス（約 11 億文対）と、機械翻訳による合成データ（約 3.3 兆トークン）の公開。

4. 結果 (Results)

• データ品質の向上:
  • 重複除去により、HPLT 3.0 は HPLT 2.0 に比べ、ユニークなセグメントの割合が大幅に増加（平均 73% vs 52%）。
  • 手動検査（24 言語）により、ポルノコンテンツは 2% 未満、言語誤識別も低く抑えられていることが確認された（ボスニア語やアストゥリアス語など一部例外あり）。
• モデル性能:
  • 事前学習評価: HPLT 3.0 で学習したモデルは、FineWeb や HPLT 2.0 よりも優れた性能を示し、MADLAD-400 と同等かそれ以上のスコアを記録。
  • WDS サンプリング: 高品質な WDS レベルのデータのみで学習した場合、ランダムサンプリングよりも性能が向上する傾向が見られた（ただし、多様性が不足しすぎると性能が頭打ちになる可能性も示唆）。
  • 言語能力: MultiBLIMP（言語的妥当性評価）や NER 課題において、HPLT 3.0 で学習した GPT-BERT および T5 モデルは、mBERT、XLM-R、mT5 ベースラインを多くの言語で上回った。
• 多言語性の広がり: 低リソース言語（バスク語、ガリシア語など）でも、適切な評価タスクを選定することで、データ品質の向上がモデル性能に直結することが示された。

5. 意義と展望 (Significance)

• 民主化: 大企業に独占されがちな大規模データセットの作成プロセスを、欧州の学術コンソーシアムが透明性を持って公開することで、LLM 開発の「民主化」に寄与。
• 多言語・多文化への対応: 英語中心の LLM 開発から脱却し、多様な言語・文化背景を持つ言語技術の発展を促進。特に低リソース言語のデジタル格差是正に貢献。
• 倫理的配慮: 著作権、個人情報、成人向けコンテンツへの対応を徹底し、CC0 ライセンス（メタデータ）とテキストコンテンツの法的責任の明確化（ユーザーの判断）という二重ライセンス方式を採用。
• 将来の展望: HPLT 4.0 では、フィルタリング前の生データ（約 500TB）の公開や、より詳細な品質分類器の導入を予定しており、研究コミュニティによるさらなるデータ選定戦略の探求を支援する。

総じて、HPLT 3.0 は、単にデータ量が多いだけでなく、**「高品質」「多言語」「透明性」「評価の厳密さ」**を兼ね備えた、LLM 研究における重要な公共財（Public Good）として位置づけられています。