KletterMix: Climbing Toward High-Quality German Pretraining Data

技術要約: KletterMix: 高品質なドイツ語事前学習データへのクライミング

問題提起

高品質な事前学習データは、言語モデルの性能を決定付ける主要な要因である。英語は、大規模で多様かつ文書化が進んだ事前学習コーパス（例：ClimbMix, Dolma）の恩恵を受けてきた一方で、ドイツ語のリソースは比較的に未発達なままである。既存のドイツ語データセットの多くは、ノイズの多いウェブクロールから派生したものであったり、多言語コーパスのサブセットとして組み込まれていたり、あるいは制御された学習実験を通じたドキュメント化や検証が限定的な状態でリリースされていたりする。ネイティブなドイツ語のウェブクロールだけでは、積極的なフィルタリングによって有用なロングテール・コンテンツが除去されるリスクを負うことなく、トップティアの英語データセットのようなソースの多様性、混合設計、およびドキュメント標準を再現することは困難である。さらに、形態論、複合語、大文字表記、地域的なバリエーションといった特定の言語的特徴があるため、英語中心のデータから強力なドイツ語モデルの挙動が自然に創発することを前提とすることはできない。

手法

著者らは、最先端の英語事前学習ミックスであるClimbMixをドイツ語に翻訳して構築された、725Bトークンのドイツ語事前学習およびアニーリング用コーパスであるKletterMixを提案する。構築は、ドキュメントの境界、メタデータ、ソース構造、およびトピックの多様性を維持するように設計された5段階のパイプラインに従う：

1. ソース・レコードの正規化: 英語のソースは、ドキュメント識別子、テキスト、およびメタデータ（ソースクラスター、場所、おおよその長さ）を含む、シャード化されたJSONLファイルとして保存される。この構造はパイプライン全体を通じて維持される。
2. 長さを考慮したルーティング: 可変的なドキュメントの長さを効率的に処理するため、ドキュメントはソースの長さに基づいてコンテキストバケット（短、中、長、オーバーフロー）にルーティングされる。これにより、バケット固有のソースおよびターゲットの予算を設定でき、パディングやスケジューリングの非効率性を低減できる。
3. ドキュメントを保持する翻訳:
   • 短いドキュメントは、一度のパスで翻訳される。
   • 長いドキュメントは、文単位でセグメント化され、貪欲にチャンクへと詰め込まれる。もし文がチャンクの予算を超える場合は、トークンレベルで分割される。
   • チャンク化されたドキュメントについては、談話の連続性と用語の一貫性を維持するために、チャンク $t-1$ の翻訳がチャンク $t$ の切り詰められたコンテキストウィンドウとして含まれる。
   • 動的なターゲット側の予算設定が使用される。ここで、最大生成長は、ドイツ語の表面的な長さの拡張傾向を考慮し、ソースのチャンク長から導出される（$\ell_{max}^{tgt} = \min(L_{max}, \lceil \alpha\ell_{src} + \beta\rceil)$）。
4. スケーラブルなシャード単位の実行: 翻訳は、コーパスの互いに素なサブセットに対して並列ワーカーによって実行される。ワーカーは追跡可能性のために元の識別子を保持し、中断された実行に対するレジューム機能を実装している。
5. 品質推定とフィルタリング:
   • パイロット・サブセット: コーパスの層化抽出サンプルに対し、参照フリーの品質推定モデルであるCOMETKiwiを用いてスコアリングを行い、高品質なラベルを生成する。
   • プロキシ学習: グラディエントブースティング回帰モデルを、パイロットデータを用いて、ターゲット側の特徴量（ドイツ語テキスト）と安価なメタデータ（例：GlotLID言語識別、テキストの形状、反復比率）のみを用いて訓練する。
   • フィルタリング: プロキシモデルが全コーパスをスコアリングする。プロキシスコアが $\ge 0.50$、$\ge 0.55$、および $\ge 0.60$ であるドキュメントを保持することにより、3つのフィルタリングされた12Bトークンの学習スプリットが作成される。

主な貢献

• KletterMixデータセット: 高品質な英語ソースから構築され、ドキュメントレベルの構造、メタデータ、および混合設計を保持した725Bトークンのドイツ語コーパス。
• スケーラブルな翻訳パイプライン: 長さを考慮したルーティング、ドキュメントを保持するチャンキング、動的な予算設定、およびシャード単位の実行を含む、事前学習データを翻訳するための手法。
• 品質診断: COMETKiwiベースおよびプロキシベースの品質推定を用いた、長さ分布、トピック・カバレッジ、およびメタデータ保持の分析を含む、コーパスの包括的なドキュメント化。
• 実証的検証: 確立されたドイツ語コーパス（FineWeb2-DE および GermanWeb）と比較した、KletterMixの事前学習およびアニーリングのアブレーション研究。

結果

著者らは、Qwen3-0.6Bモデルを用い、一致させた12Bトークンの学習予算の下でKletterMixを評価した。

• 学習ダイナミクス: KletterMixで訓練されたモデルは、FineWeb2-DEおよびGermanWebで訓練されたモデルと比較して、より低い訓練および検証損失を達成した。これは、サンプル効率の向上を示唆している。
• ダウンストリーム・ベンチマーク: ドイツ語ベンチマーク群（MMLU, PIQA, HellaSwag, ARC-Challenge）において、KletterMixのバリアントは総体として（Core Avg）ベースラインを上回った。
  • **フィルタリングされたKletterMix（スコア $\ge 0.60$）**は、最も高いCore Avg (40.2) を達成し、FineWeb2-DE (38.3) および GermanWeb (36.8) を上回った。
  • KletterMixは、特にHellaSwag（接地された常識推論）とARC-Challenge（科学的スタイルの推論）において強さを見せており、これはコーパスがコヒーレントな説明構造を効果的に転送していることを示唆している。
  • アニーリング実験: FineWeb2-DEで事前学習されたモデルのアニーリングにおいて、KelletrMixへの切り替えは、GermanWebへの切り替え（37.6）よりも高いCore Avg (39.4) をもたらした。この利得はHellaSwagとARC-Cに集中している。
• 品質分析: コーパスの診断により、ソースと一致するヘビーテイルの長さ分布が明らかになった。しかし、「ロングコンテキスト・バケットにおけるローワーテール」（長い英語ドキュメントが異常に短いドイツ語翻訳になったケース）が、監査を必要とする潜在的な失敗モードとして特定された。

意義と主張

本論文は、注意深く精査された翻訳データが、ドイツ語の事前学習データのエコシステムを大幅に強化できると主張している。KletterMixの意義は、ネイティブなドイツ語データを置き換えることではなく、強力な英語コーパスの精査された決定、ソースの多様性、および混合構造を、高品質な翻訳と厳格な検証を通じてドイツ語に転送できることを実証することにある。

著者らは、このアプローチが単なる表層的な形式だけでなく、有用な混合構造を転送すると主張している。結果は、翻訳されたデータが、イベントレベルの妥当性や構成的推論のような、構造化されたコンテキストを必要とする領域においてモデル能力を向上させ得ることを示唆している。しかし、論文は以下の点を認め、控えめな立場を維持している：

• 翻訳されたデータは、英語ソースからの文化的、地理的、およびライセンス上のバイアスを継承する可能性がある。
• 機械翻訳は、アーティファクト（翻訳調、意味のドリフト）を導入したり、専門的なドキュメントにおいて失敗したりすることがある。
• プロキシベースのフィルタリングは、固定予算の学習における実用的なランキング信号ではあるが、普遍的な品質法則ではない（MMLUのパフォーマンスは、フィルタリングを厳格にしても単調には改善しなかったため）。
• 現在の結果は特定のモデルサイズ（0.6B）とトークン予算に限定されており、より大きなモデルやより広範なベンチマークに関する今後の研究が必要である。

最終的に、KletterMixは、単純なスケールやネイティブなクロール単体よりも、ドキュメント化、実証的検証、およびデータセット構造の保存を優先する、非英語圏の事前学習のための実用的なルートを提示している。