技術要約: EuroLLM-22B

問題提起

大規模言語モデル（LLM）は急速に進歩しているものの、現在のエコシステムは英語と限られた高リソース言語に大きく偏っています。主要なモデルの多くはクローズドソースであるか、あるいは部分的にしかオープンではなく、学習データや手順に関する透明性が限られています。その結果、多くの欧州言語が十分にサポートされておらず、EUの公式言語の全範囲をネイティブにサポートできる「欧州製」のモデルはほとんど存在しません。EuroLLMプロジェクトは、欧州の言語的多様性を優先し、EU内でのAI開発を促進するオープンモデルを開発することで、このギャップを埋めるために立ち上げられました。

手法

アーキテクチャとモデリング

EuroLLM-22Bは、前身モデル（EuroLLM 1.7Bおよび9B）のアーキテクチャ上の決定に基づいた、226億パラメータのモデルです。主な仕様は以下の通りです：

• トークナイザー: 24のEU公式言語と11の追加言語（アラビア語、カタルーニャ語、中国語、ガリシア語、ヒンディー語、日本語、韓国語、ノルウェー語、ロシア語、トルコ語、ウクライナ語）をカバーする、128,000のユニットを持つBPEベースのトークナイザー。
• アーキテクチャ: Grouped Query Attention (GQA)、pre-layer normalization、RMSNorm、SwiGLU活性化関数、およびRotary Positional Embeddings (RoPE) を採用。
• コンテキストウィンドウ: RoPEのスケーリング係数（$\theta$）を $1 \times 10^4$ から $1 \times 10^6$ に調整することで、32,768トークンへと大幅に拡張。

事前学習戦略

モデルは、高品質なデータに段階的にさらすように設計された3フェーズの学習スケジュールを用いて、約4兆トークンで事前学習されました：

1. フェーズ1: 3.6Tトークンで学習し、ピーク学習率 $1.5 \times 10^{-4}$ まで線形ウォームアップを実施。このフェーズには、後続のステージのために取っておくのではなく、FineWeb-eduからの高品質な教育ドキュメントが即座に含まれています。
2. フェーズ2: 400Bトークンのアニーリングフェーズ。学習率をピークの10%まで減少させます。
3. フェーズ3: 学習率がゼロに低下する最終的な減衰フェーズ。32Kトークンのウィンドウをサポートするために、長文コンテキストのデータ（書籍およびコード）を取り入れます。

データキュレーション:

• ウェブデータ: 英語データはFineWeb-eduおよびNemotron-CCから取得。多言語データは、高リソース言語用にRedPajama-Data-v2、その他の言語用にHPLT、MADL-400、CulturaX、mC4から集約されています。すべてのデータは、パープレキシティ・チェック、ヒューリスティック・フィルタ（例：「lorem ipsum」の除去、過度な大文字の使用の除去）、およびスコア0から5を割り当てるEuroFilterによる品質スコアリングを含む、厳格なフィルタリングが行われています。
• パラレルデータ: 文レベルおよびドキュメントレベルのパラレルデータ（xx$\leftrightarrow$en）は、Europarl、ParaCrawl、WikiMatrixなどのソースから収集され、BicleanerおよびCometKiwi-22を使用してフィルタリングされています。
• コードと数学: データはThe Stack、Algebraic-stack、およびOpen-web-mathから取得。第3フェーズでは、FineMathおよびQwen-2.5モデルによって生成され、LLM-as-a-Judgeによってフィルタリングされた合成数学データが導入されます。
• 高品質ソース: 英語についてはWikipedia、ArXiv、Books、Apolloが使用され、後半のフェーズではCosmopedia（およびその翻訳バリアント）が追加されます。

ポストトレーニング

指示チューニング済みモデル（EuroLLM-22B-Instruct）は、約1,060万の例を含む新しい多言語指示データセットであるEuroBlocks-22Bを使用して、ベースモデルから派生しています。

• データセット構築: 以前のEuroBlocksバージョンに基づき、多様な公開ソース（例：Hermes-3、Tülu 3、Nemotron V2）からの指示を組み込んでいます。レスポンスは、有能なオープンモデル（DeepSeek、Qwen、Llama）を使用して再生成され、報酬モデルとしてSkywork-Gemma2-27Bによって選択されています。
• フィルタリング: 非推論型の指示・レスポンス・コーパスを作成するために、構造化された推論トレースは除去されています。
• ファインチューニング: bfloat16混合精度、シーケンスパッキング、およびコサイン学習率スケジューラ（最大LR $1 \times 10^{-5}$）を用いて、5エポックのファインチューニングを行いました。学習効率はAxolotlとLiger-Kernelを使用して強化されています。

主な貢献

1. EuroLLM-22Bモデル: 24のEU公式言語と11の追加言語をサポートし、32Kトークンのコンテキストウィンドウを持つ、スクラッチから学習された22Bパラメータモデルのリリース。
2. 改良されたEuroLLM-9B: 22B版と同じ長文コンテキスト拡張とポストトレーニング・レシピを組み込んだ、更新版の9Bモデル。
3. EuroWebデータセット: 品質フィルタリングされたデータ層を含む、EuroLLM 22Bで使用された多言語ウェブ事前学習データセットのリリース。
4. EuroBlocks-22B: 高品質な合成レスポンスを含む、拡張された新しい多言語指示データセット。
5. オープンソース・エコシステム: ベースモデルおよび指示チューニング済みモデルに加え、事前学習（Megatron-LMのフォーク）および評価コードベースのリリース。

結果

広範な英語および多言語ベンチマークで評価された結果、EuroLLM-22Bは競争力のある性能を示しています：

• スケーリング傾向: モデルはEuroLLM-9BおよびEuroLLM-22B-Previewに対して一貫した改善を示しており、EuroLLMファミリー内でのポジティブなスケーリング傾向を確認しています。
• 欧州モデルとの比較: EuroLLM-22Bは、完全にオープンな欧州モデルの中で最強のパフォーマンスを達成しています。特に、指示への追従およびSTEMタスクにおいて、パラメータ数が約3分の1であるにもかかわらず、Apertus-70B（70Bパラメータモデル）と同等またはそれを上回る性能を頻繁に示しています。
• グローバルモデルとの比較: 集計スコアでは、非常に優れたオープンウェイトモデル（例：Llama-3.3-70B、Qwen-3-30B-A3B）には及びませんが、欧州の言語向けに特別に設計された最も有能な完全オープンな代替手段を提供します。
• 翻訳: 更新されたポストトレーニング・レシピにより、翻訳の質を低下させることなく、一般的なアシスタントとしての振る舞いと推論能力を強化し、翻訳性能は堅牢なまま維持されています。
• ロングコンテキスト: 32Kトークンへの拡張により、長文入力の有効なモデリングが可能になり、以前の4KコンテキストモデルではアクセスできなかったWMT25のようなベンチマークのカバーが可能になりました。

意義と主張

本論文は、EuroLLM-22Bを、欧州におけるAIの民主化に向けた重要なステップとして位置付けています。欧州の全言語的多様性をネイティブにサポートする、完全にオープンで高品質なモデルを提供することで、著者らは、クローズドで英語中心のモデルへの依存を減らすことを目指しています。著者らは、EuroLLMが、より多くのデータ（例：Apertus-70Bの15Tトークン）で学習されたより大きなモデルと比較して、比較的控えめなトークン予算（4Tトークン）で強力な品質を達成したと主張しており、これは高品質なデータキュレーションとターゲットを絞ったポストトレーニングが、性能差を埋めるための効果的な戦略であることを示唆しています。関連するデータセットおよびコードベースのリリースは、欧州の言語理解および生成における将来の研究を支援することを目的としています。