技術要約：EuroBERT：欧州言語のための多言語エンコーダーのスケーリング

問題提起

汎用的な多言語ベクトル表現は、情報検索、分類、回帰といった自然言語処理（NLP）タスクの基礎となります。伝統的に、これらの表現は双方向エンコーダーモデル（例：BERT、XLM-RoBERTa）から派生してきました。しかし、近年の研究の進展は、単方向のデコーダーのみの生成モデルに大きく傾いています。デコーダーモデルはアーキテクチャ、データの質、およびスケールにおいて大きな進歩を遂げてきましたが、これらの革新は双方向エンコーダーへと体系的に転移されてきませんでした。その結果、実務家は、エンコーダーにこれらの進歩を適用することに本質的なアーキテクチャ上の障壁がないにもかかわらず、現代的なトレーニングレシピの恩恵を受けられない古いエンコーダーモデルに頼らざるを得ない状況にあります。

メソドロジー

著者らは、近年のデコーダーの進歩という観点からエンコーダーの開発を再考するために設計された、多言語エンコーダーのファミリーであるEuroBERTを導入します。この手法は、以下の3つのコアコンポーネントで構成されています。

1. アーキテクチャ

EuroBERTモデル（210M、610M、2.1Bのパラメータサイズで提供）は、標準的な高密度トランスフォーマーアーキテクチャを採用していますが、Llama 2およびLlama 3に触発された特定の近代化を取り入れています。

• バイアスの除去: アーキテクチャからすべてのバイアスを削除。
• アテンション・メカニズム: グループ化クエリ・アテンション（GQA）の実装。
• 活性化関数: Swish Gated Linear Units (SwiGLU) の使用。
• 正規化: ルート平均二乗（RMS）レイヤー正規化。
• 位置エンコーディング: 回転位置エンコーディング（RoPE）。
• コンテキスト長: 最大8,192トークンのシーケンスをネイティブにサポート。

2. データセット構築

モデルは、以下の内容を含む5兆トークンの多言語コーパスで学習されています。

• 言語: 主要な欧州言語（英語、フランス語、ドイツ語、スペイン語、イタリア語、ポルトガル語、ポーランド語、オランダ語、ロシア語、トルコ語）を含む15言語と、広く話されているグローバル言語（中国語、日本語、ベトナム語、アラビア語、ヒンディー語）。
• ドメイン: コーパスには、一般テキスト（FineWeb、CulturaX）、並列翻訳データ（EuroLLM）、および専門ドメインであるコード（The Stack v2による38のプログラミング言語）と数学（Proof-Pile-2、Open-Web-Math）が含まれます。
• 学習戦略: 事前学習（4.8Tトークン）とアニーリング（200Bトークン）の2段階のパイプライン。アニーリングフェーズでは、より高品質なデータセットや特定のドメインバランスを強調するようにデータ分布を調整します。

3. トレーニングレシピ

• 目的: マスク言語モデリング（MLM）。
• マスキング比率: 動的なアプローチが使用されます。事前学習では50%のマスキング比率（高い比率がより大きなモデルに利益をもたらすという知見に基づく）を採用し、アニーリングフェーズではダウンストリームの性能を最適化するためにこれを**10%**に減少させます。
• カリキュラム学習: アニーリング中、データ分布が調整されます。著者らは、英語の割合を減少させ（26%まで）、他の言語を比例的に増加させ、品質バケット（最高レベルだけでなく、レベル3および4を混合すること）を調整することで、より良い結果が得られることを発見しました。
• 可変長学習: 固定長で前処理されたドキュメントを扱うため、アニーリング中に最大8,192トークンまでのシーケンスのランダムクロッピングを採用しました。これは、固定長のみで学習する場合よりも優れた結果を示しました。
• インフラストラクチャ: 学習はAdastraスーパーコンピュータ上で、MI250XおよびMI300A GPUを使用し、FlashAttention、融合クロスエントロピー、およびハイブリッドシャーディングを用いて行われました。

主な貢献

1. EuroBERTファミリー: 多様なタスクにおいて既存の代替モデルを凌駕する、3つの多言語エンコーダーモデル（210M、610M、2.1B）のリリース。
2. 改訂されたトレーニングレシピ: 高いマスキング比率による事前学習、およびアニーリングにおける低い比率、ならびにコードと数学データの包含といった、デコーダー時代の知見を採用することで、エンコーダーの性能を大幅に向上させられることを実証。
3. 包括的な評価: 多言語検索、分類、回帰、コード、および数学のタスクにわたる広範なベンチマークを実施し、EuroBERTがより小さなサイズでありながら、より大きなベースライン（例：XLM-RoBERTa-3.5B）に匹敵または上回ることを示した。
4. オープンリリース: 将来の研究を促進するために、モデル、中間チェックポイント、およびトレーニングフレームワークを公開。

結果

EuroBERTファミリーは、幅広いベンチマークにおいて最先端または競争力のある性能を示しています。

• 多言語検索: EuroBERTモデルは、MIRACL、MLDR、Wikipedia、CC-Newsにおいてトップクラスの性能を達成しています。特筆すべきは、210Mおよび610Mモデルが同サイズのすべてのベースラインを上回り、3.5BのXLM-RoBERTaと競合している点です。
• 分類および回帰: XNLI、PAWS-X、AmazonReviews、MassiveIntentにおいて、同サイズの代替モデルと同等またはそれ以上の性能を発揮しています。また、シーケンス回帰（WMT、SeaHorse）においても強力な結果を示しています。
• コードおよび数学: EuroBERTモデルは、コード検索（CodeSearchNet、DupStackMath）および数学的タスク（MathFormula、MathShepherd）において、すべてのベースライン（英語専用のModernBERTを含む）を大幅に上回っています。学習中にコードと数学のデータを含めることが、検索能力を向上させることが判明しました。
• ロングコンテキスト: XLM-RoBERTaが長い入力に対して性能が低下するのに対し、EuroBERTは最大8,192トークンのコンテキスト長において性能を維持します。
• トークン分類（NER）: EuroBERTはNERにおいてXLM-RoBERTaにわずかに遅れをとっていますが、著者らはこれをモデルの能力ではなく、トークナイザーの豊饒度（語彙サイズ）に起因するものとしており、エンティティが同様のトークン数に分割された場合には性能が等しくなることを指摘しています。

意義と主張

論文は、EuroBERTファミリーが、汎用的な多言語エンコーダーを訓練するための「刷新されたレシピ」を提示していると主張しています。著者らは以下を強調しています。

• スケールとアーキテクチャの重要性: モデル容量を増大させ、現代的なアーキテクチャ構成要素（GQA、RoPE、SwiGLU）を採用することで、「多言語性の呪い」を効果的に緩和できる。
• データ構成の決定性: コードと数学のデータの包含は多言語検索を改善し、バランスの取れた言語分布（英語の支配性を下げること）は全体的な性能を高める。
• 学習ダイナミクス: 事前学習中の高いマスキング比率とアニーリング中の低い比率の組み合わせ、およびランダムクロッピングによる可変長学習の組み合わせが、検索および分類タスクの両方を最適化するために極めて重要である。
• 実用的な有用性: これらのモデルは、ネイティブのロングコンテキストサポートを提供し、コードや数学のような専門ドメインにおいて優れた性能を発揮しつつ、従来の最先端エンコーダーよりもパラメータ効率が高い、実世界のエンコーダーアプリケーションのための実行可能で高性能な代替手段を提供する。

著者らは、彼らの研究が最近のデコーダーの進歩とエンコーダーの有用性の間の溝を埋め、検索、分類、および回帰タスクのための堅牢な基盤を提供すると結論付けています。