技術要約：Jais 2 – アラビア語中心のオープン大規模言語モデルファミリー

問題提起

多言語大規模言語モデル（LLM）が急速に進化しているにもかかわらず、この分野は英語および限られた高リソース言語に大きく偏っています。アラビア語は、複雑な形態論、ダイグロシア（標準アラビア語と多様な地域方言の共存）、そして豊かな文化的文脈を特徴としており、世界の学習コーパスにおいて著しく過小評価されています。既存の汎用モデル（Llama 3、Gemma、Qwenなど）は、アラビア語に対して部分的な習熟度は示すものの、特に方言のバリエーション、文化的にニュアンスのある推論、およびイスラム法学、詩、地域料理といった特定のドメインにおいて課題を抱えています。さらに、既存のアラビア語中心の取り組みの多くは、多言語バックボーンの適応に依存しているか、あるいは限定的な言語ドメインに制限されており、アラブ世界全体での堅牢で実用的な展開に必要な規模と文化的根拠を欠いています。

メソドロジー

モデルアーキテクチャとトレーニング・インフラストラクチャ

Jais 2は、8Bおよび70Bパラメータの2つのバリアントとしてリリースされた、デコーダーのみのTransformerファミリーです。両モデルはゼロから学習されています。

• アーキテクチャ: モデルは、拡張されたフィードフォワード・フィルタ比（隠れ層サイズの8倍）、スパース性を誘発するReLU2活性化関数、および優れたコンテキスト拡張を実現する**Rotary Position Embeddings (RoPE)を採用しています。ALiBiを使用していた初期のJaisバージョンとは異なり、Jais 2はRoPEを採用しています。また、このアーキテクチャにはMaximal Update Parameterization (µP)**が採用されており、小規模なプロキシモデルから大規模なバリアントへの最適なハイパーパラメータのゼロショット転移を可能にしています。
• トークナイゼーション: アラビア語、英語、およびコードに特化して最適化され、フォーマットや意味論に不可なるスペース接頭辞を保持するカスタムByte-Pair Encoding (BPE)トークナイザー（語彙サイズ150,272）が開発されました。
• インフラストラクチャ: トレーニングは、最大64個のCS-2システムで構成されるCerebras Wafer-Scale ClusterであるCondor Galaxy 1および2上で実施されました。このアーキテクチャにより、ほぼ完全な線形スケーリングが可能となり、70Bモデルを、比較対象となるモデルよりも大幅に少ないトークン予算で学習することができました。

データ戦略と事前学習

Jais 2は、2段階のトレーニング・カリキュラムを採用しています。

1. ステージ1（事前学習）: モデルは600B以上のアラビア語トークンと計1.6Tのトークンの混合物で学習されます。データミックスには以下が含まれます：
   • アラビア語データ: ウェブデータ、宗教テキスト、詩、文学、科学的コンテンツを含む多様なソースから精選。決定的なことに、これには17の方言バリエーション（例：モロッコ・ダリジャ、エジプト、湾岸、レバント）およびArabizi（ラテン文字表記のアラビア語）が含まれます。
   • 英語/ウェブデータ: 3つの主要なウェブコーパスの比較研究から選定され、アラビア語への優れたクロスリンガル転移能力を持つCorpus 3が選択されました。
   • 数学およびコード: 推論能力とコーディング能力を確保するために統合。
   • 混合比率: 最終的な事前学習ミックスは、**アラビア語28%、ウェブ40%、数学20%、コード10%、合成データ2%**で構成されます。
2. ステージ2（アニーリング）: ドメイン・アップサンプリング・フェーズ（総FLOPsの10%）により、初期学習後に特定された弱点に対処するため、高品質なアラビア語、数学、およびウェブデータの割合を増加させます。

ポストトレーニング

ポストトレーニング・パイプラインは、3つの明確なステージで構成されます。

1. 継続的事前学習 (CPT): 精選された新しいアラビア語データと、元のデータをリプレイすることで、ドメインの専門知識を洗練させるために2エポックの学習を行います。
2. 指示チューニング (IFT): 2,000万件以上の指示-補完ペアを用いた3エポックの学習を行います。データセットには以下が含まれます：
   • 一般IFT: 標準アラビア語および英語の指示（マルチターン対話と安全性に関する合成データを含む）。
   • 方言IFT: モロッコ・ダリジャおよびエジプト・アラビア語に特化したデータセット（翻訳、翻字、要約をカバー）。
   • 文化的タスク: アラビア詩（生成と分析）、イスラム教に関するQA（倫理的免責事項付き）、夢解釈、アラビア料理、および要約のための専門データセット。
3. 嗜好アライメント: モデルの安全性、有用性、および人間の価値観への適合性を確保するため、20万件以上の嗜好ペア（選択された回答 vs 拒絶された回答）を用いた**Direct Preference Optimization (DPO)**を用いてアライメントを行います。

安全メカニズム

安全性は以下の手法を通じて統合されています：

• データ準備: 不適切な言語（一般、卑猥、ヘイトスピーチ）の統一されたタクソノミーが30のデータセットから構築され、20万5千のサンプルが得られました。これらは、なぜそのコンテンツが不適切なのかをモデルに教えるための説明的なIFTデータによって強化されました。
• SFT安全性: 政治的、宗教的、または社会的に敏感なトピック（アラブ世界特有のもの）を扱うためのガイドとして、30のリスクタイプ（5つの一般、25の地域的リスク）をカバーする11万6千件のQAペアからなる合成データセットが生成されました。

主な貢献

1. アラビア語中心のオープンウェイトモデル: ゼロから学習されたJais 2-8BおよびJais 2-70Bのリリース。70Bバリアントは、完全にゼロから学習されたアラビア語中心のモデルの中で最大級のものです。
2. 文化的および方言的根拠: 現代標準アラビア語（MSA）に主に焦点を当てた従来のモデルとは異なり、Jais 2は明示的に17の方言および文化的ドメイン（詩、料理、夢解釈、イスラム教QA）で学習されており、深い文化的整合性を実現しています。
3. 効率的なトレーニング: カスタムのアラビア語中心の語彙、µP、およびCerebrasハードウェアの使用により、比較対象のモデルよりも大幅に少ないトークン予算で強力なパフォーマンスを達成しています。
4. 包括的なベンチマーク: OALL2（Open Arabic Leaderboard 2）、AraGen、および料理、詩、夢解釈のためのカスタムベンチマークを含む、文化的に根ざしたベンチマークの導入と評価。
5. デプロイメント: 商用利用可能なライセンスの下でHuggingFaceにモデルをリリースするとともに、Cerebrasハードウェア上で動作する高スループットのチャットアプリケーション（最大2,000トークン/秒）を提供。

評価結果

Jais 2は、複数の次元において、評価されたオープンモデルの中でリーディング・パフォーマンスを示しています。

• 多肢選択式 (OALL2): Jais 2-70Bはマクロ平均**79.36%を達成し、Llama-3.3-70B（74.23%）およびQwen2.5-72B（71.20%）を上回りました。Jais 2-8Bは、≤13Bカテゴリで72.40%**を記録し、トップに立ちました。
• 生成タスク (AraGen): Jais 2モデルは、それぞれのサイズカテゴリにおいて最高の3C3Hスコア（正確性、完全性、簡潔性、有用性、誠実性、無害性）を達成しました（Jais 2-70Bは70.71%）。
• 翻訳: Jais 2-70Bは、MSA、英語、および様々な方言（エジプト、チュニジア、レバント、湾岸など）間の翻訳において、オープンモデルの新たなSOTA（最先端）スコアを樹立し、両方向においてLlama-3.3-70BおよびQwen2.5-72Bを凌駕しました。
• 方言識別: Jais 2-70Bは、MADARおよびQADIベンチマークで最高精度を達成し、他の70Bスケールモデルを大幅に上回りました。
• 文化的ベンチマーク:
  • 料理: Jais 2-70Bは、1,597問のベンチマークで**79.02%**の精度を達成し、材料分析、手順実行、および地理的起源の各項目でリードしました。
  • 詩: Jais 2-70Bは、詩の生成および分析タスクにおいてリードしています。
• 英語能力: アラビア語への特化にもかかわらず、Jais 2-70Bは英語のベンチマーク（例：IFEvalで86.09%、GSM8Kで85.97%）においても競争力のある性能を維持しており、強力なアラビア語の専門化が英語のパフォーマンスを犠牲にしないことを証明しています。

重要性

本論文は、Jais 2を、アラビア語圏に対する高度なAIへのアクセスを民主化するための基礎的なステップとして位置付けています。規模、言語的多様性（MSAおよび17の方言）、文化的忠実度、そして開放性を統合することで、Jais 2は将来の研究のための透明かつ再現可能なベースラインを提供します。著者らは、このモデルが単にグローバルなAIにおける言語的ギャップを埋めるだけでなく、次世代のアラビア語特有のアプリケーション、研究、およびイノベーションをサポートするように設計されており、地域的なAI開発が包括的で文化的に根ざした基盤の上に構築されることを目的としていると強調しています。モデルのリリースと高性能なチャット・インフラストラクチャの提供は、アラブ世界におけるコミュニティの研究と実用的な展開を促進することを目的としています。