RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment
本論文は、語彙の注入と大規模な微調整に基づき Qwen2.5-0.5B を基盤として構築されたオープンソースの 5 億 1800 万パラメータの Arabic 特化言語モデル RightNow-Arabic-0.5B-Turbo を紹介するものであり、10 億パラメータ未満のモデルの中で最先端の性能を達成しつつ、400 MB 未満への量子化による効率的なエッジ展開を可能にする。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
非常に賢く多言語対応のロボットアシスタント「Qwen」がいると想像してください。それは小さく高速で、ラップトップやスマートフォンにもすっぽり収まりますが、アラビア語については 100 言語のうち少しだけ知っているものの一つとして扱います。流暢ではありません。つまずき、アラビア語の単語を理解するために、多くの小さくぎこちない断片に分解する必要があります。
一方、スペクトルの另一端には「巨大なアラビア語ロボット」（Jais や SILMA など）が存在します。これらは驚くほど流暢で知識豊富ですが、あまりにも巨大で重いため、大規模で高価なデータセンターでのみ実行可能です。ポケットに入れることはできません。
RightNow-Arabic-0.5B-Turbo は「金髪姫」的な解決策です。つまり、ポケットに入るように設計された、アラビア語を完璧に話す小さなロボットです。
以下は、著者が単純なアナロジーを用いてこれを構築した方法です。
1. 語彙の手術（ロボットに新しい辞書を渡す）
元のロボットの辞書はアラビア語には小さすぎました。そのため、アラビア語の単語を小さな断片に切り刻まなければならず、低速で非効率でした。
- 解決策: チームは「語彙の手術」を行いました。既存の辞書に27,000 個の新しいアラビア語単語を直接注入しました。
- 結果: 1 つのアラビア語単語を記述するために 2.18 個の小さな断片が必要だったのが、現在は 1.80 個だけで済むようになりました。これは、単語のすべての文字をスペルするロボットから、単語全体を瞬時に認識するロボットへ切り替えたようなものです。これにより、アラビア語を話す際のロボットは17% 高速化しました。
2. 訓練キャンプ（ロボットを教える）
チームはロボットに新しい辞書を渡しただけでなく、3 つの過酷な訓練キャンプへ送り込みました。
- キャンプ 1: 図書館（継続的事前学習）: 彼らはロボットにウィキペディアからの5 億 400 万のアラビア語文を投入しました。これは、言語のリズムと流れを学ぶために、ロボットにアラビア語の新聞や書籍の読み方を集中的に教えるようなものでした。
- キャンプ 2: 教室（教師あり微調整）: 彼らはロボットに役立つアシスタントになるよう教えました。129,000 件の質問と回答の例を示しました。重要なのは、彼らがロボットに「質問の部分については気にせず、回答の書き方を学ぶことに集中せよ」と伝えたことです。これにより、指示に従う能力が大幅に向上しました。
- キャンプ 3: 討論クラブ（直接選好最適化）: 彼らはロボットに回答のペア（良いものと悪いもの）を示し、勝者を選ぶよう求めました。しかし、ロボットがあまりにも小さいため、このステップ単独ではあまり役立ちませんでした。「選好」データは少しノイズが多く、幼児に美術品を評価させるようなものでした。
3. 「重みスープ」（秘密の調味料）
ここが巧妙な部分です。「討論クラブ」での訓練が完璧には機能しなかったため、チームは最終的なロボットを単に選びませんでした。代わりに、3 つの異なるバージョンのロボット（図書館後のもの、教室後のもの、討論クラブ後のもの）を混ぜ合わせました。
- アナロジー: スープを作ることを想像してください。「図書館」ロボットの 1 カップ、「教室」ロボットの 1 カップ、「討論クラブ」ロボットの 0.5 カップを取り、混ぜ合わせます。
- 結果: この「スープ」は、単一のどのバージョンよりも賢くバランスの取れた最終ロボットを生み出しました。
4. 最終製品：小さくても強力
その結果、5 億 1800 万パラメータを持つモデルが生まれました（70 億や 90 億の巨人に比べれば微小です）。
- サイズ: スマートフォンに収まるように圧縮（量子化）すると、容量は398 MBのみです。高画質の映画よりも小さいサイズです。
- 速度: 高性能なコンピュータチップ上では、秒間 635 単語のテキストを生成できます。これは人間が雷のような速さでタイピングしているようなものです。
- 性能:
- アラビア語の理解において、他の小さなロボット（元の Qwen など）を凌駕します。
- 一般的な推論タスクにおいて、3 倍の大きさを持つロボット（Falcon-H1-1.5B）と互角の性能を発揮します。
- 巨大な 90 億パラメータのロボット（SILMA）の知性の67%を回復しますが、そのサイズは18 分の 1です。
できないこと（限界）
論文は、この小さなロボットができないことについて正直に述べています。
- 知識の天井: 巨大なロボットほど多くの事実を知っているわけではありません。複雑な雑学クイズ（難しいクイズ）を問えば、70 億や 90 億パラメータのモデルに負けます。これは事実の百科事典ではなく、言語の専門家です。
- 方言: 「標準アラビア語」（ニュースや書籍で使われる形式的な言語）を話します。エジプト、湾岸、レバントの方言で話しかけられても理解はしますが、返答は形式的なアラビア語になります。まだ街頭のスラングは習得していません。
結論
著者は、実際にうまく機能する最小のオープンソース・アラビア語特化型ロボットを構築しました。流暢なアラビア語アシスタントを実行するにはスーパーコンピュータは不要であり、必要なものは適切な語彙、適切な訓練の組み合わせ、そして少しの「スープ」の魔法だけであることを証明しました。すべてのコード、重み、レシピは現在、誰でも使用できるように公開されています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。