💻 computer science

RightNow-Arabic-0.5B-Turbo: An Open Sub-1B Arabic Language Model via Vocabulary Injection and Edge-First Deployment

تقدم هذه الورقة البحثية نموذج RightNow-Arabic-0.5B-Turbo، وهو نموذج لغوي مفتوح المصدر متخصص في اللغة العربية بـ 518 مليون معلمة، تم بناؤه على نموذج Qwen2.5-0.5B من خلال حقن المفردات والضبط الدقيق المكثف، والذي يحقق أداءً هو الأفضل في فئته بين النماذج التي يقل عدد معلماتها عن مليار معلمة، مع تمكين النشر الفعال على الأجهزة الطرفية عبر التكميم إلى أقل من 400 ميجابايت.

المؤلفون الأصليون: Jaber Jaber, Osama Jaber

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jaber Jaber, Osama Jaber

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعداً آلياً صغيراً، ذكياً ومتعدد اللغات يدعى Qwen. إنه ضئيل الحجم وسريع، يتسع بسهولة في حاسوب محمول أو حتى هاتف، لكنه يتعامل مع اللغة العربية كواحدة من 100 لغة يعرف عنها القليل فقط. هو ليس طليقاً؛ بل يتلعثم ويحتاج إلى تقطيع الكلمات العربية إلى قطع صغيرة عديدة ومربكة ليفهمها.

على الطرف الآخر من الطيف، توجد روبوتات عربية عملاقة (مثل Jais أو SILMA). إنها بارعة للغاية وعميقة المعرفة، لكنها ضخمة وثقيلة جداً لدرجة أنها لا يمكنها العمل إلا في مراكز بيانات ضخمة ومكلفة. لا يمكنك وضعها في جيبك.

أما RightNow-Arabic-0.5B-Turbo فهو الحل "المثالي" (Goldilocks): روبوت ضئيل يتحدث العربية ببراعة، صُمم خصيصاً ليتسع في جيبك.

إليك كيف قام المؤلفون ببنائه، باستخدام تشبيهات بسيطة:

1. جراحة المفردات (إعطاء الروبوت قاموساً جديداً)

كان قاموس الروبوت الأصلي صغيراً جداً بالنسبة للغة العربية. كان عليه تقطيع الكلمات العربية إلى قطع صغيرة جداً، مما جعله بطيئاً وغير فعال.

الحل: أجرى الفريق "جراحة للمفردات". أخذوا قاموس الروبوت الحالي وحقنوا فيه 27,000 كلمة عربية جديدة مباشرة.
النتيجة: بدلاً من الحاجة إلى 2.18 قطعة صغيرة لوصف كلمة عربية واحدة، أصبح الروبوت الآن يحتاج فقط إلى 1.80 قطعة. الأمر يشبه الانتقال من روبوت يتهجى كل حرف من الكلمة إلى روبوت يتعرف على الكلمات الكاملة فوراً. هذا يجعل الروبوت أسرع بنسبة 17% عند التحدث بالعربية.

2. معسكرات التدريب (تعليم الروبوت)

لم يكتفِ الفريق بإعطاء الروبوت قاموساً جديداً فحسب؛ بل أرسلوه عبر ثلاثة معسكرات تدريبية مكثفة:

المعسكر 1: المكتبة (التدريب المسبق المستمر): أطعموا الروبوت 504 مليون جملة عربية من ويكيبيديا. كان هذا بمثابة إعطاء الروبوت دورة تدريبية مكثفة في قراءة الصحف والكتب العربية ليتعلم إيقاع وانسيابية اللغة.
المعسكر 2: الفصل الدراسي (الضبط الدقيق تحت الإشراف): علموا الروبوت كيف يكون مساعداً مفيداً. عرضوا عليه 129,000 مثال من الأسئلة والأجوبة. ومن الأهمية بمكان، أخبروا الروبوت: "لا تقلق بشأن جزء السؤال؛ فقط ركز على تعلم كيفية كتابة الإجابة". هذا جعله أفضل بكثير في اتباع التعليمات.
المعسكر 3: نادي المناظرة (تحسين التفضيل المباشر): عرضوا على الروبوت أزواجاً من الإجابات (واحدة جيدة وأخرى سيئة) وطلبوا منه اختيار الفائز. ومع ذلك، ولأن الروبوت صغير جداً، لم تساعد هذه الخطوة كثيراً بمفردها. كانت بيانات "التفضيل" مشوشة بعض الشيء، مثل محاولة تعليم طفل صغير تقييم الفنون الجمية.

3. "حساء الأوزان" (الخلطة السرية)

هذا هو الجزء الذكي. بما أن تدريب "نادي المناظرة" لم يعمل بشكل مثالي، لم يكتفِ الفريق باختيار النسخة النهائية من الروبوت فحسب. بدلاً من ذلك، أخذوا ثلاث نسخ مختلفة من الروبوت (النسخة بعد "المكتبة"، والنسخة بعد "الفصل الدراسي"، والنسخة بعد "نادي المناظرة") ومزجوها معاً.

التشبيه: تخيل أنك تصنع حساءً. تأخذ كوباً من روبوت "المكتبة"، وكوباً من روبوت "الفصل الدراسي"، ونصف كوب من روبوت "نادي المناظرة"، ثم تخلطهم.
النتيجة: صنع هذا "الحساء" روبوتاً نهائياً أكثر ذكاءً وتوازناً من أي نسخة بمفردها.

4. المنتج النهائي: ضئيل لكنه قوي

النتيجة هي نموذج يحتوي على 518 مليون معلمة (ضئيل مقارداً بالعمالقة الذين يمتلكون 7 مليارات أو 9 مليارات).

الحجم: عند ضغطه (كميّة/Quantization) ليتناسب مع الهاتف، يشغل مساحة 398 ميجابايت فقط. وهو أصغر من فيلم عالي الدقة.
السرعة: على شريحة حاسوب قوية، يمكنه توليد النصوص بسرعة 635 كلمة في الثانية. هذا يشبه بشراً يكتب بسرعة البرق.
الأداء:
- يتفوق على الروبوتات الضئيلة الأخرى (مثل Qwen الأصلي) في فهم اللغة العربية.
- يتعادل مع روبوت أكبر منه بثلاث مرات (Falcon-H1-1.5B) في مهام التفكير المنطقي الشائع.
- يستعيد 67% من ذكاء الروبوت العملاق (SILMA) الذي يبلغ حجمه 9 مليارات، رغم أنه أصغر منه بـ 18 مرة.

ما لا يستطيع فعله (القيود)

الورقة البحثية صريحة بشأن ما لا يستطيع هذا الروبوت الضئيل فعله:

سقف المعرفة: لا يمتلك معلومات بقدر الروبوتات العملاقة. إذا سألته أسئلة ثقافية معقدة (مثل مسابقة صعبة)، فسيخسر أمام نماذج الـ 7 مليار أو 9 مليار. إنه متخصص في اللغة، وليس موسوعة لـ الحقائق.
اللهجات: هو يتحدث "اللغة العربية الفصحى الحديثة" (اللغة الرسمية المستخدمة في الأخبار والكتب). إذا تحدثت إليه باللهجات المصرية، أو الخليجية، أو الشامية، فسيفهمك ولكنه سيرد بالفصحى. لم يتعلم لغة الشارع بعد.

الخلاصة

بنى المؤلفون أصغر روبوت مفتوح المصدر متخصص في العربية يعمل بشكل جيد حقاً. لقد أثبتوا أنك لا تحتاج إلى سوبر كمبيوتر لتشغيل مساعد عربي طليق؛ أنت فقط بحاجة إلى المفردات الصحيحة، ومزيج التدريب الصحيح، وقليل من سحر "الحساء". كل الأكواد، والأوزان، والوصفات متاحة الآن للجميع لاستخدامها.

ملخص تقني: RightNow-Arabic-0.5B-Turbo

بيان المشكلة

إن مشهد النماذج اللغوية الكبيرة (LLMs) العربية المفتوحة يعاني حالياً من استقطاب حاد. فمن جهة، هناك النماذج متعددة اللغات التي يقل حجمها عن مليار معلمة (مثل Qwen2.5-0.5B و Falcon-H1-0.5B) والتي تعامل اللغة العربية كلغة ثانوية، مما يؤدي إلى افتقارها لمفردات متخصصة أو بيانات تدريبية، وينتج عن ذلك "خصوبة توكن عالية" (ترميز غير فعال) وأداء منخفض. ومن جهة أخرى، هناك النماذج المتخصصة في العربية (مثل Jais و AceGPT و ALLaM و SILMA) التي يتراوح حجمها بين 7 إلى 70 مليار معلمة. وبينما تحقق هذه النماذج درجات قوية في الاختبارات المعيارية، إلا أنها تتطلب ذاكرة تتراوح بين 16 إلى 140 جيجابايت، مما يجعلها غير قابلة للوصول للنشر على الأجهزة الطرفية (Edge devices) مثل الهواتف، أو أجهزة الكمبيوتر المحمولة، أو الأجهزة المدمجة.

كانت محاولة سابقة لسد هذه الفجوة، وهي نموذج Kuwain-1.5B، قد اقترحت حقن المفردات (Vocabulary injection) لكنها لم تصدر أوزانها أبداً، مما ترك فراغاً لنموذج فك تشفير (Decoder) متخصص عربياً وبحجم أقل من مليار معلمة وقابل للنشر. تعالج هذه الورقة الحاجة إلى نموذج يوازن بين التخصص في اللغة العربية وبين قيود الذاكرة والحوسبة الصارمة للأجهزة الطرفية.

المنهجية

يقدم المؤلفون RightNow-Arabic-0B-Turbo، وهو نموذج فك تشفير (Decoder LLM) بـ 518 مليون معلمة مبني على قاعدة Qwen2.5-0.5B. تتكون سلسلة التدريب من خمس مراحل متميزة، تم تنظيمها لرفع الأداء إلى أقصى حد ضمن سقف حجم النموذج:

حقن المفردات (جراحة المرمز - Tokenizer Surgery):
- تم توسيع مرمز Qwen2.5-0.5B الأساسي (151,665 توكن) بإضافة 27,032 توكن عربي جديد.
- التهيئة: تم تهيئة تضمينات التوكنات الجديدة باستخدام تهيئة متوسط التوكنات الفرعية (mean-subtoken initialization) (متوسط تضمينات تفكيك التوكن الجديد إلى أجزاء من المفردات الأصلية)، وهي تقنية تمت صياغتها بواسطة WECHSEL وتبنتها نماذج Kuwain و ALLaM.
- النتيجة: أدى هذا إلى تقليل خصوبة التوكن العربية من 2.18 إلى 1.80 توكن لكل كلمة (تقليل بنسبة 17.3%)، مما خفض تكاليف الاستدلال بشكل مباشر.
التدريب المسبق المستمر (Continued Pretraining):
- تم تدريب النموذج مسبقاً على 504 مليون توكن من ويكيبيديا العربية.
- البنية التحتية: استخدم التدريب 8 وحدات معالجة رسومية من نوع H100 مع تقنية FSDP (Hybrid Sharding Zero2)، و FlashAttention varlen (لتجميع التسلسلات دون حشو)، و Liger fused kernels (لتحقيق كفاءة الذاكرة في RMSNorm و RoPE و SwiGLU و cross-entropy).
- التحسين: تم استخدام FSDP AdamW مع معدل تعلم ذروي قدره $2 \times 10^{-4}$ ، واضمحلال جيب التمام (cosine decay)، وإجمالي 10.5 مليار توكن تدريب.
الضبط الدقيق تحت الإشراف (SFT):
- تم ضبط النموذج بدقة باستخدام 129,116 زوجاً من التعليمات المستمدة من خمس مجموعات بيانات عربية مدمجة.
- قناع الخسارة (Loss Masking): من الناحية الجوهرية، تم حساب الخسارة فقط على توكنات استجابة المساعد، مع حجب (masking) المطالبة (prompt) لتركيز إشارة التعلم على توزيع التوليد.
تحسين التفضيل المباشر (DPO):
- خضع نسخة الـ SFT لعملية DPO على 6,750 زوجاً من التفضيلات العربية.
- الملاحظة: يشير المؤلفون إلى أن إشارة التفضيل كانت ضعيفة عند هذا الحجم، حيث ظل فقدان التدريب (training loss) بالقرب من $\ln 2$ وهامش المكافأة بالقرب من الصفر، مما يشير إلى أن حجم مجموعة البيانات أو جودتها (المترجمة آلياً) لم تكن كافية لدفع تحسن كبير بمفردها.
دمج "حساء الأوزان" (Weight Soup Merging):
- للتخفيف من ضعف إشارة DPO واستعادة القدرات، قام المؤلفون بدمج ثلاث نسخ: نسخة DPO، ونسخة SFT، ونسخة التدريب المسبق المستمر.
- الإعداد: أنتج "الحساء" الخطي بأوزان 50% لـ DPO، و25% لـ SFT، و25% للتدريب المسبق أفضل النتائج، حيث حسّن دقة المتوسط بمقدار 0.44 نقطة مطلقة عن نسخة DPO وحدها.
النشر الطرفي (Edge Deployment):
- تم تصدير النموذج النهائي إلى تنسيق llama.cpp GGUF.
- الكمية (Quantization): تم إنتاج أربعة مستويات (f16, q8_0, q5_k_m, q4_k_m). ونظراً لعدم توافق توسيع المفردات مع أحجام بلاطات k-quant، فإن عدد البتات الفعلي لكل وزن (bits-per-weight) لـ q4_k_m و q5_k_m هو 6.45 و 6.79 على التوالي، بدلاً من القيم الاسمية 4 و 5.

المساهمات الرئيسية

أصغر نموذج لغوي كبير متخصص عربياً ومفتوح المصامل: إصدار نموذج بـ 518 مليون معلمة مع أوزان متاحة للعموم، وهو الأول من نوعه على HuggingFace.
مسار عمل قابل لإعادة الإنتاج: مسار عمل كامل ومفتوح المصدر (5,555 سطراً من لغة بايثون عبر 25 سكربت) يفصل عملية حقن المفردات، وتحميل البيانات (لتجنب تعطل HuggingFace Hub عبر memmap)، والتدريب.
كفاءة المرمز (Tokenizer Efficiency): إثبات تقليل خصوبة التوكن العربية بنسبة 17.3%، مما يترجم إلى استدلال أسرع لنفس المحتوى الدلالي.
الاختبار المعياري: تقييم وجهاً لوجه ضد ستة نماذج منافسة في ثلاث مهام عربية (COPA-ar، و Arabic HellaSwag، و ArabicMMLU)، مما وضع خط أساس جديد للنماذج التي يقل حجمها عن مليار معلمة.
دراسة استقصائية للدمج (Ablation on Merging): تقييم منهجي لسبعة متغيرات من "حساء الأوزان"، مما حدد أن متوسط النسجات يحسن التعميم مقارنة بالاعتماد فقط على نهاية DPO.
الأداء الطرفي: إثبات تشغيل النموذج بسرعة 635 توكن/ثانية على وحدة H100 واحدة (حجم الدفعة 1) في حالة الكمية 4-بت، حيث يشغل 398 ميجابايت فقط على القرص.

النتائج التجريبية

تم التقييم باستخدام lm-evaluation-harness (v0.4.11):

أداء الفئة نفسها: تفوق RightNow-Arabic-0.5B-Turbo على جميع النماذج المفتوحة الأخرى التي يقل حجمها عن مليار معلمة (Qwen2.5-0.5B و Falcon-H1-0.5B) في اختبار COPA-ar (بفارق +4.5% و +13.5% على التوالي) وفي HellaSwag-ar. وحقق دقة متوسطة بلغت 35.9%، متفوقاً على النماذج متعددة اللغات الأساسية.
مقارنة التوسع (Scaling Comparison):
- يستعيد النموذج 67.1% من دقة المتوسط لنموذج SILMA-9B (نموذج بـ 9 مليارات معلمة) بينما يستخدم فقط 5.8% من المعلمات.
- يتساوى مع Falcon-H1-1.5B (نموذج بـ 1.5 مليار معلمة) في اختبار COPA-ar (بنسبة 58.4%) رغم امتلاكه ثلث عدد المعلمات فقط.
- كما هو متوقع، لا تزال هناك فجوة كبيرة في المهام كثيفة المعرفة (ArabicMMLU)، حيث يتأخر نموذج 0.5B عن نماذج 7B+ بمقدار 12-30 نقطة، مما يؤكد وجود "سقف معرفي" تفرضه عدد المعلمات.
سرعة الاستدلال: باستخدام llama.cpp على H100، يحقق النموذج المكمّم بـ 4-بت سرعة 635 توكن/ثانية عند حجم دفعة 1، وهو تسريع بمقدار 8 أضعاف مقار بتطبيقات HuggingFace generate() القياسية بفضل رسوم CUDA المحسنة وحلقات أخذ العينات بلغة C++.

الأهمية والادعاءات

تزعم الورقة أن RightNow-Arabic-0.5B-Turbo هو أصغر نموذج فك تشفير (decoder LLM) متخصص عربياً ومفتوح المصدر تم إصداره حتى الآن. تكمن أهميته في إثبات أن التنسيق الدقيق للتقنيات الموجودة — وتحديداً حقن المفردات، وحجب الخسارة للاستجابات فقط، ودمج "حساء الأوزان" — يمكن أن ينتج نموذجاً قابلاً للتشغيل على الأجهزة الطرفية دون الحاجة إلى نماذج تدريب جديدة.

يتسم المؤلفون بالتواضع بشأن قيود النموذج، حيث ذكروا صراحة ما يلي:

السقف المعرفي: لا يمكن للنموذج سد الفجوة في الاختبارات كثيفة المعرفة (مثل MMLU) مقابل نماذج 7B+؛ حيث يعد عدد المعلمات هو العامل المحدد للمعرفة العالمية.
القيود اللهجوية: تم تدريب النموذج على اللغة العربية الفصحى المعاصرة (MSA) وهو يؤدي بشكل ضعيف في اللهجات (المصرية، الخليجية، الشامية).
ضعف DPO: قدمت مرحلة DPO إشارة ضئيلة للغاية، مما يشير إلى أن ضبط التفضيل قد يتطلب مجموعات بيانات أكبر أو نماذج مرجعية أقوى ليكون فعالاً في النماذج التي يقل حجمها عن مليار معلمة.

يستهدف العمل فئة محددة من المستخدمين الذين يحتاجون إلى تخصص عربي على أجهزة ذات ذاكرة محدودة (هواتف، معالجات طرفية) حيث تكون النماذج التي تزيد عن 14 جيجابايت غير ممكنة، مما يوفر بديلاً عملياً ومفتوحاً للمشهد الحالي الذي يقوم على مبدأ "الكل أو لا شيء".