ملخص تقني: Mellum 2

بيان المشكلة

يواجه مشهد نماذج اللغات الكبيرة (LLMs) ذات الأوزان المفتوحة والمخصصة لهندسة البرمجيات مقايضة بين الجودة وتكلفة النشر. فالنماذج الكثيفة (Dense models) في نطاق 4 إلى 14 مليار معلمة (parameter) تكون فعالة من حيث التكلفة في الخدمة، لكنها غالبًا ما تصل إلى مرحلة الثبات (plateau) أمام مهام البرمجة والاستدلال المعقدة. وفي المقابل، تحقق نماذج خليط الخبراء (MoE) الضخمة جدًا جودة رائدة، لكنها تفرض تكاليف نشر ترهق الاستخدام اليومي. التحدي يكمثل في إنشاء نموذج يستوعب "الذيل الطويل" من المعرفة البرمجية وقدرات الاستدلال، مع الحفاظ على تكلفة حوسبة لكل توكن (token) مماثلة لنموذج كثيف يتكون من 2 إلى 3 مليار معلمة، مما يتيح النشر العملي على الأجهزة الشائعة (تحديدًا وحدات H100 GPU المنفردة) ضمن بيئات تطوير البرمجيات (IDEs) الحساسة لزمن الاستجابة (latency).

المنهجية

تصميم البنية التحتية

Mellum 2 هو نموذج Transformer من نوع "decoder-only" بـ 12 مليار معلمة، يستخدم بنية خليط الخبراء (MoE) مع 2.5 مليار معلمة نشطة لكل توكن. تم اشتقاق التصميم من وصفة Qwen3-MoE ولكن مع تعديله بثلاث تحسينات محددة موجهة للنشر، والتي تم التحقق منها عبر دراسات الاستبعاد (ablation studies):

• تكوين الخبراء: يستخدم النموذج 64 خبيرًا إجماليًا مع 8 خبراء نشطين لكل توكن (توجيه top-8). تم اختيار هذا التكوين كأفضل مقايضة بين زمن استجابة الاستدلال وجودة النموذج، مما يسمح للنموذج بالتوسع إلى حوالي 12 مليار معلمة إجمالية مع مطابقة زمن استجابة نموذج أساسي كثيف بقدر 7 مليارات معلمة.
• انتباه الاستعلام المجموع (GQA): لتحسين الإنتاجية تحت ظروف التزامن العالي، يستخدم النموذج 4 رؤوس KV فقط (انخفاضًا عن التكوينات القياسية). أظهرت دراسات الاستبعاد أن استخدام 8 رؤوس أدى إلى تدهور الإنتاجية بشكل كبير، بينما أثر استخدام رأسيْن على الجودة.
• انتباه النافذة المنزلقة (SWA): لتقليل زمن الاستجابة دون التضحية بالسياق طويل المدى، يتم تطبيق SWA على 3 من كل 4 طبقات مع حجم نافذة قدره 1,024 توكن. الطبقات المتبقية تستخدم الانتباه الكامل (full attention).
• التنبؤ متعدد التوكنات (MTP): يتنبأ رأس MTP مساعد واحد بالتوكن التالي بالإضافة إلى هدف التنبؤ بالتوكن التالي القياسي. يعمل هذا الرأس بغرض مزدوج: كهدف مساعدة في مرحلة ما قبل التدريب، وكنموذج مسودة مدمج لفك التشفيد التخميني (speculative decoding) أثناء الاستدلال.

ما قبل التدريب

تم تدريب النموذج مسبقًا على حوالي 10.6 تريليون توكن باستخدام منهج ثلاثي المراحل ينقل مزيج البيانات تدريجيًا من محتوى الويب المتنوع إلى المحتوى البرمئي والرياضي المنسق:

1. التأسيس (58% من التوكنات): 70% معرفة عامة/ويب، 23% برمجة، 6% رياضيات.
2. رفع الجودة (26.2%): 44% ويب، 42% برمجة، 14% رياضيات. يقدم مجموعات بيانات منسقة عالية الجودة.
3. شحذ القدرات (15.9%): 23% ويب، 59% برمجة، 18% رياضيات. يركز على بيانات البرمجة والاستدلال الاصطناعية عالية الجودة أثناء مرحلة اضمحلال معدل التعلم.

استخدم التدريب محسن Muon مع دقة مختلطة هجينة من نوع FP8 وجدول تعلم بنمط Warmup-Hold-Decay (WHD). تضمنت خط أنابيب البيانات هدف "الملء في المنتصف" (FIM) لإكمال الأكواد، مع اختلاف معدلات FIM حسب المرحلة (50% في المرحلة الأولى، 10% في المرحلة الثانية، و50% مقتصرة على البرمجة في المرحلة الثالثة).

تمديد السياق الطويل

تم تمديد سياق النموذج الأساسي من 8,192 توكن إلى 131,072 توكن (128K) باستخدام layer-selective YaRN. تطبق هذه الطريقة إعادة رسم التردد فقط على الطبقات العالمية (full-attention)، تاركةً طبقات النافذة المنزلقة بمعاملات RoPE الأصلية. وجد أن هذا النهج يتفوق على توسيع RoMA الموحد أو ترك المعاملات دون تغيير.

ما بعد التدين

تم إنتاج متغيرين من النموذج ذو السياق الطويل:

1. Instruct (التعليمات): مساعد عام يجيب مباشرة.
2. Thinking (التفكير): مساعد معزز بالاستدلال يصدر سلسلة من الأفكار (chain of thought) صريحة قبل الإجابة النهائية.

خضع كلا المتغيرين لضبط دقيق موجه (SFT) متبوعًا بالتعلم التعزيزي بالمكافآت القابلة للتحقق (RLVR). استخدمت مرحلة RL نسخة من GRPO (تحسين السياسة النسبي للمجموعات) مع عمليات تدفق غير متزامنة وآليات استقرار محددة (IcePop truncation) للتعامل مع عدم التطابق بين التدريب والاستدلال في موجهات MoE. كانت إشارات المكافأة قابلة للتحقق برمجياً (مثل اختبارات الوحدة للأكواد، والتحقق الرمزي للرياضيات)، مما ألغى الحاجة إلى نموذج مكافأة منفصل.

المساهمات الرئيسية

• بنية واعية بالكفاءة: تكوين MoE بـ 12 مليار معلمة إجمالية و2.5 مليار معلمة نشطة، يطابق أو يتجاوز إنتاجية نموذج Qwen2.5-7B الكثيف على وحدة H100 GPU واحدة مع توفير مساحة أكبر للمعلمات.
• منهج ما قبل تدريب ثلاثي المراحل: تحول منهجي من بيانات الويب إلى البرمجة والرياضيات المنسقة (23% ← 42% ← 59% نسبة البرمجة) عبر 10.6 تريليون توكن، مُحسَّن باستخدام Muon وFP8.
• وصفة تدريب بمقياس الإنتاج: دمج Muon، والدقة الهجينة FP8، وجدول WHD مع اضمحلال خطي إلى الصفر، مما أظهر استقرارًا عبر دورة التدريب الكاملة.
• تمديد السياق الطويل: التمديد الناجح إلى سياق 128K باستخدام layer-selective YaRN، والذي تم التحقق منه عبر اختبارات RULER.
• متغيرات مزدوجة: إصدار كل من متغيرات "Instruct" و"Thinking"، وكلاهما تم صقله عبر RLVR على المهام الرياضية والبرمجية القابلة للتنفيذ.
• إصدار مفتوح: توافر نسخ Base وInstruct وThinking تحت رخصة Apache 2.0.

النتائج

عبر الاختبارات التي تشمل توليد الكود، الرياضيات، الاستدلال، استخدام الأدوات، والسلامة، يُظهر Mellum 2 تنافسية مع النماذج مفتوحة الأوزان في نطاق 4-14 مليار معلمة:

• توليد الكود: يحقق متغير Instruct المدرب بـ RL نسبة 78.4% في EvalPlus (متوسط HumanEval+ وMBPP+)، متفوقًا على Qwen3.5-9B (71.8%) وSeed-Coder-8B (73.8%). ويصل متغير Thinking إلى 75.1% في LiveCodeBench v6، وهو أعلى درجة في لوحة المقارنة الخاصة به.
• الاستدلال والرياضيات: يحقق Mellum 2 نسبة 59.3% في MMLU-Pro (متجاوزًا 48.6% لـ Qwen2.5-7B) و74.9% في BBH. وفي GSM-Plus، يصل متغير Thinking إلى 87.0%، وهو ما يضاهي النماذج الأكبر حجمًا.
• استخدام الأدوات: يتصدر متغير Thinking لوحة المقارنة في BFCL v4 (القدرات الوكيلية) بنسبة 45.6%، متفوقًا على عائلة Qwen3.5.
• الكفاءة: في وضع الطلب الفردي (sync)، يطابق Mellum 2 نموذج Qwen2.5-7B بسرعة ~193 توكن/ثانية. وفي وضع التزامن العالي (throughput)، يحقق 5,179 توكن/ثانية، وهو تحسن بنسبة 21% عن Qwen2.5-7B و79% عن Qwen3-8B.
• القيود: يُظهر النموذج مقايضة متعمدة في المعرفة الواسعة بالعالم (MMLU-Redux وGPQA Diamond)، حيث يتراجع عن سلسلة Qwen3.5، مما يعكس التركيز التدريبي على البرمجة والوثائق التقنية. وتُظهر مقاييس السلامة "ضريبة محاذاة" (alignment tax) معروفة حيث تزيد عملية تدريب RL من معدلات المحتوى الضار قليلًا مقارنة بمرحلة SFT.

الأهمية

تضع هذه الورقة Mellum 2 كحل عملي مفتوح الأوزان لمجال هندسة البرمجيات، مما يثبت أن بنية MoE المصممة بعناية يمكن أن تقدم قدرات رائدة في البرمجة والاستدلال بجزء بسيط من تكلفة استدلال النماذج الكثيفة ذات الأداء المماثل. من خلال الالتزام الصارم بقيد ميزانية الاستدلال أثناء التصميم المعماري (مطابقة زمن استجابة Qwen2.5-7B)، يوضح المؤلفون أنه من الممكن توسيع إجمالي المعلمات بشكل كبير (إلى 12 مليار) دون التضحية بإمكانية النشر على الأجهزة الشائعة. إن إصدار متغيرات "Thinking" و"Instruct"، جنباً إلى جنب مع التقرير التقني المفصل حول وصفة التدريب وخط أنابيب البيانات، يهدف إلى تزويد المجتمع بنقطة تصميم قابلة للتكرار لنماذج البرمجة الصغيرة من نوع MoE.