💬 NLP

ZAYA1-8B Technical Report

تقدم الورقة البحثية نموذج ZAYA1-8B، وهو نموذج استدلال من نوع (MoE) بـ 8 مليارات معلمة يتميز بكفاءة عالية، تم تدريبه بالكامل على بنية تحتية من شركة AMD، ويحقق أداءً هو الأفضل في فئته على معايير الرياضيات والبرمجة من خلال تسلسل تعزيز تعلم رباعي المراحل وطريقة حساب وقت الاختبار (RSA) الماركوفية المبتكرة، مما يقلص الفجوة بفعالية مع النماذج الأكبر حجماً بكثير.

المؤلفون الأصليون: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepal

نُشر 2026-05-08

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Robert Washbourne, Rishi Iyer, Tomas Figliolia, Henry Zheng, Ryan Lorig-Roach, Sungyeon Yang, Pritish Yuvraj, Quentin Anthony, Yury Tokpanov, Xiao Yang, Ganesh Nanduru, Stephen Ebert, Praneeth Medepalli, Skyler Szot, Srivatsan Rajagopal, Alex Ong, Bhavana Mehta, Beren Millidge

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للتقرير الفني لـ ZAYA1-8B، مترجم إلى لغة بسيطة مع تشبيهات إبداعية.

الصورة الكبيرة: عقل صغير بقوة خارقة

تخيل أن لديك طالباً صغيراً وذكياً للغاية يُدعى ZAYA1-8B. هذا الطالب لديه عقل يحتوي على 700 مليون عصبون نشط فقط (حجم صغير جداً بالنسبة للذكاء الاصطناوي)، لكنه جزء من "مدرسة" أكبر تضم 8 مليارات عصبون إجمالي.

عادةً، لحل المسائل الرياضية الصعبة أو كتابة أكواد برمجية معقدة، تحتاج إلى عقل ضخم (مثل نموذج ذكاء اصطناعي هائل بمليارات المعلمات/Parameters). ZAYA1-8B مميز لأنه، رغم صغره، يمكنه حل هذه المشكلات الصعبة بنفس كفاءة، أو حتى أفضل من، الطلاب "العباقرة" الأكبر منه حجماً.

كيف؟ من خلال استخدام ثلاثة أسلحة سرية: طريقة تفكير جديدة، ومعسكر تدريبي خاص، وطريقة فريدة لمراجعة عمله الخاص.

1. البنية الهيكلية: فريق متخصص

معظم نماذج الذكاء الاصطناعي تشبه شخصاً واحداً يحاول القيام بكل شيء بمفرده. أما ZAYA1-8B فقد بُني مثل فريق متخصص باستخدام تقنية "خليط من الخبراء" (Mixture of Experts - MoE).

الفريق: تخيل فصلاً دراسياً به 16 معلماً مختلفاً (خبراء). عندما يأتي سؤال، يقوم "الموجه" (مراقب الفصل) بتحديد المعلم الأنسب للإجابة عليه.
المراقب الجديد (ZAYA1 Router): في النماذج القديمة، كان المراقب يتبع قواعد بسيطة. أما ZAYA1-8B فيستخدم مراقباً أذكى متعدد الطبقات يتخذ قرارات أفضل بشأن من يجب أن يُدرّس، مما يضمن أن يتعامل الخبير المناسب مع المهمة في كل مرة.
المكتبة المضغوطة (CCA): لقراءة الكتب الطويلة أو تذكر القصص الطويلة، يستخدم النموذج نظام "مكتبة مضغوطة". بدلاً من حمل كل صفحة من الكتاب في رأسه، يقوم بتخزين نسخة ملخصة ومضغوطة توفر المساحة والطاقة ولكنها تحتفظ بجميع التفاصيل المهمة. هذا يسمح له بالتعامل مع محادثات طويلة جداً دون أن يشعر بالإرهاق.

2. التدريب: التعلم كيف يفكر قبل أن يتحدث

يصف البحث عملية تدريب فريدة مصممة لتحويل هذا الطالب إلى آلة استنتاج وتفكير.

القص (المحافظ على الإجابة): غالباً ما يكون لدى المعلمين شروحات طويلة ومفصلة (مسارات الاستنتاج) تكون أطول من أن تسع في صفحة واحدة من الكتاب المدرسي. وبدلاً من قطع منتصف القصة (مما قد يفسد المنطق)، يستخدم ZAYA1-8B خدعة خاصة: إنه يقطع نهاية الشرح ولكن يحتفظ بالإجابة النهائية. هذا يعلم النموذج كيفية التخطيط والتفكير، حتى لو كانت عملية التفكير الكاملة طويلة جداً بحيث لا تسع في دفعة واحدة.
المعسكر التدريبي ذو المراحل الأربع: بعد تعلم الأساسيات، مر النموذج بمعسكر تدريبي صارم لـ "التعلم المعزز" (Reinforcement Learning - RL):
1. الإحماء: حل الألغاز والمسائل الرياضية السهلة للتعود على التفكير بعمق.
2. النادي الرياضي: بيئة مخصصة تحتوي على 400 مولد للألغاز تزداد صعوبة كلما أصبح النموذج أفضل.
3. الحدث الرئيسي: مواجهة تحديات حقيقية في الرياضيات والبرمجة، بما في ذلك مرحلة خاصة تسمى "حوسبة وقت الاختبار" (Test-Time Compute - TTC) حيث يتعلم توليد عدة إجابات محتملة واختيار الأفضل بينها.
4. التلميع: مرحلة نهائية لتعلم كيفية الدردشة بأدب واتباع التعليمات، مثل المساعد الجيد.

3. السر الخفي: "Markovian RSA" (التفكير الجماعي)

هذا هو الجزء الأكثر ابتكاراً في البحث. عادةً، عندما يحل الذكاء الاصطناعي مسألة صعبة، فإنه يحاول التفكير في الإجابة في تدفق واحد مستمر وطويل. إذا أصبح هذا التدفق طويلاً جداً، يصاب الذكاء الاصطناعي بالارتباك.

يستخدم ZAYA1-8B طريقة تسمى Markovian RSA. فكر في الأمر مثل سباق تتابع مع لمسة إضافية:

السباق: بدلاً من عداء واحد يحاول ركض ماراثون كامل، يرسل النموذج 16 عداءً (مرشحين) في نفس الوقت.
التسليم: يركض كل عداء لمسافة قصيرة وآمنة (نهاية/ذيل بطول 4,000 كلمة). هم لا يحملون تاريخ السباق بأكل، بل يمررون فقط آخر خطواتهم (الذيل) إلى الجولة التالية.
التجميع: ينظر "مدرب" إلى الخطوات الأخيرة لجميع العدائين الـ 16، ويجمع أفضل الأفكار، ثم يرسلها لجولة أخرى.
النتيجة: من خلال تقسيم عملية التفكير إلى أجزاء صغيرة يمكن إدارتها وجعل الفريق يصوت على أفضل مسار، يمكن لـ ZAYA1-8B حل مسائل رياضية صعبة للغاية (مثل مسابقات AIME و HMMT) التي تتطلب عادةً عقولاً أكبر بكثير.

التشبيه: تخيل محاولة حل لغز صور مقطوعة (Jigsaw Puzzle) ضخم.

الطريقة القديمة: شخص واحد يحاول الاحتفاظ باللغز كاملاً في رأسه في وقت واحد، فيشعر بالارتباك.
طريقة ZAYA1-8B: ترسل 16 شخصاً للعمل على أقسام صغيرة. هم يمررون فقط بضع قطع من قسمهم إلى المجموعة التالية. تقوم المجموعة بدمج هذه القطع الصغيرة لبناء الصورة الكاملة. هذا أسرع، ويستهلك ذاكرة أقل، ويعطي نتيجة أفضل.

4. الأجهزة: مبني على AMD

تم تدريب النموذج بالكامل باستخدام رقائق كمبيوتر AMD (تحديداً وحدات معالجة الرسومات MI300X). وهذا أمر مهم لأنه يثبت أنك لست بحاجة إلى أكثر الرقائق تكلفة وحصرية لتدريب نماذج استنتاج رفيعة المستوى. لقد أظهر الفريق أنه مع الإعداد البرمجي والعتادي الصحيح، يمكن لرقائق AMD تحمل العبء الثقيل لتدريب ذكاء اصطناعي معقد.

5. النتائج: صغير ولكن قوي

يدعي البحث أنه مع هذا الإعداد:

ZAYA1-8B (بـ 0.7 مليار معلمة نشطة فقط) يتفوق على أو يضاهي DeepSeek-R1 (الذي يمتلك 37 مليار معلمة نشطة) في اختبارات الرياضيات والبرمجة.
عند استخدام طريقة التفكير الجماعي "Markovian RSA"، فإنه يحصل على درجات في مسابقات الرياضيات الصعبة تقترب جداً من النماذج الضخمة والمكلفة مثل Gemini-2.5 Pro و GPT-5-High.

الملخص

ZAYA1-8B هو ذكاء اصطناعي صغير وفعال يثبت أنك لا تحتاج إلى عقل ضخم لتكون عبقرياً. من خلال استخدام هيكل فريق ذكي، وطريقة تدريب خاصة تحافظ على الإجابات، واستراتيجية "سباق التتابع الجماعي" للتفكير، يمكنه حل أصعب المسائل الرياضية والبرمجية مع استخدام جزء بسيط من القدرة الحوسبية لمنافسيه الأكبر حجماً.

ملخص تقني: ZAYA1-8B

1. بيان المشكلة

تتناول الورقة البحثية تحدي تحقيق قدرات استدلال رياضية وبرمجية عالية المستوى في النماذج اللغوية الكبيرة دون الاعتماد على أعداد هائلة من المعلمات (parameters). بينما تستخدم النماذج الرائدة غالبًا مئات المليارات من المعلمات، هناك حاجة لتحديد ما إذا كان يمكن تحقيق استدلال تنافسي بمعلمات نشطة أقل بكثير من خلال الابتكار الهيكلي، والتدريب المكثف على الاستدلال، واستراتيجيات الحوسبة في وقت الاختبار (TTC) الفعالة. وتحديدًا، يبحث المؤلفون فيما إذا كان يمكن لنموذج يمتلك أقل من مليار معلمة نشطة أن يضاهي أو يتجاوز أداء النماذج الأكبر حجمًا والأكثر شهرة (open-weight) والنماذج المملوكة (proprietary) في اختبارات مثل AIME وHMMT.

2. المنهجية

البنية: Zyphra MoE++

إن ZAYA1-8B هو نموذج خليط من الخبراء (MoE) يمتلك 8 مليارات معلمة إجمالية و700 مليون معلمة نشطة. ويقدم ثلاثة تعديلات هيكلية رئيسية على تصميمات Transformer MoE القياسية:

الانتباه التلافيفي المضغوط (CCA): يستبدل الانتباه القياسي بمسقط تلافيفي (convolutional downprojector) خفيف الوزن لأداء خلط التسلسل في مساحة كامنة مضغوطة. هذا يقلل من العمليات الحسابية (FLOPs) وحجم ذاكرة الـ KV-cache، مما يتيح تدريب واستدلال فعال للسياقات الطويلة.
موجه ZAYA1 (ZAYA1 Router): يستبدل الموجه الخطي القياسي بتصميم يعتمد على MLP متعدد الطبقات معزز بمتوسط العمق الأسي (EDA). هذا يزيد من القدرة التعبيرية للتوجيه، ويحسن تخصص الخبراء، ويستقر عملية توازن الحمل دون زيادة كبيرة في عدد المعلمات.
التحجيم المتبقي المتعلم (Learned Residual Scaling): يطبق معاملات انحياز وبوابات متعلمة على التدفق المتبقي (residual stream) ومخرجات الطبقات للتحكم في نمو الـ residual-norm عبر العمق، مما يمنع تلاشي التدرج بتكلفة ضئيلة من المعلمات.

خط التدريب (Training Pipeline)

تم تدريب النموذج من الصفر على منصة حوسبة AMD كاملة (وحدات معالجة رسومية MI300X وشبكات Pensando Pollara). تتكون عملية التدريب من:

التدريب المسبق والمتوسط (Pretraining & Midtraining): يتضمن بيانات الاستدلال (سلاسل التفكير الطويلة - long Chain-of-Thought) منذ البداية. تُستخدم آلية التقليم الحافظ للإجابة (AP Trimming) المبتكرة للتعامل مع آثار الاستدلال التي تتجاوز نافذة السياق. تقوم هذه الطريقة بقطع ذيل أثر الاستدلال مع الحفاظ على الإجابة النهائية، مما يسمح للنموذج بالتعلم من بيانات CoT الطويلة حتى عند أطوال سياق أقصر (4K، 32K، و131K).
الضبط الدقيق تحت الإشراف (SFT): تم إجراؤه عند طول سياق 131K، مع التركيز على الدردشة، اتباع التعليمات، البرمجة، الرياضيات، وأمثلة التجميع لاستخدام الحوسبة في وقت الاختبار.
تتابع التعلم التعزيزي (RL Cascade): خط معالجة لاحق مكون من أربع مراحل:
1. الإحماء للاستدلال (Reasoning Warmup): الرياضيات، الألغاز، وآثار TTC.
2. منهج RLVE-Gym: 400 بيئة تشبه الألغاز التكيفية مع صعوبة تمت معايرتها باستخدام معدل نجاح 0.5 عبر Thompson Sampling وIRT.
3. الرياضيات + البرمجة + TTC: مرحلتان تجمعان بين رياضيات الأولمبياد، البرمجة التنافسية، ومطالبات وقت الاختبار. يتضمن ذلك بيئات برمجية اصطناعية (توقع الإدخال/الإخراج، إعادة البناء، والتفنيد).
4. التعلم التعزيزي السلوكي (Behavioral RL): المرحلة النهائية لأسلوب الدردشة واتباع التعليمات.

يستخدم خط RL تقنية PipelineRL للتدريب غير المتزامن، و DPPO Binary-TV لتقنيات قناع منطقة الثقة، و Dr-GRPO لتجميع الخسارة، و MaxRL لتقدير الميزة. والأهم من ذلك، طبق المؤلفون تقنية إعادة تشغيل الموجه (Router Replay)، حيث يعيد المدرب استخدام قرارات توجيه الخبراء من محرك التمرير (rollout engine) لمنع عدم تطابق الـ logits الخاص بـ MoE الذي قد يزعزع استقرار التدريب.

حوسبة وقت الاختبار: Markovian RSA

تقدم الورقة البحثية Markovian RSA، وهي طريقة لحوسبة وقت الاختبار تجمع بين التجميع الذاتي المتكرر (RSA) ومبدأ مساحة العمل المحدودة لـ Markovian Thinking.

الآلية: يقوم النموذج بتوليد $N$ من آثار الاستدلال المرشحة بالتوازي. بدلاً من تمرير السلاسل الكاملة إلى جولة التجميع التالية (مما يؤدي لزيادة السياق خطياً)، فإنه يمرر فقط آخر $\tau$ من الرموز (الذيل) لكل أثر.
الكفاءة: هذا يحصر حجم سياق التجميع ( $C \times \tau$ ) بغض النظر عن ميزانية الاستدلال لكل تمرير ( $\beta$ )، مما يسمح باستدلال عميق دون انفجار تكاليف الانتباه (attention costs).
التكامل مع التدريب: تم تدريب النموذج على أمثلة التجميع المستمدة من التمريرات الخبيرة (SFT) والتمريرات الذاتية (RL)، مما يضمن تعلمه كيفية تجميع ذيول المرشحين بفعالية.

3. المساهمات الرئيسية

نموذج ZAYA1-8B: نموذج MoE بـ 0.7 مليار معلمة نشطة و8 مليارات معلمة إجمالية يحقق أداء استدلال تنافسي.
Markovian RSA: طريقة TTC مبتكرة تتيح صقل الاستدلال المتكرر بسياق محدود، مما يفصل عمق الاستدلال عن حجم نافذة السياق.
التقليم الحافظ للإجابة (Answer-Preserving Trimming): تقنية لبناء البيانات تتيح استخدام بيانات CoT الطويلة في سياقات التدريب المسبق/المتوسط الأقصر من طول الأثر.
استقرار تدريب RL لنموذج MoE: يوضح ضرورة تقنية Router Replay وإعدادات الدقة المحددة (BF16 مع عمليات مختارة بـ FP32) لاستقرار PipelineRL في نماذج MoE.
التحقق من منصة AMD: التحقق من جاهزية منصة AMD الكاملة (MI30X وPollara networking) لتدريب نماذج MoE واسعة النطاق وسياقات طويلة.

4. النتائج

عند تقييمه باستخدام مقياس Zyphra، أظهر ZAYA1-8B الأداء التالي:

أداء التمرير الواحد (Single-Rollout): يضاهي أو يتجاوز DeepSeek-R1-0528 (37 مليار معلمة نشطة / 671 مليار إجمالية) في عدة معايير، بما في ذلك AIME'26 (89.1% مقابل 87.5%) و HMMT'26 (71.6% مقابل 79.4% - ملاحظة: DeepSeek-R1-0528 سجل 79.4% في الجدول XI، ولكن 79.4% في النص مقابل 71.6% لـ ZAYA1؛ ومع ذلك، تدعي الورقة أن ZAYA1 يضاهي أو يتجاوز DeepSeek-R1-0528 في عدة معايير، ويظهر الجدول VIII أن ZAYA1 حقق 89.1 مقابل 87.5 لـ DeepSeek-R1-0528 في AIME'26). وهو تنافسي مع نماذج أكبر مثل Nemotron-3-Nano-30B-A3B و Qwen3-Next-80B-A3B-Think.
أداء حوسبة وقت الاختبار (TTC): باستخدام Markovian RSA (ميزانية استدلال 40K، وذيل 4K)، وصل ZAYA1-8B إلى 91.9% في AIME'25 و 89.6% في HMMT'25. وهذا يقلص الفجوة مع النماذج المملوكة الأكبر حجماً، بما في ذلك Gemini-2.5 Pro، و DeepSeek-V3.2، و GPT-5-High.
كفاءة التوسع: حقق النموذج هذه النتائج بـ 0.7 مليار معلمة نشطة فقط، مما يشير إلى أن عدد المعلمات النشطة والرموز المولدة في وقت الاستمرار هما محوران متكاملان للتوسع.

5. الأهمية والادعاءات

تدعي الورقة أن الاستدلال الرياضي التنافسي يمكن تحقيقه بأقل من مليار معلمة نشطة عندما يتم تصميم بنية النموذج، والتدريب المكثف على الاستدلال، والتعلم التعزيزي القابل للتحقق، وتجميع وقت الاختبار بشكل مشترك.

الكفاءة: يثبت ZAYA1-8B أن نماذج MoE ذات المعلمات النشطة الصغيرة يمكنها استغلال حوسبة وقت الاختبار للاقتراب من أداء النماذج ذات النطاق الرائد، مما يقدم مقايضة مواتية لتكلفة (عدد المعلمات النشطة $\times$ الرموز المولدة).
تصميم التدريب: تسلط النتائج الضوء على أهمية التدريب على سير عمل الاستدلال المحدد (Markovian RSA) والدور الحاسم لآليات الاستقرار مثل Router Replay في تدريب MoE.
الأجهزة: يعد هذا العمل بمثابة تحقق من منصة AMD الكاملة لتدريب نماذج MoE الاستدلالية المعقدة.
القصور: يشير المؤلفون إلى أنه بينما يتفوق النموذج في الاستدلال والبرمجة، فإنه يتراجع أمام النماذج ذات التعلم التعزيزي الوكيل متعدد الخطوات (multi-turn agentic RL) في اختبارات مثل BFCL-v4 و $\tau^2$ . بالإضافة إلى ذلك، رغم قوته في مقاييس المعرفة (MMLU-Pro, GPQA) مقارنة بحجمه، فإنه لا يغلق الفجوة تمامًا مع النماذج الأكبر بكثير، وهو ما يتماشى مع الحدس بأن الاستدلال وتخزين الحقائق يتوسعان بشكل مختلف.

تخلص الورقة إلى أن حوسبة وقت الاختبار هي مسار واعد للنماذج الأصغر المخصصة للاستدلال، بشرط أن يتم تدريبها على استخدام تدفقات التجميع وأن تمتلك بنى تدعم معالجة السياق الطويل بكفاءة.