💻 computer science

Yuan3.0 Ultra: A Trillion-Parameter Enterprise-Oriented MoE LLM

تقدم هذه الورقة البحثية Yuan3.0 Ultra، وهو نموذج لغوي كبير مفتوح المصدر بنظام "خليط الخبراء" (Mixture-of-Experts) يضم تريليون معلمة، يستخدم خوارزمية مبتكرة لتقليم الخبراء المتكيف مع الطبقات (Layer-Adaptive Expert Pruning) لتحسين كفاءة ما قبل التدريب بشكل كبير وتقليل حجم النموذج مع تحقيق أداء رائد في المعايير الموجهة للمؤسسات.

المؤلفون الأصليون: YuanLab. ai, :, Shawn Wu, Jiangang Luo, Darcy Chen, Sean Wang, Louie Li, Allen Wang, Xudong Zhao, Tong Yu, Bach Li, Joseph Shen, Gawain Ma, Jasper Jia, Marcus Mao, Claire Wang, Hunter He, Carol Wang

نُشر 2026-03-06

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: YuanLab. ai, :, Shawn Wu, Jiangang Luo, Darcy Chen, Sean Wang, Louie Li, Allen Wang, Xudong Zhao, Tong Yu, Bach Li, Joseph Shen, Gawain Ma, Jasper Jia, Marcus Mao, Claire Wang, Hunter He, Carol Wang, Zera Zhang, Jason Wang, Chonly Shen, Leo Zhang, Logan Chen, Qasim Meng, James Gong, Daniel Zhao, Penn Zheng, Owen Zhu

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مطبخاً ضخماً وعالي التقنية مصمماً لطهي ملايين الوجبات المختلفة (الإجابات على الأسئلة) لسلسلة مطاعم ضخمة (عالم الشركات).

في الماضي، كانت هذه المطابخ تواجه مشكلة: كانت توظف 1,000 طباخ (خبراء) للعمل في المطبخ، ولكن لكل طلب، كان طباخان اثنان فقط يقومان بالطهي فعلياً. المشكلة هي أن مدير المطبخ (موجه الذكاء الاصطنا-الـ Router) كان يستمر في إرسال الطلبات إلى نفس الـ 50 طباخاً المشهورين، بينما كان الـ 950 الآخرون واقفين بلا حراك، يحدقون في الجدار. هذا أدى إلى هدر الأموال (على الرواتب/قوة الحوسبة) وأبطأ عمل المطبخ بأكمله لأن الطهاة المشغولين كانوا مثقلين بالأعباء، بينما كان الطهاة العاطلون عن العمل مجرد مساحة ضائعة.

Yuan3.0 Ultra هو تصميم مطبخ جديد وأكثر ذكاءً يحل هذه المشكلة باستخدام تقنية تسمى تقليم الخبراء المتكيف مع الطبقات (LAEP).

إليك كيف يعمل ذلك، مقسماً إلى مفاهحات بسيطة:

1. مشكلة "الطباخ المشغول مقابل الطباخ العاطل"

في الطريقة القديمة لبناء الذكاء الاصطناعي (خليط الخبراء - Mixture-of-Experts)، يكون النظام مثل فريق ضخم من المتخصصين.

المشكلة: أثناء التدريب، يصبح الذكاء الاصطناي كسولاً بطبيعته. فهو يتعلم الاعتماد على عدد قليل من "الطهاة الخارقين" الذين يجيدون كل شيء، بينما يتجاهل مئات الطهاة الآخرين الذين لا يحصلون على فرصة للطهي أبداً.
النتيجة: المطبخ ضخم، ومكلف، وغير فعال. أنت تدفع رواتب لـ 1,000 طباخ ولكنك تستخدم 50 منهم فقط بفعالية.

2. الحل: LAEP (المدير الذكي)

قدم الباحثون مديراً جديداً يسمى LAEP. بدلاً من الانتظار حتى يتم بناء المطبخ بالكامل ليعمل على طرد الموظفين (وهو ما تفعله الشركات الأخرى)، يقوم LAEP بمراقبة المطبخ أثناء بنائه.

المرحلة الأولى: المراقبة. في الأيام الأولى، يكون المطبخ فوضووياً. الطهاة يتحركون بشكل عشوائي.
المرحلة الثانية: النمط. بعد فترة، يظهر نمط معين. يلاحظ المدير أن الطباخ رقم 42 مزدحم دائماً، لكن الطهاة من رقم 800 إلى 900 لم يلمسوا مقلاة منذ أسابيع.
المرحلة الثالثة: القطع. يقول LAEP: "نحن لا نحتاج إلى هؤلاء الـ 100 طباخ العاطلين". فيقوم بطردهم (تقليمهم) ويعيد تنظيم الطهاة المتبقين بحيث يتم توزيع عبء العمل بشكل مثالي.
السحر: من خلال طرد الطهاة غير المفيدين أثناء التدريب، يصبح المطبخ أصغر بنسبة 33% (مما يوفر مبالغ ضخمة من المال والمساحة) ولكنه في الواقع أسرع بنسبة 49% لأن الطهاة المتبقين لا يتصارعون على المساحة أو ينتظرون الطلبات.

3. الترقية "للتفكير السريع" (RIRM)

بمجرد بناء المطبخ، أراد الفريق التأكد من أن الطهاة لا يبالغون في التفكير في وصفاتهم.

المشكلة: أحياناً، عندما يُسأل الذكاء الاصطناعي سؤالاً رياضياً صعباً، يبدأ في "التفكير بصوت عالٍ" لمدة 20 دقيقة، ويكتب 50 صفحة من الملاحظات قبل إعطاء الإجابة. هذا ما يسمى "الإفراط في التفكير".
الحل: أضافوا قاعدة جديدة تسمى تثبيط التأمل (RIRM). تخيل الأمر كأن رئيس طهاة صارم ينقر على كتف الطباخ ويقول له: "توقف عن الكتابة! لقد فكرت في هذا بما يكفي. أعطني الإجابة الآن".
النتيجة: أصبح الذكاء الاصطناعي أسرع بكثير. لا يزال يحصل على الإجابة الصحيحة، لكنه يتوقف عن الإطالة. لقد قلل "وقت التفكير" بنسبة 14% وحسن الدقة بنسبة 16%.

4. لماذا يهم هذا الأعمال (الشركات)

معظم نماذج الذكاء الاصطناعي بارعة في كتابة القصائد أو الدردشة، لكنها تعاني مع المهام التجارية المملة والمعقدة مثل:

قراءة عقد مكون من 50 صفحة والعثور على التفاصيل الدقيقة.
تحليل جدول بيانات فوضوي للعثور على اتجاه معين.
تحويل طلب بلغة طبيعية ("أظهر لي المبيعات للربع الأخير") إلى استعلام قاعدة بيانات معقد.

Yuan3.0 Ultra مصمم خصيصاً لهذه المهام. ولأنه تم تدريبه باستخدام "المدير الذكي" (LAEP) و"رئيس الطهاة الصارم" (RIRM)، فهو:

أسرع: يعالج البيانات بسرعة أكبر.
أذكى: يتعامل مع المستندات والجداول المعقدة بشكل أفضل من أي نموذج آخر تقريباً.
أرخص: لأنه أصغر وأكثر كفاءة، فإن تكلفة تشغيله أقل.

الخلا ملخص

فكر في Yuan3.0 Ultra كآلة أعمال رشيقة وفعالة. لقد أخذوا نموذج ذكاء اصطناعي ضخم ومتضخم، وطردوا الموظفين الكسالى، وأعادوا تنظيم الفريق لتحقيق أقصى قدر من الكفاءة، وعلموهم التوقف عن الإفراط في التفكير. النتيجة هي نموذج أصغر، وأسرع، وجيد للغاية في القيام بالأعمال الشاقة المطلوبة في عالم الأعمال الحقيقي.

إليك ملخص تقني مفصل لورقة البحث "Yuan3.0 Ultra: نموذج لغوي ضخم من نوع MoE بقدر تريليون معلمة موجه للمؤسسات".

1. بيان المشكلة

أصبحت بنيات "خليط الخبراء" (Mixture-of-Experts - MoE) هي المعيار لتوسيع نطاق النماذج اللغوية الضخمة (LLMs) عبر تنشيط مجموعة فرعية فقط من المعلمات لكل رمز (token). ومع ذلك، لا يزال هناك تحديان حرجان قائمان:

عدم توازن حمل الخبراء: أثناء التدريب، يتم تنشيط خبراء معينين بشكل متكرر بينما يظل آخرون غير مستغلين ("الخبراء الميتون"). يؤدي هذا إلى عدم كفاءة استخدام الموارد ويعيق تعلم التمثيلات المفيدة للخبراء غير المستغلين.
عدم كفاءة التقليم الحالي: تُطبق تقنيات تقليم الخبراء الحالية بشكل أساسي في مرحلة ما بعد التدريب (الضبط الدقيق). هناك نقص في الأساليب التي تقلم الخبراء خلال مرحلة ما قبل التدريب، حيث يتعلم النموذج التمثيلات العامة. علاوة على ذلك، يعتمد موازنة الحمل التقليدي على دالات مساعدة (auxiliary loss)، والتي غالبًا ما تؤدي إلى تدهور أداء النموذج (الارتباك - perplexity) عندما تكون ثقيلة الوزن، أو تفشل في تحقيق توازن مثالي عندما تكون خفيفة الوزن.
متطلبات المؤسسات: غالبًا ما تفتقر النماذج العامة إلى التحسين المحدد المطلوب لسيناريوهات المؤسسات المعقدة (مثل استرجاع المستندات متعدد الوسائط، والاستدلال المعقد على الجداول، واستدعاء الأدوات) دون التضحية بالكفاءة.

2. المنهجية

تقدم الورقة البحثية Yuan3.0 Ultra، وهو نموذج MoE بإجمالي 1010 مليار معلمة (68.8 مليار معلمة نشطة)، وتقترح خط تدريب مبتكر يرتكز على التقليم المتكيف مع الطبقات للخبراء (LAEP) وتعديل آلية تثبيط الانعكاس.

أ. التقليم المتكيف مع الطبقات للخبراء (LAEP)

LAEP هو خوارزمية ما قبل التدريب المصممة لتحديد وإزالة الخبراء غير المستغلين أثناء عملية التدريب، وليس بعدها.

تحليل الحمل: لاحظ المؤلفون أن أحمال الرموز للخبراء تتطور عبر مرحلتين: مرحلة انتقالية متقلبة أولية، ثم مرحلة مستقرة لاحقة. بمجرد الاستقرار، يصبح التصنيف النسبي للخبراء حسب حمل الرمز ثابتًا، مما يسمح بتحديد موثوق للخبراء غير المستغلين.
معايير التقليم: يتم تقليم الخبير إذا استوفى شرطين في آن واحد:
1. قيد الحمل الفردي ( $\alpha$ ): يكون حمل الرمز الخاص بالخبير أقل من عتبة ( $\alpha$ ) من متوسط الحمل.
2. قيد الحمل التراكمي ( $\beta$ ): يكون الحمل التراكمي لجميع المرشحين للتقليم أقل من عتبة ( $\beta$ ) من إجمالي الرموز.
إعادة ترتيب الخبراء: بعد التقليم، غالبًا ما يظل الخبماء المتبقون غير متوازنين عبر أجهزة الحوسبة. يقترح المؤلفون خوارزمية إعادة ترتيب جشعة تعيد توزيع الخبراء عبر الأجهزة لتقليل التباين في أحمال الرموز، مما يضمن الحوسبة المتوازية الفعالة دون الحاجة لدالات مساعدة.
الميزة مقارنة بالدالة المساعدة: على عكس الطرق التي تستخدم الدالة المساعدة (مثل Switch Transformer وDeepSeek-V3) والتي تضحي بالدقة مقابل التوازن، يحقق LAEP توازن حمل أفضل وارتباكًا (test loss) أقل عن طريق إزالة المعلمات الزائدة مباشرة.

ب. ما بعد التدريب: آلية مكافأة تثبيط الانعكاس المعدلة (RIRM)

لمعالجة "الإفراط في التفكير" (خطوات الاستدلال المفرطة) في التعلم التعزيزي (RL) للمهام المنطقية:

المشكلة: غالبًا ما تولد النماذج سلاسل طويلة من التفكير حتى للمشكلات البسيطة، مما يزيد من زمن الاستجابة وتكاليف الرموز.
الحل: قام المؤلفون بتنقيح آلية مكافأة تثبيط الانعكاس (RIRM).
- تقوم دالة المكافأة بمعاقبة عدد خطوات الانعكاس ( $v$ ) ديناميكيًا.
- بالنسبة للإجابات الصحيحة، تنخفض المكافآت مع تجاوز الخطوات للحد الأدنى ( $r_{min}=0$ ).
- بالنسبة للإجابات غير الصحيحة، تؤدي الخطوات المفرطة إلى عقوبات شديدة.
- هذا يشجع على الاستدلال الموجز مع الحفاظ على الدقة.

3. المساهمات الرئيسية

أول تقليم في مرحلة ما قبل التدريب: إثبات جدوى وفعالية تقليم الخبراء أثناء مرحلة ما قبل التدريب، وهو نهج جديد مقارنة بالتقليم الحالي في مرحلة ما بعد التدريب.
خوارزمية LAEP: تقديم استراتيجية تقليم متكيفة مع الطبقات مقترنة بإعادة ترتيب الخبراء على مستوى الجهاز، مما يلغي الحاجة إلى دالات موازنة الحمل المساعدة.
مكاسب الكفاءة: حقق تقليلاً بنسبة 33.3% في إجمالي المعلمات (من 1515B إلى 1010B) مع تحقيق زيادة بنسبة 49% في كفاءة ما قبل التدريب (TFLOPS/GPU).
تحسين المؤسسات: دمج نموذج RL منقح (RIRM) يقلل من طول الرموز المخرجة بنسبة 14.38% مع زيادة دقة التدريب بنسبة 16.33%.
المصدر المفتوح: إصدار نموذج Yuan3.0 Ultra والبرمجيات الخاصة به.

4. النتائج التجريبية

كفاءة ما قبل التدريب

تقليل المعلمات: تقليل إجمالي المعلمات من 1515B إلى 1010B.
الإنتاجية (Throughput): زادت إنتاجية التدريب من 62.14 TFLOPS (النموذج الأساسي) إلى 92.60 TFLOPS (نموذج LAEP)، بزيادة قدرها 49%.
الدقة: حقق النموذج المقلم خسارة اختبار (test loss) أقل من النموذج الأساسي والنماذج المدربة بدالة مساعدة ثقيلة، مما يثبت أن إزالة الخبراء غير المستغلين يحسن جودة التمثيل.

اختبارات سيناريوهات المؤسسات

حقق Yuan3.0 Ultra أداءً رائدًا (SOTA) أو أداءً متقدمًا عبر مهام المؤسسات المتنوعة:

الاسترجاء متعدد الوسائط (Docmatix): دقة 67.4%، متفوقًا على GPT-5.2 (48.4%) وKimi K2.5 (36.9%).
ChatRAG (استرجاع النصوص): متوسط دقة 68.2%، متصدرًا 9 من أصل 10 مهام فرعية.
فهم الجداول (MMTab): متوسط دقة 62.3%، متجاوزًا Claude Opus 4.6 وGemini 3.1 Pro.
التلخيص (SummEval): درجة 62.8%، متفوقًا بشكل ملحوظ على DeepSeek-V3 (59.3%).
Text-to-SQL: نسبة 83.9% على Spider 1.0 (SOTA) و39.2% على BIRD.
استدعاء الأدوات (BFCL V3): متوسط 67.8%، مما يظهر قدرات وكيل (agentic) قوية.

الاستدلال العام والبرمجة

الرياضيات (MATH-500): دقة 93.1%.
البرمجة (HumanEval): دقة 91.4%.
المعرفة (MMLU): دقة 87.8%.
يظل النموذج منافسًا للغاية مع النماذج الكثيفة (dense models) مثل Llama-3.1-405B وعمالقة MoE الآخرين مثل DeepSeek-V3.

5. الأهمية

تحول في نموذج تدريب MoE: يتحدى هذا العمل الافتراض القائل بأن نماذج MoE يجب أن تُدرب مع جميع الخبراء نشطين ومتوازنين عبر دالات الخسارة. إنه يثبت أن التقليم الهيكلي الديناميكي أثناء ما قبل التدريب هو استراتيجية قابلة للتطبيق ومتفوقة من حيث الكفاءة.
ذكاء اصطناائي للمؤسسات بتكلفة فعالة: من خلال تقليل عدد المعلمات بمقدار الثلث مع تعزيز سرعة التدريب والحفاظ على (أو تحسين) الدقة، يجعل LAEF النماذج ذات التريليون معلمة متاحة وقابلة للنشر بشكل أكبر للمؤسسات.
استدلال مُحسّن: يعالج دمج RIRM مشكلة عدم الكفاءة الحرجة في RLHF (الإفراط في التفكير)، مما يجعل النموذج أكثر عملية للتطبيقات في الوقت الفعلي حيث تكون زمن الاستجابة وتكاليف الرموز قيودًا.
الريادة في الاختبارات المعيارية: يضع Yuan3.0 Ultra معيارًا جديدًا للنماذج اللغوية الضخمة الموجهة للمؤسسات، خاصة في المهام المعقدة متعددة الوسائط والبيانات المهيكلة (الجداول، المستندات، SQL)، متفوقًا على النماذج المملوكة الكبرى.