🤖 AI

DTop-p MoE: Sparsity-Controlled Dynamic Top-p MoE for Foundation Model Pre-training

تقدم هذه الورقة البحثية DTop-p، وهي آلية توجيه ديناميكية قابلة للتحكم في التناثر، تتعلم عتبات Top-p بشكل تكيفي وتفرض قيود التناثر العالمية لتتفوق على النماذج المرجعية لـ MoE القائمة على Top-k وTop-p الثابتة مع الحفاظ على الكفاءة الحسابية في مرحلة ما قبل التدريب للنماذج التأسيسية.

المؤلفون الأصليون: Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

نُشر 2026-06-01

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Can Jin, Hongwu Peng, Mingcan Xiang, Qixin Zhang, Xiangchi Yuan, Amit Hasan, Ohiremen Dibua, Yifan Gong, Yan Kang, Dimitris N. Metaxas

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مركز اتصال ضخم وعالي التقنية (النموذج الذكي) مصمم للإجابة على ملايين الأسئلة. وللتعامل مع ضغط العمل، قمت بتوظيف آلاف الوكلاء المتخصصين (يُطلق عليهم "الخبراء").

في الطريقة القديمة المتبعة (Top-k)، كان هناك قاعدة صارمة: كل متصل يحصل بالضبط على 3 وكلاء، بغض النظر عما يسأل عنه.

إذا سأل أحدهم: "ما هو 2+2؟"، ستظل ترسل 3 وكلاء. هذا هدر للطاقة.
إذا طرح أحدهم سؤالاً قانونياً معقداً للغاية ومتعدد الطبقات، فستظل ترسل 3 وكلاء فقط. قد يشعرون بالارتباك ويقدمون إجابة سيئة.

حاول الباحثون فكرة جديدة تسمى Top-p. كانت هذه الفكرة تشبه قول: "أرسل وكلاء حتى تشعر بالثقة في أن لديك مساعدة كافية".

لسؤال "2+2"، قد يقول النظام: "أنا متأكد بنسبة 99%، لذا سأرسل وكيلاً واحداً فقط".
للسؤال القانوني الصعب، قد يقول: "لست متأكداً بعد، لذا سأستمر في إضافة المزيد من الوكلاء حتى أشعر بالثقة".

المشكلة: كانت طريقة "Top-p" القديمة تشبه سائقاً بدواسة وقود معطلة. لقد كانت حساسة للغاية. أحياناً، ترسل وكيلاً واحداً، وفي الثانية التالية، تصاب بالذعر وترسل 20 وكيلاً. هذا جعل فاتورة الطاقة لمركز الاتصال (تكلفة الحوسبة) غير متوقعة وفوضوية. لم تكن قادراً على وضع ميزانية لها.

الحل: DTOP-p (نظام مثبت السرعة الذكي)

قام مؤلفو هذه الورقة البحثية ببناء DTOP-p، الذي يعمل مثل نظام مثبت السرعة الذكي لمركز الاتصال الخاص بك. وهو يجمع بين أداتين رئيسيتين لإصلاح هذه الفوضى:

1. "عداد السرعة" (متحكم PI)

تخيل أنك تريد لمركز الاتصال الخاص بك أن يستخدم في المتوسط 8 وكلاء لكل مكالمة.

متحكم PI هو مدير ذكي يتحقق باستمرار من عداد السرعة.
إذا كان الفريق يستخدم الكثير من الوكلاء (يسرعون بشكل زائد)، فإن المدير يدفع "عتبة الاحتمالية" بلطف للأسفل، ويقول للنظام: "لديك ثقة كافية، توقف عن إضافة المزيد من الوكلاء".
إذا كان الفريق يستخدم عدداً قليلاً جداً (يسيرون ببطء شديد)، فإن المدير يدفع العتبة للأعلى: "هذا السؤال صعب، استدعِ المزيد من المساعدة".
النتيجة: يقوم النظام بتعديل نفسه تلقائياً ليبقى تماماً ضمن الميزانية المستهدفة، بغض النظر عن صعوبة أو سهولة الأسئلة. إنه لا ينفد منه الوقود (الذاكرة) ولا يهدر الوقود.

2. "مدير الطابق" (التطبيع الديناميكي للتوجيه)

في مركز اتصال كبير، يحتاج مكتب الاستقبال (الطبقات الأولى) والقسم القانوني (الطبقات العميقة) إلى احتياجات مختلفة.

مكتب الاستقبال يتعامل مع التحيات البسيطة (يحتاج وكلاء أقل).
القسم القانوني يتعامل مع القضاções المعقدة (يحتاج وكلاء أكثر).
الطرق القديمة كانت تعامل كل طابق بنفس الطريقة.
DTOP-p يمنح كل طابق "مقبض تحكم" خاص به. فهو يسمح لمكتب الاستقبال بالبقاء هادئاً وفعالاً بينما يسمح للقسم القانوني برفع مستوى الصوت واستدعاء المزيد من الخبراء، كل ذلك مع الحفاظ على إجمالي استهلاك الطاقة للمبنى ضمن الحد المسموح به.

ماذا وجدوا (النتائج)

اختبر الباحثون هذا على نوعين من الذكاء الاصطناعي: أحدهما يقرأ ويكتب النصوص (معالجة اللغات الطبيعية - NLP) والآخر يفهم الصور (الرؤية الحاسوبية - Computer Vision).

إجابات أفضل: قدم DTOP-p باستمرار إجابات أفضل من قاعدة "3 وكلاء الثابتة" القديمة وقاعدة "Top-p" الفوضوية. لقد كان أذكى في معرفة متى يطلب المساعدة.
ميزانية مستقرة: على عكس طريقة Top-p القديمة، التي كانت تسبب ارتفاعات عشوائية في التكلفة، التزم DTOP-p بالميزانية تماماً. لقد استخدم نفس قدر الحوسبة التي استخدمتها الطريقة القديمة ولكن حقق نتائج أفضل.
قابل للتوسع: اختبروه على نماذج صغيرة ونماذج ضخمة، ومع مجموعات بيانات صغيرة وضخمة. في كل حالة، كان "مثبت السرعة الذكي" يعمل بشكل أفضل من القواعد الجامدة القديمة.

الخلا الخلاصة

تقدم هذه الورقة طريقة لجعل نماذج الذكاء الاصطناعي أكثر ذكاءً وكفاءة. بدلاً من إجبار كل مهمة على استخدام نفس القدر من قوة الدماغ، يسمح DTOP-p للذكاء الاصطناعي بتقرير مقدار المساعدة التي يحتاجها ديناميكياً، بينما يضمن المتحكم الذكي عدم إهدار الموارد أو تجاوز الميزانية. إنه يشبه الانتقال من خط تجميع جامد إلى فريق مرن ذاتي التنظيم يعرف بالضبط مقدار الجهد الذي يجب بذله في كل مهمة.

ملخص تقني: DTOP-p MoE

بيان المشكلة

تعد بنيات خليط الخبراء المتناثرة (Sparse Mixture-of-Experts - MoE) بالغة الأهمية لتوسيع نطاق النماذج التأسيسية بكفاءة من خلال الفصل بين عدد المعلمات والتكلفة الحسابية. ومع ذلك، فإن توجيه Top-k القياسي يفرض نمط تشتت جامدًا، حيث يختار عددًا ثابتًا من الخبراء بغض النظر عن صعوبة الرمز (token) أو الاحتياجات الخاصة بكل طبقة. وهذا يتجاهل التباين الجوهري في تعقيد المدخلات ويقيد تخصيص الموارد التكيفي.

بينما يوفر توجيه Top-p (أخذ العينات النووية - nucleus sampling) بديلًا أكثر تكيفًا عبر اختيار الخبراء حتى تصل احتمالاتهم التراكمية إلى عتبة $p$ ، إلا أن التنفيذات الحالية تعاني من قصورين حرجين:

العتبات العالمية الثابتة: تستخدم تنفيذات Top-p البدائية عتبة احتمالية عالمية ثابتة تفشل في التكيف مع ديناميكيات التدريب المتطورة.
التشتت غير المنضبط: تؤدي هذه الطرق إلى تكاليف حسابية غير متوقعة؛ حيث يتذبذب عدد الخبراء المفعلين بشكل كبير أثناء التدريب، مما يجعل من الصعب الالتزام بميزانيات الحوسبة الصارمة لمرحلة ما قبل التدريب. علاوة على ذلك، فإن العتبات الثابتة حساسة للغاية لاختيار المعلمات الفائقة (hyperparameters)، مما يتطلب ضبطًا مكثفًا ومكلفًا حاسوبيًا.

المنهجية: DTOP-p MoE

يقترح المؤلفون DTOP-p، وهو آلية توجيه ديناميكية قابلة للتحكم في التشتت مصممة للتوفيق بين قدرة Top-p على التكيف والقيود الحسابية الصارمة لمرحلة ما قبل التدريب واسعة النطاق. تتكون الطريقة من مكونين رئيسيين:

1. المتحكم التناسبي التكاملي (PI Controller)

لمعالجة عدم قابلية الاشتقاق في اختيار العتبة والافتقار إلى قيود الموارد الصريحة، يستخدم DTOP-p حلقة تحكم تغذية راجعة من نظرية التحكم الكلاسيكية.

الآلية: يعامل النظام عدد الخبراء المفعلين المستهدف ( $T$ ) كنقطة ضبط (setpoint)، وعتبة الاحتمالية العالمية ( $p$ ) كمتغير تحكم.
قاعدة التحديث: يراقب المتحكم متوسط عدد الخبراء المفعلين لكل رمز ( $a_t$ ) للدفعة الحالية. ويقوم بحساب خطأ التشتت $e_t = (T - a_t)/N$ ويحدث العتبة للدفعة التالية ( $p_{t+1}$ ) باستخدام قانون تحكم PI منفصل:
$p_{t+1} = p_0 + K_{pro} \cdot e_t + K_{int} \cdot \sum_{i=1}^{t} e_i$
الأثر: يخلق هذا حلقة تغذية راجعة سالبة حيث يؤدي الخطأ الإيجابي (عدم كفاية التفعيل) إلى زيادة $p$ لاختيار المزيد من الخبراء، بينما يؤدي الخطأ السلبي إلى تقليل $p$ . وهذا يضمن تقارب النموذج نحو مستوى التشتت المستهدف بغض النظر عن التحولات في إنتروبيا اللوغاريتم (logit entropy) أثناء التدريب.

2. تطبيع التوجيه الديناميكي (Dynamic Routing Normalization - DRN)

إن تطبيق عتبة عالمية واحدة عبر جميع الطبقات يفترض توزيعات ثقة موحدة للخبراء، وهو ما يتعارض مع النتائج التي تشير إلى أن الطبقات المختلفة لها احتياجات حسابية متفاوتة (مثل الطبقات الضحلة للميزات العامة مقابل الطبقات العميقة للاستنتاج المتخصص).

الآلية: بدلاً من التوجيه بناءً على القيم اللوغاريتمية الخام (logits)، يقوم DTOP-p بتطبيع القيم اللوغاريتمية داخل كل طبقة $l$ باستخدام ثابت قابل للتعلم $\theta_l$ :
$P(x) = \text{softmax}\left(\theta_l \cdot \frac{z - \mu(z)}{\sigma(z)}\right)$
حيث تمثل $z$ القيم اللوغاريتمية الخام، و $\mu(z)$ و $\sigma(z)$ هما المتوسط والانحراف المعياري لهما.
الأثر: هذا يفصل العتبة العالمية عن الخصائص الإحصائية المحلية. فزيادة $\theta_l$ تعمل على جعل التوزيع أكثر حدة (مما يؤدي لتفعيل عدد أقل من الخبراء)، بينما تقليل $\theta_l$ يجعل التوزيع أكثر تسطحًا (مما يؤدي لتفعيل عدد أكبر). وهذا يسمح للنموذج بتعلم أنماط تشتت متميزة عبر الطبقات مع الحفاظ على ميزانية حوسبة عالمية.

المتغير القائم على الطبقات (Layer-wise Variant)

بالنسبة لسيناريوهات النشر التي تتطلب إمكانية تنبؤ صارمة لكل طبقة، يقترح المؤلفون أيضًا متغيرًا قائمًا على الطبقات حيث تحتفظ كل طبقة بمتحكم PI وعتبة خاصة بها، مستبدلةً مشاركة الميزانية العالمية عبر الطبقات بتتبع طبقي شبه حتمي.

المساهمات الرئيسية

تحليل Fixed-Threshold Top-p: يوضح البحث أن Top-p ذات العتبة الثابتة تقدم مكاسب طفيفة فقط مقارنة بـ Top-k، بينما تعاني من حساسية مفرطة تجاه العتبة $p$ وعدم استقرار التشتت، مما يجعلها غير مناسبة لما قبل التدريب واسع النط scales دون آليات تحكم.
إطار عمل DTOP-p: اقتراح DTOP-p كآلية MoE ديناميكية تدمج متحكم PI للتحكم في التشتت وتطبيع التوجيه الديناميكي لمرونة الطبقات.
الاستقصاء التجريبي الشامل: التحقق الواسع النطاق عبر مجالات معالجة اللغات الطبيعية (NLP) والرؤية الحاسوبية (CV)، مما يثبت تفوق DTOP-p على كل من Top-k وbaselines الثابتة لـ Top-p مع مطابقة متوسط العمليات الحسابية (FLOPs) لـ Top-k.

النتائج التجريبية

قيم المؤلفون DTOP-p على النماذج اللغوية الكبيرة (LLMs) ونماذج محولات الانتشار (DiTs) باستخدام مجموعة بيانات DCLM-Baseline (NLP) ومجموعات صور داخلية عالية الجودة (CV).

الأداء: في اختبارات NLP (13 مجموعة بيانات بما في ذلك MMLU وHellaSwag وARC)، حقق DTOP-p تحسنًا متوسطًا بنسبة 1.9% عن نموذج Top-k MoE المرجعي مع الالتزام الصارم بعدد الخبراء المفعلين المستهدف (على سبيل المثال، 8 خبراء).
الاستقرار: على عكس Top-p الثابت، الذي يتذبذب بشدة في عدد الخبراء المفعلين، يتقارب DTOP-p بسرعة نحو التشتت المستهدف (خلال أول 1 مليار رمز) ويحافظ على انحراف معياري منخفض ( $\approx 1$ ).
خصائص التوسع: أظهر DTOP-p توسعًا قويًا عبر:
- دقة الخبراء (Expert Granularity): اتسعت مكاسب الأداء مع زيادة الدقة (على سبيل المثال، من 32 خبيرًا إلى 128 خبيرًا).
- سعة الخبير: تحسن الأداء بشكل رتيب مع زيادة إجمالي سعة الخبراء.
- حجم النموذج ومجموعة البيانات: حافظت الطريقة على ميزتها على النماذج المرجعية مع زيادة حجم النموذج (حتى 2.4 مليار معلمة نشطة) وحجم مجموعة البيانات (حتى 300 مليار رمز).
التحليل عبر الطبقات: أكد تحليل توزيع التفعيل أن DTOP-p يتعلم أنماط تشتت هرمية، حيث يفعل عددًا أقل من الخبراء في الطبقات الضحلة وعددًا أكبر في الطبقات العميقة، مما يتماشى مع تعقيد الميزات المتفاوت في الأعماق المختلفة.

الأهمية والادعاءات

يزعم البحث أن DTOP-p يوفر إطار عمل MoE قوي وفعال للتدريب التأسيسي. تكمن أهميته الأساسية في النجاح في التوفيق بين التكيف الديناميكي والقيود الحسابية الصارمة. ومن خلال جعل عتبة الاحتمالية قابلة للتعلم فعليًا عبر نظرية التحكم وتمكين المرونة عبر الطبقات، يسمح DTOP-p للنماذج بتخصيص الموارد الحسابية بناءً على صعوبة الرمز وعمق الطبقة دون تجاوز ميزانيات FLOPs المحددة مسبقًا.

يضع المؤلفون هذا العمل كخطوة نحو الذكاء الاصطناوي الأخضر المستدام، مما يحسن الكفاءة الحسابية للنماذج المتناثرة. ويشيرون صراحة إلى أنه بينما تحسن الطريقة الكفاءة، فإنها لا تخفف من التحيزات المتأصلة في بيانات التدريب ويجب اقترنها بمواءمة سلامة صارمة. يُقدم العمل كحل عملي لتوسيع النماذج التأسيسية حيث يكون Top-k الثابت جامدًا جدًا وTop-p غير المنضبط غير قابل للتنبؤ به.