🤖 machine learning

Temporally Extended Mixture-of-Experts Models

تقترح هذه الورقة إطار عمل "خليط من الخبراء" ممتد زمنياً يرتكز على إطار عمل الخيارات في التعلم المعزز، والذي يستخدم متحكماً على مستوى الطبقات لتقليل معدلات تبديل الخبراء بشكل كبير (من أكثر من 50% إلى أقل من 5%) مع الحفاظ على دقة النموذج، مما يتيح خدمة أكثر كفاءة في استهلاك الذاكرة والتعلم المستمر للنماذج واسعة النطاق.

المؤلفون الأصليون: Zeyu Shen, Peter Henderson

نُشر 2026-04-23

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zeyu Shen, Peter Henderson

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحث "نماذج خليط الخبراء الممتدة زمنياً" (Temporally Extended Mixture-of-Experts Models) باستخدام لغة بسيطة وتشبيهات إبداعية.

المشكلة الكبرى: "الطاهي القلق"

تخيل مطبخاً ضخماً وراقياً (نموذج الذكاء الاصطناعي) مصمماً لطهي أي طبق يمكن تخيله. للتعامل مع هذا، لا يمتلك المطبخ طباخاً واحداً عملاقاً؛ بل لديه 32 طباخاً متخصصاً مختلفاً (يُطلق عليهم "الخبراء").

الطريقة القديمة (MoE القياسي): مقابل كل كلمة واحدة ينطقها الذكاء الاصطناعي، ينظر مدير المطبخ إلى الجملة الحالية، ويختار أفضل 4 طهاة لتلك الكلمة تحديداً، ثم يطرد الـ 28 الآخرين فوراً، ثم يوظف 4 طهاة مختلفين تماماً للكلمة التالية.
- النتيجة: المطبخ في حالة فوضى مستمرة. الطهاة يركضون داخل وخارج المخزن في كل جزء من الثانية. إذا كان المطبخ صغيراً جداً بحيث لا يتسع لجميع الطهاة الـ 32 في وقت واحد (وهذا يحدث عندما تصبح النماذج ضخمة)، يضطر المدير للركض باستمرار إلى القبو لإحضار طهاة جدد وإرسال الآخرين عائداً. عملية "الإحضار" هذه تستغرق وقتاً، مما يبطئ كل شيء ويجعل المطبخ غير فعال.

الفكرة الجديدة: "التحول المستقر"

تساءل الباحثون في جامعة برينستون: لماذا نغير الفريق لكل كلمة؟ ألا يمكن لفريق من الطهاة العمل معاً لفقرة كاملة أو لفكرة كاملة؟

لقد قدموا نظاماً جديداً يسمى "خليط الخبراء الممتد زمنياً".

فكر في الأمر كأنه إنتاج برنامج تلفزيوني:

الطريقة القديمة: المخرج يغير طاقم الممثلين بالكامل لكل جملة حوارية.
الطريقة الجديدة: المخرج يخصص "مشهداً" معيناً (يُسمى الخيار - Option). وطوال مدة ذلك المشهد، يبقى نفس الأربعة ممثلين على المسرح. ولا يتم استبدالهم إلا عند تغير المشهد (على سبيل المثال: الانتقال من مشهد المطبخ إلى مشهد قاعة المحكمة).

كيف يعمل الأمر: "المدير الذكي"

تقدم الورقة البحثية "متحكماً" (Controller) خفيف الوزن (عقل ذكاء اصطناعي صغير) يجلس فوق النموذج الرئيسي. يعمل هذا المتحكم كأنه مدير مسرح ذكي.

القرار: بدلاً من اختيار فريق جديد لكل كلمة، ينظر المدير إلى تدفق المحادثة.
التكلفة: يعرف المدير أن تبديل الفرق أمر مكلف (يستغرق وقتاً وطاقة لتحميل طهاة جدد). تسمى هذه "تكلفة التداول" (Deliberation Cost).
الاستراتيجية: يتعلم المدير قاعدة بسيطة: "لا تبدل الفريق إلا إذا كان الموضوع الجديد مختلفاً لدرجة أن الفريق الحالي لا يستطيع التعامل معه، وإذا كانت فائدة التبديل تستحق تكلفة التأخير".

إذا كان الذكاء الاصطناعي يكتب قصة عن قطة، فإن "فريق القطط" يبقى على المسرح طوال القصة. وإذا تغيرت القصة فجأة إلى سفينة فضاء، يقوم المدير باستدعاء "فريق الفضاء".

النتائج: فوضى أقل، جودة مماثلة

اختبر الباحثون هذا النظام على نموذج ذكاء اصطناعي كبير (gpt-oss-20b). وإليك ما حدث:

معدل التبديل: في النظام القديم، كان الفريق يتغير 50% من الوقت (بمعنى كل كلمتين تقريباً). في النظام الجديد، تغير الفريق أقل من 5% من الوقت.
الجودة: رغم الاحتفاظ بنفس الفريق لفترات أطول، حقق الذكاء الاصطناعي 90% من الدقة الأصلية في اختبارات الرياضيات والمنطق الصعبة.
الفائدة: لأن الفريق يبقى في مكانه لفترة أطول، لا يحتاج المطبخ للركض إلى القبو كثيراً. وهذا يعني:
- سرعة أكبر: وقت أقل في انتظار وصول الطهاة.
- ذاكرة أرخص: لا تحتاج لإبقاء جميع الطهاة الـ 32 في الغرفة الرئيسية؛ يمكنك إبقاء الأربعة النشطين فقط وتخزين البقية في القبو، مع العلم أنك لن تحتاجهم قبل فترة من الزمن.
- جاهزية للمستقبل: مع ازدياد حجم نماذج الذكاء الاصطناعي (وصولاً إلى آلاف الخبراء)، تسمح هذه الطريقة بتشغيلها على أجهزة الكمبيوتر العادية دون انهيار.

خدعة "تكلفة التداول"

الجزء الأكثر روعة في الورقة البحثية هو "المقبض" الذي يمكننا تحريكه ويسمى "تكلفة التداول" (Deliberation Cost).

تكلفة منخفضة: يكون المدير "كسولاً" ونادراً ما يبدل الفرق. يكون الذكاء الاصطناعي سريعاً جداً وفعالاً في استهلاك الذاكرة، لكنه قد "يعلق" قليلاً إذا تغير الموضوع فجأة وبشكل حاد.
تكلفة عالية: يكون المدير "متحمساً" جداً للتبديل. يكون الذكاء الاصطناعي مرناً للغاية ولكنه أبطأ.

هذا يسمح للمهندسين بضبط الذكاء الاصطناعي بناءً على احتياجاتهم: "هل نريد نظاماً فائق السرعة والرخص، أم نظاماً فائق المرونة والدقة؟"

الملخص

باختصار، تعلم هذه الورقة البحثية نماذج الذكاء الاصطناعي التوقف عن الإدارة الدقيقة لكل كلمة. بدلاً من ذلك، تعلمهم الالتزام بـ "فريق من الخبراء" لجزء كامل من المحادثة. هذا يقلل من "الاضطراب" الجنوني لتحميل وتفريغ البيانات، مما يجعل نماذج الذكاء الاصطناعية الضخمة أسرع، وأرخص في التشغيل، وأسهل في الإدارة، وكل ذلك دون فقدان ذكائها.

إليك ملخص تقني مفصل لورقة البحث "نماذج خليط الخبراء الممتدة زمنياً" (Temporally Extended Mixture-of-Experts Models) من إعداد زييو شين وبيتر هندرسون من جامعة برينستون.

1. بيان المشكلة

تعتمد النماذج اللغوية الكبيرة (LLMs) الحالية بشكل متزايد على بنيات خليط الخبراء (Mixture-of-Experts - MoE) لتوسيع عدد المعلمات مع الحفاظ على تكاليف حوسبة ثابتة أثناء الاستدلال. ومع ذلك، يوجد عائق حرج في الخدمة والتدريب المقيد بالذاكرة:

ارتفاع وتيرة التبديل: في نماذج MoE القياسية، يختار الموجه (router) مجموعة فرعية متفرقة من الخبراء لكل توكن (token) على حدة. وتظهر التحليلات التجريبية أنه بالنسبة للنماذج الرائدة (مثل gpt-oss-20b، وgpt-oss-120b، وQwen3-Next)، تتغير مجموعة الخبراء النشطة عند كل توكن تقريباً (معدلات التبديل > 90%).
عدم الكفاءة: عندما يتجاوز العدد الإجمالي للخبراء ذاكرة وحدة معالجة الرسومات (GPU)، يجب تفريغ الأوزان إلى ذاكرة المضيف (RAM/SSD) وتحميلها عند الطلب. وتجعل وتيرة التبديل العالية عمليات التحسين مثل التحميل المسبق (prefetching) والتخزين المؤقت (caching) غير فعالة، حيث لا يستطيع النظام التنبؤ بالخبراء الذين ستبرز الحاجة إليهم تالياً. يؤدي هذا إلى تأخير كبير في الاستجابة (latency) وانخفاض في الإنتاجية (throughput).
الفرص الضائعة: يمنع غياب الاستمرارية الزمنية إمكانية التدريب الفعال "على شكل كتل" (حيث تشترك كتل من التوكنات في مجموعة خبراء واحدة)، كما يحد من القدرة على توسيع مجمعات الخبراء للتعلم المستمر دون زيادة بصمة الذاكرة لكل توكن.

2. المنهجية: نماذج MoE الممتدة زمنياً

يقترح المؤلفون إعادة صياغة توجيه الخبراء كـ مشكلة اتخاذ قرار ممتدة زمنياً باستخدام إطار الخيارات (Options Framework) من التعلم التعزيزي (RL).

المفهوم الجوهري

بدلاً من اختيار الخبراء توكنًا تلو الآخر، يتعلم النموذج اختيار مجموعة من الخبراء ("خيار" - Option) تستمر لعدد متغير من التوكنات. ويترتب على التبديل إلى مجموعة جديدة تكلفة مداولة (deliberation cost) ( $\eta$ )، والتي تمثل زمن التأخير/التكالب الإضافية لتحميل أوزان جديدة.

المكونات التقنية

صياغة عملية ماركوف لاتخاذ القرار شبه الماركوفية (s-MDP):
- الحالة (State): الحالة المخفية للنموذج اللغوي $h_t^{(\ell)}$ عند الطبقة $\ell$ .
- الخيار ( $\omega$ ): قناع ثنائي يختار مجموعة فرعية مكونة من $\hat{k}$ من الخبراء من أصل $N$ إجمالي الخبراء.
- الإنهاء (Termination): يقرر سياسة متعلمة متى يتم إنهاء الخيار الحالي (تبديل الخبراء) بناءً على الحالة والخيار الحالي.
- المكافأة (Reward): الهدف هو الحفاظ على أداء قريب من النموذج الأساسي مع تقليل عمليات التبديل. تُعرف المكافأة بأنها تباعد KL العكسي (Reverse KL Divergence) بين النموذج الطالب (مع المتحكم) والنموذج المعلم المجمد (النموذج الأساسي الأصلي).
بنية المتحكم (Controller Architecture):
- يتم إضافة متحكم خفيف الوزن إلى كل طبقة MoE.
- المدخلات: الحالة المخفية الحالية $h_t$ وقناع الخبير الحالي $\omega_{t-1}$ .
- مشفر DeepSets: يقوم بترميز مجموعة مؤشرات الخبراء النشطة إلى تضمين (embedding) غير متغير وفق الترتيب (permutation-invariant).
- الرؤوس (Heads):
  - رأس الإنهاء ( $\beta$ ): يتنبأ باحتمالية التبديل ( $d_t=1$ ).
  - رأس الاختيار: عند التبديل، يختار مجموعة جديدة من $\hat{k}$ من الخبراء باستخدام توزيع Plackett-Luce (يتم تقريبه عبر خدعة Gumbel-top- $k$ ).
  - رؤوس الناقد (Critic Heads): تقدير قيمة الحالة ( $V_\Omega$ ) وقيمة الخيار ( $Q_\Omega$ ) لتوجيه التعلم.
التعلم عبر Option-Critic:
- قام المؤلفون بتكييف بنية Option-Critic مع تكاليف المداولة.
- الهدف: تعظيم العائد المتوقع مع معاقبة عمليات التبديل. تتضمن مشتقة الإنهاء حداً هو $(Q_\Omega - V_\Omega + \eta)$ . لا يقوم المتحكم بالتبديل إلا إذا تجاوز الربح المتوقع في القيمة ( $Q_\Omega - V_\Omega$ ) تكلفة المداولة $\eta$ .
- التعلم داخل الخيار (Intra-option Learning): يتم ضبط معلمات LLM الأساسية (الخبراء والموجه) في وقت واحد (عبر LoRA) للتكيف مع قيود التوجيه الجديدة، مما يؤدي فعلياً إلى عملية تقطير ذاتي (self-distillation) في السياسة الحالية (on-policy).

3. المساهمات الرئيسية

فلسفة التصميم: قدموا مفهوم "نماذج MoE الممتدة زمنياً"، حيث حددوا أن التبديل المفرط هو عائق أساسي للخدمة الموفرة للذاكرة، وأن إطار الخيارات هو الملائم رياضياً لحل هذه المشكلة.
الإطار الخوارزمي: صاغوا تحميل الخبراء كعملية s-MDP وكيفوا خوارزمية Option-Critic لتدريب متحكم خفيف الوزن يتعلم متى يغير الخبراء وأي الخبراء يحمل، موازناً بين الأداء وتكاليف التبديل.
الكفاءة والقابلية للتوسع: أثبتوا أنه يمكن تحويل النماذج المدربة مسبقاً إلى هذه البنية بأقل قدر من التدريب (باستخدام LoRA)، مما يتيح الخدمة الموفرة للذاكرة، والتدريب على شكل كتل، والتعلم المستمر دون الحاجة لإعادة التدريب من الصفر.

4. النتائج التجريبية

تم تقييم الطريقة على نموذج gpt-oss-20b (32 خبيراً لكل طبقة، توجيه أعلى-4) باستخدام مجموعة بيانات Nemotron للتدريب اللاحق.

تقليل معدل التبديل:
- النموذج المرجعي (Baseline): كانت معدلات تبديل MoE القياسية ~58% (تبديل عند كل توكن تقريباً).
- الطريقة المقترحة: انخفضت معدلات التبديل إلى <5% (وصلت إلى أدنى مستوياتها عند 1.2% مع تكاليف مداولة أعلى) مع الحفاظ على ميزانية الخبراء النشطة الثابتة ( $\hat{k}$ ).
الحفاظ على الأداء:
- رغم تقليل عمليات التبديل بشكل جذري، احتفظ النموذج بـ ~90% من دقة النموذج الأساسي في اختبارات مثل MATH و MMLU و MMMLU.
- مثال: في اختبار MATH مع $\hat{k}=16$ و $\eta=0.02$ ، كانت الدقة 64.0% (مقابل 71.5% للنموذج الأساسي)، وهو ما يتفوق بشكل كبير على طرق التقليم الثابتة (مثل اختيار التكرار: 53.5%، والعشوائي: 15.0%).
المقارنة مع النماذج المرجعية:
- تفوق على طرق التقليم الثابتة (Frequency selection, Reconstruction Loss, Wanda) والاختيار العشوائي.
- تجنب نمط فشل "التكرار الكارثي" الذي يحدث غالباً في توجيه MoE المقيد، محافظاً على توليد متماسك.
الاستمرارية الزمنية: أكدت التصورات البصرية أن أقنعة الخبراء تستمر الآن لمتواليات طويلة من التوكنات، مما يثبت السلوك "الممتد زمنياً".

5. الأهمية والأثر المستقبلي

الخدمة الموفرة للذاكرة: من خلال تقليل معدلات التبديل، تصبح مجموعة الخبراء النشطة قابلة للتنبؤ. يسمح هذا للأنظمة بالإبقاء فقط على الخبراء $\hat{k}$ الضروريين في ذاكرة الـ GPU، وتفريغ البقية، مما يقلل بشكل كبير من متطلبات VRAM (على سبيل المثال، تقليل بنسبة ~37-55% لنموذج gpt-oss-20b).
كفاءة التدريب: يتيء "التقطيع الزمني" (temporal chunking) حيث يمكن معالجة دفعات التدريب بمجموعة خبراء ثابتة، مما يسمح بتفريغ الخبراء غير النشطة أثناء عمليات التمرير الأمامي والخلفي.
التعلم المستمر: يوفر آلية لإضافة خبراء جدد إلى مجمع النموذج دون زيادة زمن الاستدلال أو بصمة الذاكرة، حيث يتعلم المتحكم التوجيه إليهم فقط عندما يكون ذلك مفيداً.
المقايضة المبدئية: توفر تكلفة المداولة $\eta$ معلمة قابلة للضبط للممارسين للمفاضلة صراحة بين قدرة النموذج (الدقة) وكفاءة النظام (زمن تأخير التبديل).

في الختام، يربط هذا العمل بين نظرية التعلم التعزيزي وبنية النماذج اللغوية الكبيرة، ويقدم مساراً مبدئياً لإدارة التعقيد المتزايد لنماذج MoE في البيئات المقيدة بالموارد.