Which Expert Misses Are Worth Waiting For? Substitution and Caching for Mixture-of-Experts Inference on a Consumer GPU

ملخص تقني: أي حالات فقدان الخبراء تستحق الانتظار؟

بيان المشكلة
توفر نماذج لغة "خليط الخبراء" (MoE)، مثل Qwen3-Next-80B-A3B، قدرة استيعابية عالية ولكنها تتطلب تخزين جميع الخبراء في الذاكرة، مما يتجاوز سعة ذاكرة الفيديو (VRAM) لوحدات معالجة الرسومات الاستهلاكية (مثل 24 جيجابايت). يتيح نقل الخبراء (offloading) إلى ذاكرة وحدة المعالجة المركزية (CPU) أو أقراص SSD تشغيل هذه النماذج على أجهزة استهلاكية، ولكنه يؤدي إلى حدوث زمن انتقال (latency) عند الحاجة إلى الخبراء الذين يعانون من "فقدان في التخزين المؤقت" (cache-miss) (أي الخبراء غير الموجودين حاليًا في ذاكرة GPU). تشمل الحلول التقليدية جلب كل حالة فقدان (زمن انتقال مرتفع)، أو الحساب على وحدة المعالجة المركزية (عمليات حسابية بطيئة)، أو الاستباق (prefetching) (خطر الخطأ في التنبؤ). وتعمل النهج البديلة على تغيير عملية الحساب من خلال استبدال الخبير المفقود بخبير موجود بالفعل. ومع ذلك، لا يزال من غير الواضح أي عمليات الاستبدال تسبب فقدانًا كبيرًا في الجودة في النماذج التي تحتوي على مئات الخبراء لكل طبقة، وما إذا كان هناك مقياس واحد يمكنه توجيه سياسات التخزين المؤقت، ومتى يجب على التخزين المؤقت قبول خبير يتم استبداله بشكل متكرر.

المنهجية
تركز الدراسة على نموذج Qwen3-Next-80B-A3B (512 خبيرًا لكل طبقة، يتم اختيار 10 منها) مع وجود حوالي 25% من الخبراء مستقرين في ذاكرة GPU. يستخدم البحث ثلاث أدوات متميزة لتقييم سياسات الاستبدال:

1. المحاكاة (Emulation): تنفيذ باستخدام PyTorch يحسب مخرجات النموذج بدقة لجميع السياسات على نفس تسلسلات الرموز (tokens)، مع افتراض مثالي لزمن انتقال الجلب لعزل تأثير الاستبدال على الجودة (المقاسة عبر الارتياب المستحث بالمعلم - teacher-forced perplexity).
2. محاكي سجلات الموجه (Router-Logit Simulator): أداة بلغة ++C تعيد تشغيل سجلات الموجه لمقارنة السياسات بسرعة دون حساب النموذج بالكامل، مما يقدر الوقت لكل رمز وحالات التخزين المؤقت.
3. المحرك (Engine): تنفيذ معدل من llama.cpp يقوم بعمليات جلب حقيقية للخبراء، والاستبدال، والتخزين المؤقت على وحدات معالجة رسومات استهلاكية (RTX 3090).

تعرف الدراسة كتلة البوابة المستبدلة ($m$) بأنها مجموع أوزان البوابة المعيارية للخبراء المستبدلين. وهي تختبر عدة سياسات:

• جلب كل حالة فقدان: هو خط الأساس المرجعي.
• قاعدة 0.15: تجلب الخبراء المفقودين بشكل متزامن إذا كانوا الخيار الأول للموجه أو إذا كان وزن البوابة $\ge 0.15$؛ وتستبدل البقية.
• قاعدة الخيار الأول: تجلب فقط الخيار الأول المفقود؛ وتستبدل جميع الخيارات الأخرى.
• القبول في الخلفية (Background Admission): قاعدة تراكم كتلة البوابة للخبراء المستبدلين بمرور الوقت وتقبلهم في التخزين المؤقت في الخلفية بمجرد الوصول إلى عتبة معينة (مثل 0.5).

المساهمات والنتائج الرئيسية

1. مصدر فقدان الجودة: في المحاكاة، ينبع معظم فقدان الجودة من استبدال عدد قليل من الخبراء ذوي الأوزان الثقيلة (الخيارات الأولى أو أولئك الذين لديهم أوزان بوابة عالية)، وليس من العدد الإجمالي لعمليات الاستبدال. بالنسبة لـ Qwen3-Next، استبدلت قاعدة 0.15 نسبة 7.5% من الاستدعاءات (مقابل 8.5% عند جلب كل حالة فقد) ولكنها قللت زيادة الارتياب من 5.67% إلى 0.35%. يشير هذا إلى أن حماية الخبراء ذوي الأوزان العالية أمر بالغ الأهمية، حتى لو تم استبدال العديد من الخبراء ذوي الأوزان المنخفضة.
2. الكتلة كمقياس مقارن: تقترح الدراسة "فرضية الكتلة": بين السياسات التي تجلب دائمًا الخيار الأول، ترتبط الكتلة المستبدلة الأعلى بارتفاع الارتياب في نفس المدخلات. في المحرك، كان هذا الارتباط قويًا (معامل بيرسون $r \approx 0.92$) عبر سياسات مختلفة على نفس البيانات. ومع ذلك، لم تتنبأ الكتلة بأي مدخلات محددة ستفقد الجودة، ولم تصمد المقارنة عند مقارنة السياسات التي تستبدل الخيارات الأولى.
3. تكوين الاستبدالات: وجدت تجربة (التجربة B) التي تباينت فيها تكوينات الاستبدال عند كتلة متساوية أن عددًا قليلاً من الاستبدالات الثقيلة تسبب في خسارة أكبر من العديد من الاستبدالات الخفيفة، رغم أن قاعدة القرار الإحصائي المخطط لها لم تقدم حكمًا حاسمًا بسبب انخفاض الكتلة الفعلية في الحالة الأساسية.
4. سياسة القبول في الخلفية: القاعدة التي تقبل خبيرًا في التخزين المؤقت بمجرد وصول كتلة الاستبدال المتراكمة له إلى عتبة 0.5 قللت الارتياب بنسبة 0.3–1.5%، مع حدوث أكبر المكاسب مباشرة بعد تغير المواضيع.
5. أداء السياسات المختارة: تم اختيار سياسات بناءً على هذه النتائج:
   • الأولوية للجودة (Quality-First): قاعدة 0.15 + الإخلاء القائم على التكرار + القبول في الخلفية ($\beta=0.5$).
   • الأولوية للسرعة (Speed-First): قاعدة الخيار الأول + الإخلاء القائم على التكرار + القبول في الخلفية ($\beta=0.5$).
     على جهازين مختلفين، كانت هذه السياسات أسرع بمقدار 2.5–3.0 ضعف لكل رمز من جلب كل حالة فقد، مع زيادة في الارتياب قدرها 0.7–1.5% فقط. مقارنة بقاعدة 0.15 وحدها، قللت سياسة "الأولوية للجودة" الارتياب أكثر (بمقدار ~0.5–0.8%) مع تكلفة زمنية طفيفة، بينما قللت سياسة "الأولوية للسرعة" الوقت بنسبة ~5% دون زيادة ذات دلالة إحصائية في الارتياب.
6. المقارنة مع llama.cpp الأصلي: في جهاز يحتوي على ~16 جيجابايت من ذاكرة الوصول العشوائي المتاحة، كان المحرك الذي يستخدم قاعدة 0.15 أسرع في فك الترميز بمقدار 2.8–3.0 ضعف من llama.cpp الأصلي المهيأ لاستخدام نفس ذاكرة الفيديو، مع زيادة في الارتياب قدرها 1.6% فقط.

الأهمية والادعاءات
يدعي البحث أنه يقدم أول قياس مباشر لأي استبدالات للخبراء تؤدي إلى فقدان الجودة في نماذج MoE التي تحتوي على مئات الخبراء لكل طبقة. وقد أثبت ما يلي:

• استراتيجية الاستبدال: حماية الخبراء ذوي الأوزان العالية (عبر قاعدة 0.15) أكثر فعالية من مجرد تقليل إجمالي عدد الاستبدالات.
• فائدة المقياس: تُعد "كتلة البوابة المستبدلة" مقياسًا مفيدًا لمقارنة السياسات على نفس المدخلات، ولكنها ليست متنبئًا بالخسارة عبر المدخلات المختلفة.
• الكفاءة العملية: من الممكن تشغيل نماذج MoE الكبيرة على وحدات معالجة الرسومات الاستهلاكية مع حد أدنى من تدهور الجودة (زيادة 0.7–1.5% في الارتياب) مع تحقيق تسريع بمقدار 2.5–3.0 ضعف مقارنة باستراتيجيات النقل (offloading) القياسية.

القصور والتواضع
يصرح المؤلف صراحة بأن استنتاجاته متواضعة ومشروطة:

• النطاق: تعتمد النتائج بشكل أساسي على Qwen3-Next-80B-A3B والارتياب المستحث بالمعلم. دعم اختبار التوليد (GSM8K و HumanEval) التوقعات جزئيًا فقط؛ فعلى سبيل المثال، فشلت العلاقة بين الكتلة والاتفاق في HumanEval.
• السببية: لا تفصل الدراسة بين تأثيرات رتبة الخبير ووزنه، ولا تدعي أن وزن البوابة نفسه هو ما يسبب الفقدان.
• المقارنات: لم تتم مقارنة السياسات مع طرق الاستباق (prefetching) أو طرق الدقة المنخفضة.
• التعميم: تقارير نسب السرعة وقيم الارتيب المحددة مرتبطة بالأجهزة المحددة التي تم قياسها وقد لا تنطبق على أجهزة أخرى.
• الحالة التجريبية: باستثناء اختبار التوليد والتجربة B، فإن التحليلات استكشافية. يذكر البحث التنبؤات الفاشلة (مثل ارتباط مستوى المشكلة بالكتلة) والاستنتاجات التي تغيرت مع زيادة حجم العينة (مثل الارتباط بين الكتلة والخسارة).

باختصار، يوضح العمل أن سياسات الاستبدال الذكي والقبول في الخلفية يمكن أن تخفف بشكل كبير من زمن انتقال نقل نماذج MoE الكبيرة على الأجهزة الاستهلاكية، بشرما يتم إعطاء الأولوية للخبماء ذوي الأوزان العالية للجلب.