SpecPrefetch: Parameter-Efficient Expert Prefetching for Sparse MoE Foundation Models
يُعد SpecPrefetch إطار عمل كفؤ في استخدام المعلمات، حيث يعمل على فصل التنبؤ المسبق للخبراء عن التوجيه الأصلي باستخدام محول خفيف الوزن ومجدول واعٍ بالنافذة، مما يقلل بشكل كبير من زمن تحميل الخبراء ويحسن إنتاجية الاستدلال لنماذج خليط الخبراء (Mixture-of-Experts) المتفرقة على الأجهزة ذات الذاكرة المحدودة دون تغيير مخرجات النموذج.
تخيل أنك تحاول بناء المكتبة المثالية، لكن ليس لديك سوى مكتب صغير في غرفة ضيقة. تريد تخزين ملايين الكتب (التي تمثل "المعرفة" لحاسوب فائق الذكاء)، لكن مكتبك لا يتسع إلا لبضعة كتب في المرة الواحدة. هذا هو الصراع اليومي لتشغيل نماذج الذكاء الاصطناعي الضخمة على أجهزة مثل الهواتف أو الحواسيب المحمولة. هذه النماذج تشبه الموسوعات الضخمة التي تعلمت الكتابة والرسم وحل المسائل الرياضية، لكنها ضخمة جدًا لدرجة أنها لا تتسع في ذاكرة الحاسوب. ولجعلها تعمل، يستخدم العلماء حيلة ذكية تسمى "خليط الخبراء" (Mixture of Experts - MoE). فكر في هذا كأنه مكتبة حيث، بدلاً من قراءة كل كتاب لكل سؤال، يقوم أمين المكتبة ("الموجه") بسحب عدد قليل من الكتب المحددة ("الخبراء") ذات الصلة بالجملة الحالية فقط. إنه أمر فعال! ولكن هنا تكمن المشكلة: على الرغم من أن أمين المكتبة يستخدم بضعة كتب فقط، إلا أن جميع الكتب يجب أن تُخزن في مكان ما. إذا كانت الكتب كبيرة جدًا بحيث لا تتسع على المكتب، فيجب الاحتفاظ بها على رف في الرواق (القرص الصلب أو ذاكرة المضيف). وفي كل مرة يحتاج فيها أمين المكتبة إلى كتاب جديد، يتعين عليه الركض إلى الرواق، وأخذه، وإعادته. هذا الركود ذهابًا وإيابًا بطيء، وهو ما يوقف أمين المكتبة عن التفكير أثناء عملية الجلب. السؤال الكبير لعلماء الحاسوب هو: كيف يمكننا إحضار الكتب المناسبة إلى المكتب قبل أن يطلبها أمين المكتبة حتى، دون إفساد خطة أمين المكتبة الأصلية؟
هنا يأيد SpecPrefetch، وهي فكرة جديدة من الباحث جينوي كونغ وفريقه تحاول حل مشكلة "الركض ذهابًا وإيابًا" هذه. لقد أدركوا أن أمين المكتبة (الذكاء الاصطناعي) يمكن التنبؤ به تمامًا. فبمجرد النظر إلى الجملة التي يقرأها أمين المكتبة حاليًا، يمكنك التخمين بشكل جيد بشأن الكتب التي سيحتاجها للجملة التالية. بنى الفريق "مساعدًا" صغيرًا وخفيف الوزن للغاية (محول كفء المعلمات) يعمل كـ "مساعد روحاني". يراقب هذا المساعد عمل أمين المكتبة ويهمس له: "مهلًا، في الخطوة التالية، من المحتمل أنك ستحتاج إلى الكتاب 4 والكتاب 9!". ثم يرسل المساعد عداءً لجلب تلك الكتب المحددة من الرواق بينما لا يزال أمين المكتبة مشغولًا بإنهاء الجملة الحالية. هذا هو السحر: تصل الكتب إلى المكتب في الوقت المناسب تمامًا، مما يخفي وقت السفر.
من المهم أن هذا المساعد لا يستولي على الوظيفة. فلا يزال أمين المكتبة الأصلي هو من يتخذ القرار النهائي بشأن الكتب التي سيقرأها بالفعل. إذا أخطأ المساعد في تخمينه وجلب الكتاب الخطأ، فسيظل الكتاب هناك دون استخدام؛ ولن يغير ذلك القصة التي يرويها الذكاء الاصطناعي. وهذا يعني أن النظام يظل آمنًا ودقيقًا، ولكنه أسرع بكثير. اختبر الباحثون نظامهم على نوعين مختلفين من نماذج الذكاء الاصطناعي الذكية (Qwen3-VL و DeepSeek-VL2) باستخدام مهام متنوعة مثل حل المسائل الرياضية، وكتابة الأكواد، وفهم الصور. ووجدوا أن "مساعدهم الروحاني" كان بارعًا للغاية في تخمين الكتب الصحيحة، حيث يصيب غالبًا 9 من أصل 10 مرات، وفعل ذلك باستخدام موارد حاسوبية أقل بكثير من الطرق الأخرى التي تحاول تعلم المكتبة بأكملها من الصفر.
عندما اختبروا ذلك على هاتف محمول حقيقي (جهاز Snapdragon 8 Elite)، كانت النتائج أكثر إثارة. في الحالات التي اضطر فيها الهاتف لانتظار تحميل البيانات من وحدة التخزين الخاصة به، جعل SpecPrefetch الذكاء الاصطناعي يتحدث بشكل أسرع بنسبة تصل إلى 20%. إنه يشبه تحويل أمين مكتبة يضطر للركض إلى الرواق لكل صفحة، إلى أمين مكتبة لديه حزام ناقل تصل إليه الكتب مباشرة قبل احتياجه إليها. لقد أظهر الفريق أنك لا تحتاج إلى عقل ضخم ومكلف للتنبؤ بالمستقبل؛ بل يكفي مجرد دفعة صغيرة وذكية لجعل نماذج الذكاء الاصطنا الضخمة تعمل بسلاسة على الأجهزة التي نحملها في جيوبنا.
ملخص تقني: SpecPrefetch
بيان المشكلة تعمل نماذج خليط الخبراء (MoE) المتفرقة على توسيع قدرة النماذج التأسيسية عبر تفعيل مجموعة فرعية صغيرة من الخبراء بشكل مشروط. ومع ذلك، فإن نشر هذه النماذج على الأجهزة ذات الذاكرة المحدودة (مثل منصات الحافة، أو وحدات معالجة الرسومات للهواتف المحمولة) يتطلب "تفريغ الخبراء" (expert offloading)، حيث تستقر الخبراء غير النشطة في ذاكرة المضيف أو التخزين ويتم نقلها إلى المسرع عند الطلب.
العائق الأساسي في استنتاج نماذج MoE المفرغة هو "زمن انتقال النقل المرتبط بالتوجيه" (routing-dependent transfer latency). في التنفيذ القياسي، لا يتم تحديد الخبراء المطلوبين للطبقة التالية إلا بعد أن يقوم الموجه الأصلي (native router) بمعالجة الحالات المخفية الحالية. وهذا يفرض تسلسلاً في خط أنابيب الاستنتاج:
حساب الحالات المخفية (hidden states).
تشغيل التوجيه الأصلي لتحديد أفضل K من الخبراء.
نقل الخبراء المطلوبين من المضيف إلى الجهاز.
تنفيذ حسابات الخبراء.
ولأن عملية النقل لا يمكن أن تبدأ حتى يتم اتخاذ قرار التوجيه، فإن زمن انتقال النقل غالباً ما يقع في المسار الحرج، مما يؤدي إلى توقف التنفيذ. تواجه الحلول الحالية مقايضات: تقليل تكلفة النقل (عبر التكميم/quantization) لا يخفي زمن الانتقال؛ والتحميل المسبق الخالي من التدريب (مثل FATE) يعتمد على ارتباطات توجيه غير مستقرة بين الطبقات؛ أما المتنبئات القائمة على التدريب فقد تربط التنبؤ بالتنفيذ، مما قد يغير دلالات التوجيه الأصلية للنموذج.
المنهجية: SpecPrefetch يقترح المؤلفون SpecPrefetch، وهو إطار عمل فعال من حيث المعلمات يفصل بين التنبؤ بالنقل وتوجيه التنفيذ. يعمل النظام على مبدأ التنبؤ بمرشحي الطبقة التالية مبكراً، واستخدامهم فقط للنقل غير المتزامن، مع الحفاظ على منطق التوجيه الأصلي للنموذج من أجل التنفيذ النهائي.
التنبؤ المحافظ على الموجه (Router-Preserving Prediction):
يظل نموذج MoE الأصلي (بما في ذلك جميع الموجهات والخبراء) مجمدًا.
يتم إدخال محول خفيف الوزن مشترك (shared lightweight adapter). بالنظر إلى مدخلات الموجه Xl عند الطبقة l، يتنبأ هذا المحول بـ "لوجيتات" (logits) الخبراء للطبقة l+1.
يستخدم المحول تخريطاً منخفض الرتبة (BAXl) مشتركاً عبر جميع الطبقات المرجعية، مما يقدم حداً أدنى من المعلمات القابلة للتدريب (r(D+E)).
الأهم من ذلك، يتم تدريب المحول لتقريب توزيع توجيه الطبقة التالية (باستخدام مخرجات الموجه الأصلي المنفصل عند l+1 كمعلم)، ولكنه لا يُستخدم لاختيار الخبراء النهائيين. لا يزال الموجه الأصلي عند l+1 هو الذي يحدد الـ K الأفضل من الخبراء الذين سيتم تنفيذهم.
المجدول وقت التشغيل الواعي بالنافذة (Window-Aware Runtime Scheduler):
يحول المجدل مجموعات المرشحين المتوقعة إلى عمليات نقل غير متزامنة قابلة للتنفيذ.
يقيم المرشحين بناءً على ثقة التنبؤ، وحالة الإقامة في الذاكرة المخبئية (cache residency)، وحالة النقل المعلق، ومؤشر الجدوى (تقدير ما إذا كان النقل يمكن أن يكتمل قبل بدء تنفيذ الطبقة المستهدفة).
يتم تقديم عمليات النقل بترتيب الأولوية حتى يمتلئ طابور النقل.
إذا لم يكن الخبير المتوقع موجوداً في الذاكرة عند وصول التنفيذ إلى الطبقة l+1، فسيتم تحميله عند الطلب (وهو ما يعتبر "سلبياً كاذباً" في مصطلحات التنبؤ)، مما يؤثر على الكفاءة ولكنه لا يؤثر على مخرجات النموذج.
المساهمات الرئيسية
نموذج التصميم: حدد البحث "التحميل المسبق المعتمد على التعلم للنقل فقط" كنقطة تصميم متميزة، حيث يفصل توقيت حركة البيانات عن دلالات اختيار الخبراء.
البنية: تطوير إطار عمل يعتمد على محول خفيف الوزن يتنبأ بخبراء الطبقة التالية دون تغيير سلوك التوجيه للنموذج المدرب مسبقاً.
التحقق من الصحة: تقييم شامل عبر بنيتي MoE (وهما Qwen3-VL-30B-A3B و DeepSeek-VL2-Tiny) وعدة أعباء عمل (LLM و VLM)، بما في ذلك التقييم على أجهزة محمولة حقيقية.
النتائج التجريبية
دقة التنبؤ: يحقق SpecPrefetch أفضل متوسط لاستدعاء الخبراء (expert recall) في 9 من أصل 10 إعدادات للنماذج والمعايير مقارنة بالنماذج المرجعية. على سبيل المثال، في معيار DeepSeek-VL2-Tiny HumanEval، حسن متوسط الاستدعاء من 75.07% (ProMoE) و 78.54% (Draft Model) إلى 89.13%.
كفاءة المعلمات: يحقق SpecPrefetch هذه المكاسب بمعلمات قابلة للتدريب أقل بكثير. في DeepSeek-VL2-Tiny، يستخدم 1.63 مليون معلمة، وهو ما يمثل حوالي 6.2% فقط من معلمات Draft Model وحوالي 5.0% من معلمات ProMoE. وفي النموذج الأكبر Qwen3-VL-30B، يستخدم 12.95 مليون معلمة مقابل 414.45 مليون لـ ProMoE.
الأداء على الأجهزة الحقيقية: تم التقييم على جهاز Snapdragon 8 Elite باستخدام DeepSeek-VL2-Tiny:
تحت ظروف التخزين السريع (NVMe)، كانت المكاسب محدودة لأن عمليات الإدخال/الإخراج (I/O) كانت مخفية بالفعل بواسطة العمليات الحسابية.
تحت ظروف التخزين الأبطأ (Mid/Slow UFS، بطاقة SD)، حيث يقع الإدخال/الإخراج في المسار الحرج، حسن SpecPrefetch إنتاجية فك التشفير (decoding throughput) بنسبة 15% إلى 20% مقارنة بتشغيل تفريغ محسن للحوسبة.
في سيناريو "الذاكرة المخبئية الباردة" (cold-cache)، حقق تسريعًا بمقدار 1.14× مقارنة بالنموذج المرجعي.
الأهمية والادعاءات يدعي البحث أن SpecPrefateff يوفر آلية عملية لنشر نماذج MoE في البيئات ذات الذاكرة وعرض النطاق الترددي المحدودين. من خلال فصل التنبؤ بالنقل عن توجيه التنفيذ، فإنه يقلل من زمن انتقال النقل من المضيف إلى الجهاز المعرض، دون المساس بدلالات توجيه النموذج المدرب مسبقاً أو طلب عبء هائل من المعلمات. ويؤكد المؤلفون أن فعالية النظام تكون في أعلى مستوياتها عندما يكون تحميل الخبراء الموجه عبر المسار الحرج (مثل الذاكرة المخبئية الباردة أو التخزين البطيء)، حيث يمكن للتحميل المسبق غير المتزامن أن يتداخل بفعالية مع الحوسبة.
القيود يقر المؤلفون بعدة قيود:
المقياس البديل: استدعاء الخبراء هو مقياس بديل للفائدة في وقت التشغيل؛ حيث يعتمد التسريع الفعلي بشدة على حالة الذاكرة المخبئية وعرض نطاق التخزين.
الكفاءة مقابل الصحة: بينما لا تؤثر أخطاء التنبؤ على مخرجات النموذج (بسبب الموجه المجمد)، فإن "الإيجابيات الكاذبة" تهدر عرض النطاق الترددي/الذاكرة المخبئية، و"السلبيات الكاذبة" تستدعي التحميل عند الطلب.
خصوصية النموذج: قد لا يتمكن استخدام محول مشترك واحد من التقاط أنماط التخصص المتباينة للغاية بين الطبقات المختلفة بشكل كامل.
نطاق المجدل: يستخدم المجدل الحالي استراتيجية جدوى محلية ولا يقوم بتحسين مشترك لإقامة الذاكرة المخبئية العالمية، أو الإخلاء، أو معالجة الدفعات متعددة المستخدمين.
نطاق التقييم: اقتصر اختبار الأجهزة الحقيقية على نموذج واحد على منصة محمولة؛ وهناك حاجة لمزيد من التحقق في بيئات الخوادم والنماذج الأكبر.