Accelerating Offloading-Based MoE Inference by Interleaving Concurrent Requests
تقدم الورقة البحثية Bevy، وهو نظام استدلال لنموذج Mixture of Experts (MoE) يتفوق على طرق الاستباق التقليدية عبر توظيف مجدول ذاتي التوازن لتداخل الطلبات المتزامنة، مما يسمح بتداخل جلب الخبراء مع الحوسبة دون الاعتماد على تنبؤات غير دقيقة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في الهمهمة الهادئة لحاسوب شخصي، يتجذر نوع جديد من الذكاء. إن نماذج اللغات الكبيرة، وهي المحركات التي تقف وراء روبوتات الدردشة ومساعدي الكتابة المعاصرين، تنتقل بشكل متزايد من مراكز البيانات الضخمة إلى الأجهزة المحلية مثل أجهزة المكتب ومحطات العمل. يتيح هذا التحول للمستخدمين تشغيل هذه الأدوات القوية دون الاعتماد على الإنترنت، لكنه يفرض قيدًا ماديًا: ذاكرة الحاسوب محدودة. ولجعل هذه النماذج تتناسب مع المساحة المتاحة، يستخدم الباحثون تقنية تسمى "خليط الخبراء" (mixture of experts). تخيل مكتبة واسعة من المعرفة حيث، لكل سؤال يُطرح، يتم سحب عدد قليل فقط من الكتب المحددة من الرف لقراءتها، بينما تظل بقية الكتب دون مساس. هذا يحافظ على سرعة العمل وكفاءته. ومع ذلك، على جهاز شخصي، قد لا تتسع حتى "الكتب القليلة" المطلوبة للحظة واحدة في الذاكرة النشطة للحاسوب في آن واحد. وعندما يحتاج الحاسوب إلى كتاب ليس موجودًا، يجب عليه إيقاف تفكيره مؤقتًا لجلب الكتاب من محرك تخزين أبطأ، مما يترك المعالج خاملًا وفي حالة انتظار.
لسنوات، كان الحل القياسي لهذه "لعبة الانتظار" هو التنبؤ. يحاول النظام تخمين الكتب التي ستكون مطلوبة لاحقًا ويجلبها مسبقًا بينما يعمل المعالج على المهمة الحالية. يشبه هذا أمراً يشبه أمين مكتبة يقوم، بينما أنت تقرأ فصلاً واحداً، بسحب الفصول التالية المرجحة بهدوء من الرف لتكون جاهزة عندما تقلب الصفحة. لكن فريقًا من الباحثين من جامعة سيول الوطنية وجامعة ييل اكتشف أن هذه الاستراتيجية غالبًا ما تفشل عندما يحتفظ الحاسوب بالفعل بذاكرة مؤقتة (cache) صغيرة من الكتب في ذاكرته النشطة. فمع امتلاء تلك الذاكرة المؤقتة بالكتب الأكثر فائدة، تصبح تخمينات أمين المكتبة أقل دقة، مما يهدر الوقت وعرض النطاق الترددي في جلب كتب لن تُفتح أبدًا. وبدلاً من محاولة تخمين المستقبل، وجد الباحثون طريقة أفضل: ببساطة، دع العمل يحدث بترتيب مختلف. من خلال السماح للطلبات المختلفة بالمضي قدمًا بالسرعة الخاصة بها، يمكن للنظام أن يكشف بالضبط عما هو مطلوب لاحقًا دون تخمين، محولاً وقت الانتظار الخامل إلى عمل منتج.
بنى الباحثون، بقيادة هونغسونغ يو وكيونغهان لي، نظامًا جديدًا يسمى "بيفي" (Bevy) لاختبار هذه الفكرة. وقد لاحظوا أنه عندما تُرسل طلبات متعددة إلى النموذج في نفس الوقت — مثل مستخدم يطلب مراجعة لكود برمجي بينما يتحقق جزء آخر من البرنامج من بريد إلكتروني — فإن الطلبات لا تحتاج جميعها إلى نفس الكتب في نفس الوقت. في الأنظمة التقليدية، ينتظر الحاسوب حتى يجمع كل طلب من الطلبات جميع الكتب اللازمة له قبل أن يبدأ الخطوة التالية لأي منها. وهذا يخلق عنق زجاجة حيث يجلس المعالج ساكنًا بينما يعمل محرك التخزين. يغير "بيفي" هذا الإيقاع؛ فهو يسمح للطلب الذي لديه جميع كتبه جاهزة بالمضي قدمًا إلى الخطوة التالية فورًا، بينما تنتظر الطلبات الأخرى وصول كتبها الناقصة. وبينما يمضي الطلب الجاهز قدمًا، فإنه يكشف بالضبط عن الكتب التي سيحتاجها للخطوة التالية. ثم يقوم النظام بجلب تلك الكتب المحددة بينما يكون المعالج مشغولًا بالطلب الجاهز. وهذا يخلق تداخلاً سلسًا حيث يعمل محرك التخزين والمعالج في نفس الوقت، ولكن دون أي حاجة للتنبؤ.
المفتاح لجعل هذا العمل يسير بسلاسة هو مجدول ذاتي التوازن يقرر كيفية تجميع الطلبات. إذا ترك النظام كل طلب يعمل بمفرده ببساطة، فسيتعين على المعالج قراءة نفس الكتب المشتركة من الذاكرة مرارًا وتكرارًا لكل طلب، مما يبطئ كل شيء. وإذا قام بتجميعها جميعًا معًا بشكل صارم للغاية، فسيخسر ميزة السماح للطلبات السريعة بالمضي قدمًا. يحل "بيفي" هذه المشكلة عن طريق تجميع الطلبات ديناميكيًا، طبقة تلو الأخرى. إذا كانت العديد من الطلبات جاهزة في نفس الوقت، فإنه يجمعها معًا لزيادة الكفاءة. وإذا كان عدد قليل فقط جاهزًا لأن الآخرين لا يزالون ينتظرون الكتب، فإنه يسمح لتلك المجموعة الصغيرة بالمضي قدمًا في مجموعات أصغر. تضمن هذه المرونة أن المعالج لا يظل خاملًا بانتظار تشكيل مجموعة، وأن محرك التخزين لا يظل خاملًا بانتظار انتهاء طلب ما. يتكيف النظام في الوقت الفعلي مع الاحتياجات المتغيرة للطلبات، مما يخلق تدفقًا يحدث فيه الحوسبة والجلب بالتوازي بشكل طبيعي.
تم قياس نتائج هذا النهج على منصتين مختلفتين للحوسبة المحلية، إحداهما تستخدم شريحة Apple والأخرى تستخدم NVIDIA Jetson AGX Thor Developer Kit بذاكرة موحدة سعة 128 جيجابايت ومحرك Samsung 9100 PRO بسعة 2 تيرابايت، لتشغيل نموذجين مختلفين من نماذج اللغات الكبيرة. قارن الباحثون "بيفي" بالطريقة القياسية المستخدمة في البرامج الشهيرة مثل llama.cpp، وكذلك مقابل أكثر الأنظمة المتقدمة القائمة على التنبؤ المتاحة. وجدوا أن "بيفي" تفوق باستمرار على الآخرين. في الاختبارات ذات الأعداد المتفاوتة من الطلبات المتزامنة، قدم "بيفي" ما يصل إلى 3.46 ضعف العمل في الثانية مقارنة بالطريقة القياسية، وما يصل إلى 1.55 ضعف مقارنة بأسرع نظام قائم على التنبؤ. كان التحسن أكثر أهمية عندما كان على الحاسوب التعامل مع العديد من الطلبات في وقت واحد. وحتى عندما اختبر الباحثون النظام مع ذاكرة مؤقتة كبيرة من الكتب موجودة بالفعل في الذاكرة، حيث تعثرت أنظمة التنبؤ بسبب ضعف الدقة، حافظ "بيفي" على سرعته. وذلك لأن "بيفي" لم يضيع الوقت أبدًا في جلب كتب لم يكن بحاجة إليها؛ بل جلب فقط ما هو مطلوب صراحةً من قبل الطلبات التي تمر عبر النظام.
استكشفت الدراسة أيضًا ما إذا كان إضافة التنبؤ فوق "بيفي" سيساعد بشكل أكبر. حاول الباحثون الجمع بين طريقة الجدولة الجديدة ونظام التنبؤ، متوقعين أن يعمل الاثنان معًا. ومع ذلك، وجدوا أن التنبؤ لم يضف أي قيمة بل أدى أحيانًا إلى إبطاء الأمور. نظرًا لأن "بيفي" يبقي رابط التخزين مشغولًا جدًا بجلب الكتب الدقيقة المطلوبة للطلبات الجاهزة، فلا يوجد وقت فراغ متبقٍ لجلب الكتب المتنبأ بها. علاوة على على ذلك، عندما يحاول النظام التنبؤ، فإنه غالبًا ما يخطئ، مما يهدر عرض النطاق الترددي في جلب كتب لن تُستخدم أبدًا. وخلص الباحثون في هذه البيئة المحددة، حيث تحتوي الذاكرة المؤقتة المحلية بالفعل على العديد من العناصر المطلوبة، إلى أن فعل التنبؤ ليس غير ضروري فحسب، بل هو ضار أيضًا. المسار الأكثر كفاءة هو ترك الطلبات تكشف عن احتياجاتها أثناء تقدمها، وجدولة العمل بحيث يكون النظام دائمًا يفعل شيئًا مفيدًا، سواء كان ذلك الحوسبة أو الجلب.
يشير هذا العمل إلى تحول جوهري في كيفية إدارة الذكاء الاصطناعي المحلي. فهو يظهر أن الكفاءة لا تأتي دائمًا من محاولة أن تكون أكثر ذكاءً بشأن المستقبل، بل من كونك أكثر استجابة للحاضر. ومن خلال السماح للمهام بالمضي قدمًا بسرعتها الخاصة وتجميعها فقط عندما يكون ذلك منطقيًا، يقضي النظام على وقت الخمول الذي عانى منه الذكاء الاصطناعي المحلي لفترة طويلة. تستند النتائج إلى قياسات ملموسة للإنتاجية والتوقيت عبر إعدادات أجهزة متعددة، مما يوفر صورة واضحة لكيفية أداء طريقة الجدولة الجديدة هذه في ظروف العالم الحقيقي. لم يدّع الباحثون أن هذا يحل كل مشاكل الاستدلال المحلي، لكنهم أثبتوا أنه بالنسبة للتحدي المحدد المتمثل في تشغيل نماذج ضخمة ومتعطشة للذاكرة على الأجهزة الشخصية، فإن تغييرًا بسيطًا في ترتيب العمليات يمكن أن يؤدي إلى تحسينات هائلة. يقف نظام "بيفي" كمثال عملي لكيفية أن إعادة التفكير في تدفق العمل يمكن أن يطلق العنان للإمكانات الكاملة للأجهزة الموجودة، مما يجعل الذكاء القوي أسرع وأكثر استجابة مباشرة على مكتب المستخدم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.