← أحدث الأبحاث
🤖 machine learning

Every Expert Counts: ExactMoE for Memory-Efficient W4A16 Inference

يُعد ExactMoE إطار عمل استنتاجي فعال من حيث استهلاك الذاكرة لنماذج خليط الخبراء (Mixture-of-Experts) بتنسيق W4A16، حيث يقوم بتكميم الخبراء الموجهين فقط ويستخدم ذاكرة تخزين مؤقت للمنافذ (slot cache) مستقرة في وحدة معالجة الرسومات لتحقيق تقليل في ذاكرة وحدة معالجة الرسومات يصل إلى 87% مع الحفاظ على أكثر من 99% من دقة النموذج الأساسي وتحسين الإنتاجية بشكل كبير مقارنة بالتنفيذ المتسلسل.

المؤلفون الأصليون: Amjad Saab

نُشر 2026-08-18
📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة
CC BY 4.0

المؤلفون الأصليون: Amjad Saab

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تعتمد الذكاء الاصطناعي الحديث غالبًا على أدمغة رقمية ضخمة تحتوي على مليارات المعلمات (parameters)، وهي بمثابة مقابض قابلة للضبط تحدد كيفية تفكير النظام. ولجعل هذه الأنظمة أسرع وأكثر كفاءة، طور المهندسون تصميمًا يُسمى "خليط الخبراء المتفرق" (sparse mixture of experts). تخيل مكتبة حيث، بدلًا من ترك كل الكتب مفتوحة على الطاولة لكل قارئ، يتم سحب عدد قليل من المجلدات المحددة فقط للإجابة على سؤال معين. في هذه النماذج، تكون "الكتب" عبارة عن شبكات فرعية متخصصة تُسمى "الخبراء". فلكل قطعة نص يعالجها النموذج، يقرر "الموجه" (router) أي مجموعة صغيرة من الخبراء سيتم تفعيلها، تاركًا البقية في حالة خمول. هذا النهج المشروط يوفر قدرًا هائلًا من قوة الحوسبة أثناء عملية التفكير. ومع ذلك، لا تزال هناك عقبة كبيرة تواجه أي شخص يحاول تشغيل هذه النماذج على أجهزة قياسية: فبالرغم من أن معظم الخبراء لا يُستخدمون لمهمة معينة، إلا أنه يجب تخزين "مكتبة الخبراء" بأكملها في ذاكرة الكمبيوتر. وغالبًا ما يجبر هذا المتطلب النظام على استخدام بطاقات رسوميات باهظة الثمن وذات سعة عالية، أو يؤدي إلى إبطائه بشكل كبير أثناء نقل البيانات بين أنواع مختلفة من الذاكرة.

اقترح أحد الباحثين طريقة جديدة تسمى "ExactMoE" تعالج مشكلة التخزين والسرعة هذه دون التضحو بقدرة النموذج على الوصول إلى قاعدة معرفته الكاملة. يركز نهجهم على نوع محدد من ضغط الذاكرة الفعال المعروف باسم "التكميم رباعي البت" (four-bit quantization). وببساط، تعمل هذه التقنية على تقليل دقة الأرقام المستخدمة لتمثيل أوزان الخبراء، مما يقلص حجمها بشكل كبير مع الحفاظ على قابليتها للاستخدام. ويكمن الابتكار في كيفية إدارة هذه البيانات المضغوطة؛ فبدلاً من محاولة حشر المكتبة الضخمة بأكملها في الذاكرة السريعة والمحدودة لبطاقة الرسوميات، يقوم الباحث بتخزين الخبراء المضغوطين في الذاكرة الرئيسية للكمبيوتر. ثم يستخدم نظامًا ذكيًا ومرنًا لنقل الخبراء المطلوبين للحظة الحالية فقط إلى ذاكرة بطاقة الرسوميات، وتنفيذهم في مجموعات (batches) متراصة. ومن الأهمية بمكان أن يضمن هذا النظام بقاء كل خبير متاحًا وتفيذه تمامًا كما يوجهه موجه النموذج، دون التخلص من أي جزء من المكتبة الأصلية أو استبداله.

اختبر الباحث هذا النظام على نموذج لغوي ضخم مفتوح المصدر يُعرف باسم "OLMoE"، وقام بتشغيله على بطاقة رسوميات واحدة من فئة المستهلكين. وقارن طريقته الجديدة بالنسخة القياسية غير المضغوطة من النموذج. وأظهرت النتائج انخفاضًا هائلاً في الذاكرة المطلوبة لتشغيل النظام. فعند استخدام تكوين يبقي عددًا معتدلًا من الخبراء جاهزين في ذاكرة بطاقة الرسوميات في أي وقت، انخفض ذروة استخدام الذاكرة بنسبة تقارب 87 بالمائة. سمح هذا التوفير الهائل للنموذج بالعمل على أجهزة كانت ستكون أصغر من أن تتحمله لولا ذلك. ومن حيث السرعة، كان النموذج المضغوط أبطأ قليلاً من النسخة القياسية في بعض الإعدادات، لكنه استطاع اللحاق بها بل وتجاوزها في حالات أخرى عندما تم استغلال الذاكرة بالكامل. وتحديدًا، عندما تم ضبط النظام لإبقاء جميع الخبراء مستقرين في ذاكرة بطاقة الرسوميات، عالج النص بسرعة أكبر بنسبة 47 بالمائة تقريبًا من النسخة القياسية، مع استهلاك ذاكرة إجمالية أقل بكثير.

وبعيدًا عن السرعة والذاكرة، حرص الباحث على قياس ما إذا كان هذا الضغط سيؤثر على جودة الإجابات التي ينتجها النموذج. فقد مرر النموذج عبر آلاف الأسئلة متعددة الخيارات التي تغطي مواضيع متنوعة، مقارنًا نتائج النسخة المضغوطة بالنسخة الأصلية. وكانت النتائج متقاربة بشكل مذهل؛ حيث احتفظ النموذج المضغوط بأكثر من 99 بالمائة من دقة النموذج الأصلي. ورغم وجود فرق ضئيل يمكن قياسه إحصائيًا في الأداء، إلا أن هذا الانخفاض كان صغيرًا جدًا لدرجة تشير إلى أن الطريقة قابلة للتطبيق في العالم الحقيقي. كما أظهرت الدراسة أن النظام، من خلال تجميع تنفيذ هؤلاء الخبراء معًا، يمكنه معالجة البيانات بكفاءة أكبر بكثير مما لو تعامل معهم واحدًا تلو الآخر، حيث ضاعف السرعة تقريبًا مقارنة بالنهج التسلسلي.

يسلط هذا العمل الضوء على حدود عملية حيث تتقاطع الذاكرة ونقل البيانات وسرعة المعالجة. ويؤكد الباحث أن طريقته لا تغير المنطق الأساسي لكيفية توجيه النموذج لأفكاره أو أي الخبراء يختار؛ بل تغير فقط كيفية تخزين هؤلاء الخباء ونقلهم. لا يزال الموجه يتخذ نفس القرارات، ويظل كل خبير مختار يؤدي حساباته. الفرق الوحيد هو أن الخبراء يتم تخزينهم بتنسيق مضغوط للغاية ويتم نقلهم في مجموعات فعالة بدلاً من إبقائهم في شكلهم الضخم الكامل. هذا التمييز حيوي لأنه يعني أن النظام يظل أمينًا لتصميم النموذج الأصلي، متجنبًا عيوب الطرق الأخرى التي قد تقوم بتقليم أو تعطيل بعض الخبراء بشكل دائم لتوفير المساحة.

في النهاية، يقدم هذا البحث مسارًا واضحًا لنشر النماذج اللغوية المتطورة على أجهزة أكثر سهولة في الوصول إليها. ومن خلال إثبات إمكانية جعل النموذج يحتفظ بمكتبة خبراء كاملة متاحة مع استخدام جزء ضئيل من الذاكرة، أظهر الباحث أن الذكاء الاصطناعي عالي الأداء لا يتطلب بالضرورة بنية تحتية ضخمة ومتخصصة. تعمل الطريقة من خلال التعامل مع الخبراء المضغوطين كمورد واحد موحد يمكن استدعاؤه واستخدامه عند الطلب، مما يضمن بقاء النموذج قادرًا وفعالًا. وبينما أُجريت الدراسة على نموذج محدد وإعدادات أجهزة معينة، فإن المبادئ تشير إلى إمكانات أوسع لجعل الذكاء الاصطناعي المتقدم متاحًا على نطاق أوسع، بشرًا ما تمت إدارة التوازن بين توفير الذاكرة ونقل البيانات بعناية. وتشير النتائج إلى أنه مع الهندسة الصحيحة، يمكن خفض الحاجز أمام تشغيل هذه الأنظمة المعقدة بشكل كبير دون المساس بالذكاء الذي تقدمه.

غارق في أبحاث مجالك؟

تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.

جرّب Digest →

أبحاث مشابهة

عرض الكل في هذا التصنيف 🤖 cs.LG →