Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs
تقدم هذه الورقة البحثية MoEXBench، وهو معيار منهجي يقيم التفاعلات المعقدة وكفاءة النشر لدمج تقنيات تقليم الخبراء (expert pruning)، وتكميم الأوزان (weight quantization)، وضغط ذاكرة التخزين المؤقت للمفاتيح والقيم (KV-cache compression) عبر نماذج لغوية كبيرة متنوعة من نوع "خليط الخبراء" (Mixture-of-Experts)، كاشفةً أن أداءها المشترك لا يمكن التنبؤ به من خلال تقييمات التقنيات المنفصلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تُعد النماذج اللغوية الكبيرة هي المحركات الكامنة وراء العديد من أدوات الذكاء الاصطناعي الأكثر تقدمًا في يومنا هذا، وهي قادرة على كتابة الأكواد البرمجية، وحل المسائل الرياضية المعقدة، وإجراء محادثات تبدو بشرية بشكل مدهش. ولتحقيق هذا المستوى من الذكاء، تُبنى هذه النماذج بمليارات المعلمات (parameters)، والتي هي في الأساس بمثابة مقابض ومفاتيح داخلية تحدد كيفية تفكير النظام. ومع ذلك، فإن هذا الحجم الهائل يخلق مشكلة كبيرة: فالنماذج ضخمة جدًا لدرجة أنها تتطلب كميات هائلة من ذاكرة الكمبيوتر لتشغيلها، مما يجعل من الصعب تثبيتها على أجهزة الكمبيوتر المحمولة أو الخوادم العادية. ولحل هذه المشكلة، طور الباحثون نوعًا محددًا من النماذج يسمى "خليط الخبراء" (Mixture-of-Experts). فبدلاً من استخدام كل جزء من أجزاء الدماغ لكل سؤال، تقوم هذه النماذج بتوجيه كل قطعة من المعلومات إلى مجموعة صغيرة ومتخصصة فقط من الخبراء، مما يحافظ على حجم العمل النشط ضمن حدود يمكن إدارتها مع الحفاظ على قدرة إجمالية هائلة. ومع ذلك، لا تزال التحديات قائمة؛ فحتى مع هذه الكفاءة، فإن الحجم الهائل للبيانات التي تحتاجها هذه النماذج لتخزينها والعمليات الحسابية المعقدة التي تؤديها أثناء المحادثات الطويلة لا تزال ترهق الأجهزة العادية.
لقد وضع فريق من الباحثين هدفًا لفهم كيفية جعل هذه النماذج القوية تتناسب مع أجهزة الكمبيوتر اليومية دون فقدان ذكائها. وركزوا على ثلاث طرق رئيسية لتقليص حجم هذه النماذج: إزالة الخبراء غير المستخدمين، وتقليل دقة الأرقام التي يستخدمها النموذج، وضغط الذاكرة المطلوبة للمحادثات الطويلة. وبينما تمت دراسة كل طريقة من هذه الطرق بشكل مستقل، لم يقم أحد باختبار ما يحدث عند دمج هذه الطرق معًا بشكل منهجي. قام الباحثون ببناء إطار اختبار شامل لمحاكاة العملية الكاملة لأخذ نموذج ضخم وضغطه للاستخدام في العالم الحقيقي. واختبروا عشرة نماذج مختلفة ذات أحجام وتصامم متنوعة، وطبقوا مجموعات مختلفة من تقنيات الضغط هذه لمعرفة كيفية تفاعلها. لم يكن هدفهم مجرد معرفة ما إذا كانت النماذج ستصبح أصغر حجمًا، بل قياس مدى انخفاض أدائها بدقة، وما إذا كان الحجم الأصغر سيترجم بالفعل إلى سرعات أعلى على الأجهزة الحقيقية.
كشفت الدراسة عن حقيقة مفاجئة: وهي أن مقدار المساحة التي يتم توفيرها لا يتنبأ بمقدار الذكاء المفقود. ووجد الباحثون أن استبعاد الخبراء غير المستخدمين، وهي عملية تُعرف باسم "التقليم" (pruning)، تسببت في ضرر أكبر بكثير لقدرة النموذج على التفكير والاستنتاج مقارنة بمجرد تقليل دقة أرقامه الداخلية. في الواقع، يمكن أن يؤدي إزالة جزء صغير نسبيًا من الخبراء إلى تدهور الأداء بشكل كبير، بينما كان التأثير الأخف بكثير ناتجًا عن التقليل الشديد لعمق البتات (bit-depth) للأوزان. وهذا يعني أن الطريقة المحددة المستخدمة لتقليص حجم النموذج تهم أكثر بكثير من النسبة المئوية الإجمالية لتقليل الحجم. علاوة على ذلك، وجد الباحثون أن بنية النموذج، أو تصميمه الداخلي، لعبت دورًا أكبر في مدى صموده أمام الضغط مقارنة بحجمه الإجمالي. فلم يكن النموذج الأكبر بالضرورة أكثر متانة؛ إذ تعاملت بعض النماذج الأصغر ذات التصميم المختلف بشكل أفضل مع الضغط من نظيراتها الضخمة.
وكان هناك اكتشاف آخر بالغ الأهمية، وهو أن متوسط أداء النموذج المضغوط قد يكون مضللاً. فبينما قد يحتفظ النموذج بدرجة عالية إجمالاً، إلا أنه قد يفشل فشلاً ذريعًا في مهام معينة، مثل البرمجة أو اتباع التعليمات المعقدة، بينما يؤدي جيدًا في مهام أخرى. كما فحص الباحثون كيفية سلوك هذه النماذج المضغوطة على شرائح الكمبيوتر الفعلية، بما في ذلك بطاقات الرسوميات عالية الأداء والمعالجات الموجودة في أجهزة الكمبيوتر المحمولة الحديثة. ووجدوا أن جعل النموذج أصغر لا يجعله أسرع تلقائيًا. فبينما نجح الضغط في تقليل الذاكرة المطلوبة لتشغيل النموذج، إلا أن الوقت المستغرق لمعالجة المعلومات لم يتحسن دائمًا بشكل متناسب. وفي بعض الحالات، أدى إضافة المزيد من طبقات الضغط إلى إبطاء النموذج لأن الكمبيوتر كان يضطر لقضاء وقت إضافي في فك ضغط البيانات. وكان هذا صحيحًا بشكل خاص في المحادثات الطويلة، حيث كانت الخطوات الإضافية اللازمة لإدارة الذاكرة المضغوطة تعوض الفوائد الناتجة عن تقليل كمية البيانات التي يتم نقلها.
خلص الباحثون إلى أنه لا توجد طريقة واحدة "مثلى" لضغط هذه النماذج. وبدلاً من ذلك، يجب النظر إلى العملية كعملية توازن دقيقة حيث يعتمد اختيار التقنية بشكل كبير على الأجهزة المستهدفة والاستخدام المقصود. ووجدوا أن "تقليم الخبراء" هو الخطوة الأكثر عدوانية وخطورة، وغالبًا ما يهيمن على فقدان الجودة، بينما يعد تقليل دقة الأرقام خطوة أولى أكثر أمانًا. أما ضغط الذاكرة المستخدمة للسياقات الطويلة فيساعد في توفير المساحة ولكنه لا يضمن زيادة في السرعة، بل يمكن في بعض السيناريوهات أن يؤدي إلى إبطاء العمل. وتشير الدراسة إلى أنه لا ينبغي للمطورين مجرد السعي وراء أصغر حجم ملف ممكن، بل يجب عليهم اختبار سلسلة عمليات الضغط بأكملها معًا على أجهزتهم المستهدفة للعثور على النقطة المثالية حيث يظل النموذج دقيقًا وسريع الاستجابة. ومن خلال تقديم خريطة واضحة لكيفية تفاعل طرق الضغط المختلفة هذه، قدم الباحثون دليلاً عمليًا لنشر هذه الأنظمة الذكية القوية على الأجهزة التي نستخدمها كل يوم.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.