WIDE: Boosting Adaptive LLM Inference via Token-level Dynamic Width Pruning
تقدم الورقة البحثية WIDE، وهو أول إطار عمل قابل للتفاضل من طرف إلى طرف يتيح تقليم العرض الديناميكي على مستوى الرمز (token-level) للنماذج اللغوية الكبيرة عبر السماح بالاختيار الدقيق لرؤوس الانتباه وقنوات الشبكات العصبية المغذية (FFN)، مقترناً بتصميم مشترك متخصص للنواة (kernel co-design) لتحقيق تسريع كبير في الاستنتاج من طرف إلى طرف مع الحفاظ على دقة عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تشغيل دماغ روبوت ضخم وذكي للغاية على جهاز صغير يعمل بالبطارية. هذا الدماغ الروبوتي هو نموذج لغوي كبير (LLM)، وهو نوع من الذكاء الاصطناعي يمكنه كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. لكن المشكلة تكمن في أن هذه الأدمغة ضخمة جدًا؛ فهي كبيرة جدًا وتستهلك الكثير من الطاقة لدرجة أنها تتطلب عادةً حواسيب فائقة لتشغيلها، مما يجعل استخدامها بطيئًا ومكلفًا على هاتفك أو حاسوبك المحمول.
لحل هذه المشكلة، حاول العلماء "تقليم" هذه الأدمغة. فكر في التقليم كعملية تقليم شجيرة ضخمة وطويلة جدًا؛ حيث تقص الأغصان التي لا تقوم بعمل كبير لجعل النبتة أصغر وأسرع. لفترة طويلة، كانت أفضل طريقة للقيام بذلك هي قطع أجزاء كاملة من الشجيرة بشكل دائم، بغض النظر عما تحاول النبتة فعله في ذلك اليوم. لكن هذه الطريقة كانت خرقاء بعض الشيء؛ فأحيانًا قد تقطع غصنًا كان مطلوبًا بالفعل لمهمة معينة، مما يجعل الروبوت كثير النسيان. مؤخرًا، اختُرعت طرق أكثر ذكاءً تسمح للروبوت بتقرير الأجزاء التي سيستخدمها أثناء التفكير. ومع ذلك، كانت هذه الطرق الذكية لا تزال خشنة بعض الشيء؛ إذ كانت إما تستخدم قسمًا كاملاً أو تتخطاه تمامًا، مثل اتخاذ قرار باستخدام غرفة كاملة أو ترك المنزل بأكره فارغًا، بدلًا من مجرد تشغيل بعض المصابيح المحددة.
يقدم هذا البحث نظامًا جديدًا يسمى WIDE (الاستدلال القائم على العرض مع التنفيذ الديناميكي - Width-based Inference with Dynamic Execution). إنه يشبه منح الروبوت مفتاح تحكم دقيق للغاية (مفتاح تعتيم) لكل مصباح في دماغه. فبدلًا من تشغيل أو إطفاء غرف كاملة، يسمح WIDE للروبوت بأن يقرر ديناميكيًا، لكل كلمة يعالجها، أي مجموعات صغيرة من الخلايا العصبية يجب أن تضيء وأيها يجب أن تظل مظلمة. قام الباحثون ببناء "مراقب حركة مرور" خاص (موجه/router) يتعلم اتخاذ هذه القرارات السريعة. كما صمموا طريقة جديدة ليتعامل معها عتاد الحاسوب (Hardware) دون أن يرتبك أو يتباطأ. والنتيجة هي أن الروبوت يظل بنفس الذكاء السابق، ولكنه يعمل بشكل أسرع ويستهلك طاقة أقل، حتى عندما يقطعون نصف سعة دماغه.
المشكلة: فخ "الكل أو لا شيء"
تخيل أنك طاهٍ يدير مطبخًا ضخمًا. لديك مئات الطهاة (الخلايا العصبية) يعملون معًا لطهي وجبة. في الأيام الخوالي، إذا كنت تريد توفير الوقت، فقد تقوم بفصل نصف طاقم المطبخ بشكل دائم. هذا يعمل جيدًا إذا كنت تطهو دائمًا نفس الطبق البسيط، ولكن إذا احتجت فجأة إلى خبز كعكة معقدة، فقد تكون قد فصلت الخباز الوحيد الذي تحتاجه. هذا ما يحدث في التقليم الثابت (Static Pruning): يتم تقليم النموذج مرة واحدة وإلى الأبد، بغض النظر عن السؤال المحدد الذي يجيب عليه.
ثم جاء التقليم الديناميكي (Dynamic Pruning)، والذي كان يشبه توظيف مدير يمكنه إخبار الطهاة: "مهلاً، بالنسبة لهذا الطلب تحديدًا، نحتاج فقط إلى محطة الشواء؛ يمكن للمخبز أن يأخذ استراحة". كان هذا أفضل، لكن المدير كان لا يزال خرقًا بعض الشيء. فقد كان يقول: "تخطوا المخبز بأكمله"، حتى لو كان المخبز يحتاج فقط إلى استخدام فرنين من أصل عشرة. لقد كان قرارًا من نوع "الكل أو لا شيء" لأجزاء كبيرة من المطبخ.
المشكلة هي أن نماذج الذكاء الاصطناعي الحديثة معقدة للغاية، بحيث إن تخطي جزء كبير منها غالبًا ما يؤدي إلى التخلص من معلومات مفيدة، مما يضر بجودة الإجابة. بالإضافة إلى ذلك، إذا استمر المدير في تغيير الجدول الزمني كل ثانية، فسيصاب طاقم المطبخ بالارتباك، ولن تزداد سرعة الطهي الفعلية كثيرًا بسبب عبء التبديل المستمر.
الحل: "مفتاح التعتيم" الخاص بـ WIDE
جاء مبتكروا WIDE، الذين يعملون في معهد نينغبو للتوأم الرقمي وجامعة LMU ميونخ، بهذا الحل. فبدلًا من فصل أقسام كاملة أو تخطي غرف كاملة، يسمح WIDE للنموذج بأن يقرر، لكل كلمة (Token) يعالجها، أي مجموعات صغيرة من الخلايا العصبية يجب تنشيطها بالضبط.
فكر في دماغ النموذج كشبكة ضخمة من مفاتيح الإضاءة.
- الطرق الديناميكية القديمة: "أطفئ الجناح الأيسر للمنزل بأكمبله".
- طريقة WIDE: "لهذه الكلمة المحددة، أشعل الأضواء في المطبخ، ولكن فقط تلك الموجودة فوق الموقد والثلاجة. اترك بقية المطبخ مظلمًا".
يقوم WIDE بذلك عن طريق استخدام "موجه" (Router) خفيف الوزن (صانع قرار صغير) متصل بكل طبقة من طبقات النموذج. ينظر هذا الموجه إلى الكلمة الحالية ويسأل: "هل أحتاج إلى هذه المجموعة من رؤوس الانتباه (الأجزاء التي تنظر إلى الكلمات الأخرى)؟" و "هل أحتاج إلى هذه المجموعة من قنوات الـ FFN (الأجزاء التي تعالج المعنى)؟". ثم يتخذ قرارًا ثنائيًا: استخدم هذه المجموعة أو تخطاها.
الأمر الجوهري هو أن WIDE لا يتوقف عند اتخاذ القرار فحسب؛ بل يحل مشكلة العتاد (Hardware). عادةً، إذا أخبرت الحاسوب بتخطي أجزاء عشوائية من عملية حسابية، فسوف يتباطأ الحاسوب في محاولة معرفة مكان البيانات. يستخدم WIDE خدعة ذكية تسمى إعادة ترتيب القناع (Mask Reordering). تخيل أن لديك كومة فوضوية من البريد حيث بعض الرسائل مخصصة للتسليم وبعضها للقمامة. بدلًا من رمي القمامة أولًا ثم محاولة فرز البريد، يقوم WIDE أولًا بخلط الكومة بحيث تصبح جميع رسائل "الاحتفاظ" في الأعلى في كتلة مرتبة، وجميع رسائل "القمامة" في الأسفل. وهذا يسمح للحاسوب بمعالجة كتلة "الاحتفاظ" بكفاءة عالية دون التوقف للتحقق من كل قطعة بريد على حدة.
ماذا وجدوا: السرعة والذكاء
اختبر الباحثون WIDE على نماذج ذكاء اصطناعي شهيرة مثل Llama 3.1 (بـ 8 مليارات معلمة) و Llama 3.2 (بـ 3 مليارات معلمة). وقارنوا النتائج مع أفضل الطرق الموجودة حاليًا للتقليم الثابت والديناميكي.
إليك ما تشير إليه الأرقام:
- تقليم أذكى: عندما قطعوا 50% من سعة النموذج (وهو تقليم عدواني للغاية)، حافظ WIDE على ذكاء النموذج بشكل أفضل من أي طريقة أخرى. على سبيل المثال، في نموذج Llama 3.1، احتفظ WIDE بـ 86.42% من دقة النموذج الأصلية، بينما احتفظت أفضل طريقة ديناميكية تالية (SkipGPT) بـ 59.42% فقط. وحتى بدون ضبط دقيق إضافي، كان WIDE يتفوق بالفعل على أفضل الطرق الثابتة.
- السرعة في العالم الحقيقي: قاس البحث مدى سرعة تشغيل النموذج فعليًا. في مرحلة "التحضير" (Prefill) (قراءة نص طويل)، كان WIDE أسرع بمقدار 1.68 مرة من النموذج الأصلي. وفي مرحلة "التوليد" (Decode) (إنشاء الإجابة كلمة بكلمة)، كان أسرع بمقدار 1.55 مرة.
- سحر مستوى النواة (Kernel-Level): إذا نظرت فقط إلى العمليات الحسابية (متجاهلاً الأعباء الإضافية الأخرى)، فإن التسريع كان أكثر دراماتيكية، حيث وصل إلى 1.98x في مرحلة التحضير و 4.95x في مرحلة التوليد. يشير هذا إلى أن العائق كان الطريقة غير الفعالة التي تتعامل بها الطرق السابقة مع عملية "التخطي"، وأن تصميم WIDE الجديد للعتاد قد عالج ذلك.
وجد المؤلفون أيضًا أن النموذج تعلم أن يكون استراتيجيًا للغاية. لم يكن يتخطى أجزاءً عشوائية فحسب؛ بل تعلم تخطي الكلمات "المملة" (مثل "الـ" أو "في") والاحتفاظ بالكلمات "المهمة" (مثل "يجري" أو "مضمار"). في أحد الاختبارات، تخطى النموذج 66% من عمل الانتباه لكنه تخطى 28% فقط من عمليات المعالجة، مما أظهر أنه عرف تمامًا أين يوفر الطاقة.
الخلاصة
يشير WIFDE إلى أن مستقبل الذكاء الاصطناعي الفعال لا يقتصر فقط على جعل النموذج أصغر، بل يتعلق بجعل النموذج أكثر ذكاءً في كيفية استخدام أجزائه المتبقية. من خلال الانتقال من "تخطي الغرفة بأكملها" إلى "تعتيم الأضواء المحددة"، ومن خلال إعادة تصميم المطبخ للتعامل مع هذه المفاتيح بكفاءة، نجح المؤلفون في إنشاء إطار عمل يجعل نماذج الذكاء الاصطناعي الكبيرة أسرع وأكثر كفاءة بشكل ملحوظ دون جعلها تفقد ذكاءها.
بينما تبدو النتائج واعدة، يشير البحث إلى أن هذا حل مخصص لعتاد GPU (الرقائق الموجودة في الحواسيب) ويعتمد على عملية تدريب من مرحلتين حيث يتعلم النموذج أولاً اتخاذ القرارات ثم يحصل على ضبط سريع لاستعادة أي دقة مفقودة. إنها خطوة مهمة للأمام نحو جعل الذكاء الاصطناوي القوي متاحًا على الأجهزة اليومية، مما يثبت أنك لا تحتاج إلى دماغ ضخم لتكون ذكيًا — أنت فقط بحاجة إلى معرفة الأجزاء التي يجب استخدامها في الوقت المناسب.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.