Efficient LLMs with AMP: Attention Heads and MLP Pruning
تقدم هذه الورقة البحثية AMP، وهي طريقة تقليم هيكلية مبتكرة تضغط النماذج اللغوية الكبيرة بكفاءة عبر إزالة رؤوس الانتباه وهياكل MLP الأقل أهمية، مما يحقق خفضاً في المعلمات يصل إلى 30% مع حد أدنى من فقدان الأداء وتحسين سرعات الاستدلال عبر عائلات نماذج مختلفة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب كتابة الشعر، وحل الألغاز، والدردشة مثل البشر. هذا هو عالم النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الرقمية التي تقف وراء أكثر أنظمة الذكاء الاصطناعي تقدماً اليوم. فكر في هذه النماذج كأنها مكتبات ضخمة تحتوي على كل كتاب كُتب على الإطلاق، ولكن بدلاً من مجرد قراءتها، يمكنها فهم وإنشاء قصص جديدة فورياً. ومع ذلك، هناك عقبة: هذه المكتبات ضخمة جداً لدرجة أنها تتطلب خوادم عملاقة تستهلك الكثير من الطاقة لتشغيلها، مما يجعل استخدامها بطيئاً ومكلفاً. ولحل هذه المشكلة، يحاول العلماء تصغير حجم هذه النماذج دون فقدان ذكائها. إحدى الطرق الشائعة للقيام بذلك تسمى "التقليم" (Pruning). تخيل بستانياً يقلم شجيرة؛ فبدلاً من قطع الأوراق عشوائياً، يقوم بعناية بقص الأغصان التي لا تقوم بعمل كبير، تاركاً نباتاً أصغر وأسرع لا يزال يزهر بجمال. السؤال الكبير الذي يطرحه الباحثون هو: كيف نجد الأغصان الصحيحة لقصها بحيث تظل النبتة صحية، ولكن تنمو بشكل أسرع بكثير؟
هذا هو بالضبط ما عالجه مؤلفو هذه الورقة البحثية باستخدام طريقة جديدة أطلقوا عليها اسم AMP، والتي ترمز إلى تقليم رؤوس الانتباه والطبقات المتصلة (Attention Heads and MLP Pruning). لقد أدركوا أنه بينما حاولت الطرق الأخرى تقليم هذه الشجيرات الرقمية، إلا أنها غالباً ما كانت تقطع الكثير أو تستخدم أدوات معقدة تتطلب أجهزة خاصة ومكلفة. AMP تشبه مقص تقليم ذكياً وخفيف الوزن يمكنه تحديد الأجزاء التي تقوم بالفعل بالعمل الشاق والأجزاء التي لا تفعل شيئاً سوى المرافقة فقط.
تقدم الورقة البحثية حيلة ذكية لمعرفة ما يجب قصه. فبدلاً من مجرد النظر إلى الأوزان الثابتة (ذاكرة العضلات الداخلية للنموذج)، يقوم AMP بإسقاط بيانات المدخلات الفعلية (مثل جملة ما) على تلك الأوزان ليرى مدى استخدام النموذج لها فعلياً. الأمر يشبه التحقق من الأدوات التي تُستخدم بالفعل في صندوق الأدوات لبناء منزل، بدلاً من مج التخمين بناءً على مدى ثقل تلك الأدوات. إذا كان "رأس انتباه" معين (وهو جزء من النموذج يركز على كلمات مختلفة) أو "عصبون" في الطبقة الوسطى لا يساهم كثيراً في الإجابة النهائية، فإن AMP يحدد مكانه للإزالة.
النتائج واعدة للغاية. اختبر المؤلفون AMP على عدة نماذج شهيرة، بما في ذلك LLaMA وPhi. ووجدوا أنه من خلال إزالة حوالي 30% من الأجزاء الأقل أهمية، أصبحت النماذج أسرع بشكل ملحوظ — أسرع بمقدار 1.25 مرة في بعض الحالات — دون الحاجة إلى شرائح كمبيوتر خاصة. ومن حيث الدقة، تفوق AMP على أفضل الطرق الحالية لـ "التقليم الهيكلي" (Structured Pruning). فعلى سبيل المثال، في نموذج LLaMA 7B، تفوق على تقنيات التقليم الهيكلي الحالية بما يصل إلى 4.81 نقطة مئوية في متوسط دقة المهام. والأكثر إثارة للإعجاب، أنه في نموذج LLaMA-2 7B، تفوق على هذه الأسس الهيكلية نفسها بما يصل إلى 9.52 نقطة مئوية.
كان الباحثون حريصين أيضاً على إثبات أن طريقتهم تعمل بالفعل. فقد أجروا "فحص تماسك" (Coherence Check)، وهو بمثابة تجربة عكسية: حيث قاموا عمداً بقص الأجزاء الأكثر أهمية في النموذج بدلاً من الأقل أهمية. وكما كان متوقعاً، تعطل النموذج وأدى أداءً سيئاً للغاية. وقد أكد هذا أن AMP بارع حقاً في التمييز بين الأجزاء الأساسية وغير الأساسية. كما وجدوا أن قطع نوع واحد فقط من الأجزاء (مثل رؤوس الانتباه فقط) لم يكن كافياً؛ بل يجب تقليم كل من رؤوس الانتباه وعصبونات الطبقة الوسطى معاً للحصول على أفضل النتائج.
أحد أكثر الاكتشافات إثارة هو مدى كفاءة العملية برمتها. استغرقت عملية التقليم والضبط الدقيق بأكملها حوالي أربع ساعات فقط على بطاقة رسوميات قياسية للمستهلكين (NVIDIA RTX 3090)، حيث استغرقت خطوة التقليم الفعلية بضع دقائق فقط. وهذا يجعل الطريقة سهلة الوصول وتتماشى مع مبادئ "الذكاء الاصطناعي الأخضر" (Green AI)، حيث تقلل من الطاقة اللازمة لتشغيل هذه النماذج بنسبة تقارب 20%، مما يوفر المال والانبعاثات الكربونية.
باختصار، تشير الورقة البحثية إلى أن AMP هي طريقة فعالة ومرنة وسريعة لجعل نماذج الذكاء الاصطناعي الكبيرة أصغر وأسرع. فهي لا تتطلب أجهزة باهظة الثمن أو إعادة تدريب معقدة، وهي تتفوق باستمرار على طرق التقليم الهيكلي الحالية في الحفاظ على ذكاء النموذج مع جعله سريعاً. وبينما لاحظ المؤلفون أن النماذج الأصغر (مثل Phi-1.5) كانت أكثر حساسية للتقليم، فإن الرسالة العامة واضحة: مع استراتيجية التقليم الصحيحة، يمكننا جعل الذكاء الاصطناعي القوي أكثر عملية للاستخدام اليومي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.