High-Layer Attention Pruning with Rescaling
تقدم هذه الورقة البحثية طريقة "تقليم الانتباه في الطبقات العليا مع إعادة القياس" (HARP)، وهي طريقة جديدة لا تتطلب تدريباً تعمل على إزالة رؤوس الانتباه استراتيجياً من الطبقات العليا للنماذج اللغوية الكبيرة وتطبيق إعادة قياس تكيفية للحفاظ على مقدار التمثيل، مما يحقق أداءً فائقاً عبر مهام التوليد والتمييز المتنوعة مقارنة بتقنيات التقليم الهيكلي الحالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك عقل روبوت فائق الذكاء، "نموذج لغوي كبير" (LLM)، يمكنه كتابة القصص، وحل المسائل الرياضية، والدردشة كالبشر. هذه العقول قوية للغاية، لكنها ضخمة جدًا—مثل محاولة حمل مكتبة كاملة في حقيبة ظهرك. ولأنها ضخمة جدًا، فهي بطيئة في التفكير وتستهلك مساحة كبيرة، مما يجعل من الصعب استخدامها على الهواتف أو أجهزة الكمبيوتر المحمولة العادية. ولحل هذه المشكلة، يستخدم العلماء تقنية تسمى "التقليم" (Pruning). فكر في التقليم مثل تقليم شجرة "بونساي": أنت تقص الأغصان التي لا تقوم بعمل كبير بعناية حتى تظل الشجرة صحية ولكن تصبح أصغر وأسرع.
عادةً، عندما يقوم الناس بتقليم هذه العقول الروبوتية، فإنهم ينظرون إلى "رؤوس الانتباه" (attention heads)—وهي الأجزاء الصغيرة من الدماغ التي تساعد النموذج على تحديد مدى أهمية الكلمات لبعضها البعض. تخيل هذه الرؤوس كفريق من المحققين في غرفة، كل واحد منهم يراقب دليلًا مختلفًا. كانت الطريقة القديمة للتقليم هي مجرد اختيار عدد قليل من المحققين من كل غرفة وطردهم، على أمل أن يظل الفريق يعمل. لكن هذا البحث يقترح أن هذه ليست أذكى طريقة للقيام بذلك. فقد تبين أن في الطوابق العليا جدًا من المبنى (الطبقات العليا للنموذج)، غالبًا ما يكون المحققون مجرد مكررين لما قاله من هم تحتهم بالفعل. إنهم لا يضيفون قيمة جديدة تذكر. أراد مؤلفو هذا البحث، سونغتاو ليو وبينغ ليو من جامعة بنسلفانيا، معرفة ما إذا كان بإمكاننا الحصول على نتيجة أفضل من خلال تقليم المحققين من الطوابق العليا فقط وترك المجتهدين في الطوابق السفలు وحدهم. كما توصلوا إلى حيلة ذكية للتأكد من أن الدماغ لن يصاب بالارتباك عند إزالة هؤلاء المحققين من الطوابق العليا.
الفكرة الكبرى: القص من الأعلى، وليس من المنتصف
اقترح الباحثون طريقة جديدة تسمى HARP (تقليم انتباه الطبقات العليا المعاد ضبطه). اكتشافهم الرئيسي هو أن "الطبقات العليا" في النموذج اللغوي الكبير هي في الواقع أقل أهمية من الطبقات الدنيا. لفهم ذلك، تخيل سباق تتابع. العداءون في البداية (الطبقات الدنيا) يقومون بالعمل الشاق، حيث يحددون الشكل الأساسي للكلمات والجمل. ومع انتقال العصا عبر المسار إلى الطبقات العليا، يصبح العداءون مجرد ناقلين لها. وبحلول الوقت الذي تصل فيه العصا إلى أعلى المسار تمامًا، يكون العداءون متناغمين للغاية لدرجة أنهم جميعًا يفعلون الشيء نفسه بالضبط. إذا أزلت عداءً من أعلى المسار، فإن السباق لن يتغير حقًا لأنهم كانوا ينسخون الشخص الذي تحتهم فحسب.
وجد المؤلفون أنه إذا قمت بالتقليم (قص) رؤوس الانتباه في هذه الطبقات العليا، فإن النموذج يعمل في الواقع بشكل أفضل مما لو كنت تقصهم عشوائيًا من كل مكان. لقد اختبروا ذلك على عدة نماذج شهيرة مثل LLaMA3.1-8B وMistral-7B وQwen2-7B وGemma2-9B. وفي تجاربهم، قاموا بإزالة رؤوس انتباه محددة من أعلى 8 طبقات في النماذج.
حيلة "مقبض التحكم في الصوت"
كان هناك عقبة، وهي أن إزالة هؤلاء المحققين من الطبقة العليا تجعل الإشارة التي يرسلها الدماغ أهدأ أو أعلى قليلاً مما كانت عليه من قبل. الأمر يشبه إذا أزلت مكبر صوت من نظام ستيريو؛ قد يستمر الموسيقى في العمل، لكن مستوى الصوت سيكون غير مضبوط، وقد يصبح الصوت مشوهاً. ولإصلاح ذلك، قدم المؤلفون "معامل إعادة القياس" (rescaling parameter). فكر في هذا كأنه مقبض للتحكم في الصوت أو مفتاح خافت للإضاءة. بعد قص الطبقات العليا، قاموا بتدوير هذا المقبض لضبط حجم الإشارات، مما يضمن أن الأجزاء المتبقية من الدماغ يمكنها سماع بعضها البعض بوضوح. لم يكتفوا بالتخمين للوصول إلى الإعداد الصحيح؛ بل استخدموا طريقة بحث ذكية للعثور على المستوى المثالي للصوت، حيث اختبروا أرقامًا مختلفة حتى يبدو صوت النموذج في أفضل حالاته.
ماذا وجدوا؟
كانت النتائج مثيرة للإعجاب حقًا. فعندما اختبروا طريقة HARP على 27 مهمة مختلفة—تتراوح من الإجابة على أسئلة المعلومات العامة إلى حل المسائل الرياضية المعقدة وتلخيص الوثائق الطويلة—تفوقوا باستمرار على طرق التقليم الأخرى الشهيرة.
- مهام التوليد (Generation Tasks): هذا هو المكان الذي يتعين فيه على النموذج كتابة أشياء جديدة، مثل حل مسألة رياضية خطوة بخطوة. هنا، تألقت طريقة HARP أكثر من غيرها. على سبيل المثال، في نموذج LLaMA3.1-8B، حصلت HARP على متوسط درجة 31.10% في مهام التوليد، بينما حصلت الطريقة التالية الأفضل على 20.58% فقط. هذه قفزة هائلة!
- السياق الطويل (Long Context): نظر البحث أيضًا في مدى قدرة النماذج على التعامل مع القصص أو الوثائق الطويلة جدًا (حتى 65,536 توكن). ولأن آلية الانتباه هي الجزء الذي يصبح أبطأ مع النصوص الطويلة، فإن قص الطبقات العليا جعل النموذج أسرع بشكل ملحوظ. فقد وجدوا أنه بالنسبة لتسلسل مكون من 65,536 توكن، كان نموذجهم المقلم أسرع بنسبة 16.7% من النموذج الأصلي غير المقلم، مع الحفاظ على الجودة العالية.
- المهام التمييزية (Discriminative Tasks): هذه هي المهام التي يختار فيها النموذج الإجابة الصحيحة من قائمة (مثل اختبار الاختيار من متعدد). هنا، كان التحسن أصغر ولكنه ظل إيجابيًا. أدت HARP أداءً يضاهي أو يتفوق على الطرق الأخرى، مما يظهر أن قص الطبقات العليا لم يفسد قدرة النموذج على فهم الحقائق.
لماذا هذا مهم؟
يشير المؤلفون إلى أن هذه الطريقة تعد نقطة تحول لجعل الذكاء الاصطناعي أسرع وأرخص في التشغيل دون الحاجة إلى إعادة تدريب النموذج بالكامل من الصفر. فمن خلال إدراك أن الطوابق العليا في مبنى الذكاء الاصطناعي هي الأكثر "تكرارًا" (أي تقوم بأقل قدر من العمل الفريد)، يمكنهم تقليم الزوائد دون إلحاق الضرر بالعضلات. وتضمن حيلة "إعادة القياس" أن النموذج لن يشعر بالدوار عند إزالة تلك الأجزاء.
باختصار، يجادل البحث بأنه لا ينبغي لنا معاملة جميع أجزاء عقل الذكاء الاصطناعي بنفس الطريقة. تمامًا مثل ناطحة السحاب، قد تكون الطوابق العليا أقل أهمية للبنية التحتية من الطوابق الأساسية. ومن خلال تقليم الجزء العلوي بعناية وضبط مستوى الصوت، يمكننا جعل هذه العقول الضخمة للذكاء الاصطناعي أصغر، وأسرع، وجاهزة للاستخدام اليومي. الكود الخاص بهذه الطريقة متاح لأي شخص لتجربته، ويأمل المؤلفون أن يساعد ذلك في جعل الذكاء الاصطناعي ذو السياق الطويل (مثل قراءة كتب كاملة في ثوانٍ) أكثر عملية في العالم الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.