Interpretability-Guided Soft Pruning of Attention Heads in Vision Transformers
تقدم هذه الورقة SAPER، وهو إطار عمل للتقليم الناعم الموجه بالتفسير، والذي يستفيد من التحليل الطيفي والتجميع الدلالي لرؤوس الانتباه لتقليل التكلفة الحسابية لنماذج "Vision Transformers" بكفاءة مع الحفاظ على دقة تصنيف عالية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالم الذكاء الاصطناعي كمدينة تقنية متطورة وصاخبة، حيث تتعلم الحواسيب كيف ترى العالم. في هذه المدينة، تُسمى المباني الأكثر قوة بـ "محولات الرؤية" (Vision Transformers). هذه ليست مجرد كاميرات بسيطة؛ بل هي هياكل ضخمة ومعقدة يمكنها التعرف على قطة، أو سيارة، أو سحابة بدقة مذهلة. وهي تفعل ذلك عن طريق تقسيم الصورة إلى قطع أحجية صغيرة وإرسالها عبر شبكة من "رؤوس الانتباه" (attention heads). فكر في هذه الرؤوس كفريق من المحققين المتخصصين، يقوم كل منهم بمسح الصورة بحثًا عن أدلة مختلفة؛ فبعضهم يبحث عن الحواف، والبعض الآخر عن الألوان، والبعض الآخر عن الشكل العام لشيء ما.
ومع ذلك، هناك عقبة. لكي يجعل المهندسون هؤلاء المحققين أذكياء للغاية، قاموا ببنائهم في ناطحات سحاب ضخمة تستهلك الكثير من الطاقة. هذه المباني كبيرة جدًا لدرجة أنها تتطلب كميات هائلة من الكهرباء وأجهزة كمبيوتر قوية لتشغيلها، مما يجعل من الصعب استخدامها على الأجهزة الصغيرة مثل الهواتف أو الروبوتات. السؤال الكبير الذي يطرحه العلماء هو: هل نحتاج حقًا إلى كل محقق في الفريق؟ أم أن بعضهم واقفون فقط، ينسخون عمل بعضهم البعض، أو ينظرون إلى أشياء لا تهم؟ إذا تمكنا من تسريح المحققين الفائضين عن الحاجة دون فقدان قدرة الفريق على حل الجرائم، فيمكننا تقليص ناطحة السحاب إلى كوخ صغير مريح، مما يوفر الطاقة ويجعل هذه الأنظمة الذكية متاحة للجميع.
هذا هو بالضبط اللغز الذي عالجه فريق من الباحثين الذين طوروا طريقة جديدة تسمى SAPER (مقص التقطيع بالانتباه الناعم - Soft Attention PrunER). لقد أدركوا أن التكرار في نماذج الذكاء الاصطناعي هذه ليس خطأً، بل هو في الواقع عرض جانبي لكيفية تدريب النماذج لتكون مرنة للغاية. نظرًا لأن النماذج تُدرّب على ملايين الصور دون تعليمات محددة، فإنها تبني مسارات احتياطية عديدة تحسبًا لأي طارئ. أراد الباحثون إيجاد طريقة لتحديد أي من "المحققين" يقومون بعمل فريد ومهم، وأيهم يكررون أنفسهم فقط، حتى يمكن إزالتهم بأمان.
لحل هذه المشكلة، اخترع الفريق أولاً طريقة جديدة لـ "رؤية" ما يفكر فيه كل محقق. لقد ابتكروا ما يسمى "خرائط لابلاتس" (Laplace maps)، وهي تشبه الخرائط الحرارية الملونة أو البصمات الطيفية لكل رأس انتباه. وبدلاً من مجرد النظر إلى الأرقام، تقوم هذه الخرائط بتحويل الرياضيات المعقدة لكيفية تركيز الرأس على صورة ما إلى نمط بصري. الأمر يشبه الاستماع إلى جوقة موسيقية وإدراك أنه بينما يغني بعض المغنين نفس النغمات، يغني آخرون ألحانًا مختلفة تمامًا. ومن خلال تحليل هذه الأنماط، اكتشف الباحثون أن "المحققين" ليسوا مرتبين في صفوف أنيقة فحך، بل يشكلون مجموعات وظيفية. فبعض الرؤوس في الطبقات الأولى من الشبكة تعمل مثل الرؤوس "التلافيفية" (convolutional)، حيث تركز على الحواف والأنسجة البسيطة، بينما تركز رؤوس أخرى في الطبقات الأعمق على الأشكال العالمية المعقدة. ومن المثير للدهشة، وجدوا أن الرؤوس التي تؤدي نفس الوظيفة يمكن أن تكون منتشرة في جميع أنحاء المبنى، وليس مجرد عالقة في طابق واحد محدد.
مسلحين بهذا الفهم، بنوا SAPER، وهو أداة ذكية تعمل مثل محرر دقيق. فبدلاً من قص أجزاء النموذج بشكل عشوائي، يستخدم SAPER عملية اختيار "ناعمة" لتقرير أي الرؤوس يجب الاحتفاظ بها وأيها يجب التخلي عنها. إنه يشبه المنخل الذي يصفّي الرؤوس الزائدة تدريجيًا مع الحفاظ على الرؤوس الأساسية، مما يسمح للنموذج بتعلم أي منها ضروري حقًا. اختبروا ذلك على مجموعات بيانات صور ضخمة مثل ImageNet-1K و CIFAR-100. كانت النتائج واعدة: نجح SAPER في تقليل عدد رؤوس الانتباه بشكل كبير — حيث يحتفظ أحيانًا بجزء بسيط فقط من الفريق الأصلي — مع الحفاظ على دقة عالية في تحديد الأشياء. على سبيل المثال، أظهروا أنه حتى مع وجود عدد قليل جدًا من الرؤوس، يمكن للنموذج أن يعمل بشكل جيد، خاصة عند استخدام تقنية تسمى "تقطير المعرفة" (knowledge distillation)، حيث يتعلم النموذج الأصغر من النموذج الأكبر والأذكى.
تشير الورقة البحثية إلى أن هذا النهج يقدم توازنًا أفضل بكثير بين السرعة والذكاء مقارنة بالطرق السابقة. وبينما حاولت تقنيات أخرى قص كتل كاملة من النموذج دفعة واحدة، سمحت قدرة SAPER على اختيار الرؤوس الفردية بتحكم أكثر دقة. وفي تجاربهم، استخدم SAPER غالبًا قوة حوسبة أقل (مقاسة بـ FLOPs) من الطرق المنافسة مع تحقيق نتائج مماثلة أو أفضل. ويخلص الباحثون إلى أنه من خلال فهم الأدوار المحددة لرؤوس الانتباه هذه عبر بصماتها الطيفية، يمكننا بناء نماذج رؤية ليست قوية فحسب، بل فعالة وشفافة أيضًا، مما يمهد الطريق لذكاء اصطناعي أكثر ذكاءً يتناسب مع جيوبنا دون استنزاف بطارياتنا.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.