Adaptive Head Budgeting for Efficient Multi-Head Attention

ملخص تقني: الميزانية التكيفية لرؤوس الانتباه من أجل آلية انتباه متعددة الرؤوس فعالة (BudgetFormer)

1. بيان المشكلة

تستخدم بنيات المحولات (Transformer) القياسية آلية الانتباه متعدد الرؤوس (MHA) حيث يتم تفعيل عدد ثابت من رؤوس الانتباه بشكل موحد لكل مدخل. يفترض هذا التصميم أن جميع الرؤوس ضرورية بالتساوي لكل تسلسل، بغض النظر عن تعقيده أو المهمة المحددة. ومع ذلك، حدد المؤلفون قصورين رئيسيين:

• الفائض الحسابي: تتناسب تكلفة الانتباه الذاتي خطياً مع عدد الرؤوس ($H$)، مما يؤدي إلى عمليات حسابية (FLOPs) واستهلاك للذاكرة غير ضروريين، خاصة في المهام ذات الحبيبات الخشنة (مثل تصنيف النصوص) حيث تكفي الإشارات الدلالية العالمية غالباً.
• التخصيص الثابت: لا تستطيع النماذج القياسية التكيف مع صعوبة المدخلات؛ فالجملة البسيطة تتلقى نفس مقدار "الجهد" الحسابي الذي تتلقاه جملة معقدة ومتعددة الأوجه.

2. المنهجية: BudgetFormer

يقترح المؤلفون BudgetFormer، وهو مشفر محول (Transformer encoder) يقدم آلية تكيفية تعتمد على المدخلات لتخصيص الموارد الحسابية ديناميكياً على مستوى الرؤوس.

أ. الانتباه الميزاني التكيفي لرؤوس الانتباه (Adaptive Head Budgeted Attention)
بدلاً من تفعيل جميع الرؤوس $H$، يقوم النموذج بمهمتين تعليميتين متزامنتين لكل مدخل $X$:

1. ميزانية الرؤوس ($s$): تستخدم شبكة الميزانية ($f_\theta$) ملخصاً عالمياً للمدخل (عبر التجميع المتوسط - mean pooling) للتنبؤ بقيمة قياسية مستمرة $s \in (0, 1)$. يمثل هذا كسر الرؤوس التي سيتم تفعيلها.
2. اختيار الرؤوس ($p_i$): تتنبأ شبكة تسجيل الرؤوس ($g_\phi$) بدرجات الأهمية لكل رأس. ولضمان اكتشاف النموذج لرؤوس مفيدة، استخدم المؤلفون دالة "softmax" ذات درجة حرارة مدرجة واستراتيجية الاستكشاف والاستغلال. خلال التدريب، تشجع الضوضاء ودرجة الحرارة العالية النموذج على استكشاف مجموعات مختلفة من الرؤوس؛ ومع تقدم التدريب، تنخفض درجة الحرارة لتفضيل الرؤوس المتخصصة وعالية الثقة.

ب. كفاءة الاستدلال (اختيار Top-k)
في وقت الاستدلال، يفرض النموذج التشتت (Sparsity) عن طريق اختيار أعلى-$k$ من الرؤوس فقط، حيث $k = \lfloor s \cdot H \rfloor$. يتم حساب هذه الرؤوس $k$ فقط، مما يقلل مباشرة من التعقيد الحسابي من $O(H)$ إلى $O(k)$.

ج. هدف التدريب
لمنع النموذج من الانهيار إلى حالات متدهورة (على سبيل المثال، استخدام صفر من الرؤوس أو جميع الرؤوس)، يستخدم المؤلفون دالة خسارة متعددة الأجزاء:
$$\mathcal{L} = \mathcal{L}_{\text{task}} + \mathcal{L}_{\text{budget}} + \mathcal{L}_{\text{entropy}}$$

• $\mathcal{L}_{\text{budget}}$: خسارة مفصلية تربيعية (quadratic hinge loss) تعاقب الميزانية $s$ فقط إذا وقعت خارج نطاق مستهدف محدد من قبل المستخدم $[s_{\min}, s_{\max}]$.
• $\mathcal{L}_{\text{entropy}}$: حد تنظيم يعتمد على الوقت. في بداية التدريب، يشجع على الإنتروبيا العالية (الاستكشاف)؛ وفي نهاية التدريب، يشجع على الإنتروبيا المنخفضة (التخصص/التشتت).

3. المساهمات الرئيسية

• التخصيص الديناميكي للرؤوس: آلية مبتكرة تنظم كلاً من الكمية (عدد الرؤوس) والجودة (أي الرؤوس) للانتباه لكل مدخل.
• تدريب الاستكشاف والاستغلال: استراتيجية جدولة منهجية باستخدام تعديل درجة الحرارة والإنتروبيا للانتقال بالنموذج من مرحلة اكتشاف الرؤوس إلى مرحلة استخدامها بكفاءة.
• التآزر بين الكفاءة والأداء: على عكس العديد من طرق التقليم (pruning) التي تضحي بالدقة من أجل السرعة، يثبت BudgetFormer أن الاختيار التكيفي يمكن أن يحسن الدقة بالفعل عن طريق تصفية الرؤوس الزائدة أو المشوشة.

4. النتائج التجريبية

تم تقييم النموذج على خمسة معايير لتصنيف النصوص (DBpedia، AG News، IMDB، SNLI، و Yelp).

• الدقة: طابق BudgetFormer النماذج القياسية للمحولات أو تفوق عليها باستمرار. ومن الجدير بالذكر أنه حقق مكاسب كبيرة في SNLI (+2.71%) و Yelp (+3.8%)، مما يشير إلى أن الرؤوس التكيفية تساعد في إدارة التعقيد والضجيج.
• الكفاءة: حقق النموذج تخفيضات جوهرية في العمليات الحسابية (FLOPs) و البصمة الكربونية ($\text{gCO}_2$). على سبيل المثال، في DBpedia، استخدم النموذج حوالي 8.5% فقط من رؤوسه في المتوسط مع تحسين الدقة.
• التكيف مع التعقيد: أكد التحليل النوعي أن الميزانية المتوقعة $s$ تزدق مع زيادة تعقيد المدخل (على سبيل المثال، "صعب" مقابل "بسيط" في SNLI)، مما يثبت قدرة النموذج على إجراء الحوسبة الشرطية.
• التوسع: يتوسع المنهج بشكل جيد مع عمق النموذج وحجم البيانات. ومع زيادة سعة النموذج، تميل الميزانية المتعلمة $s$ إلى الانخفاض، مما يشير إلى أن النماذج الأكبر تحتوي على فائض متأصل أكبر يمكن لـ BudgetFormer استغلاله.

** 5. الأهمية والقيود**

الأهمية:
يوفر BudgetFormer مخططاً لبنيات المحولات "المقتصدة". فهو يثبت أن الكفاءة الحسابية لا يجب أن تأتي على حساب الأداء؛ بل من خلال محاكاة الانتباه الانتقائي الشبيه بالبشر، يمكن للنماذج أن تصبح أكثر فعالية وأكثر استدامة بيئياً.

القيود:

• عنق زجاجة التجميع العالمي: يعتمد التصميم الحالي على التجميع المتوسط (mean pooling) لشبكات الميزانية/التسجيل، مما يعني أنه لا يستطيع التقاط الأهمية الدقيقة على مستوى الرمز (token-level). قد يحد هذا من فعاليته في المهام التي تتطلب استدلالاً محلياً كثيفاً (مثل الإجابة على الأسئلة).
• التركيز على الرؤوس فقط: تعمل الآلية على التحسين على مستوى الرأس، لكنها لا تعالج بعد الفائض على مستوى الرموز (token level).