Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers

إليك ملخص تقني مفصل لورقة البحث بعنوان: "إعادة التفكير في إسقاط مخرجات الانتباه: تحويلات هادامارد الهيكلية للمحولات الفعالة" (Rethinking Attention Output Projection: Structured Hadamard Transforms for Efficient Transformers).

1. بيان المشكلة

يعتمد بنية المحول (Transformer) القياسية على إسقاط مخرجات كثيف (dense output projection) ضمن آلية الانتباه متعدد الرؤوس (MHA) لخلط مخرجات رؤوس الانتباه المتعددة. يتضمن هذا الإسقاط مصفوفة أوزان قابلة للتعلم بحجم $d_{model} \times d_{model}$، حيث $d_{model}$ هو بُعد النموذج.

• العبء الإضافي في المعلمات (Parameter Overhead): تساهم هذه الطبقة الكثيفة بشكل كبير في إجمالي عدد المعلمات (حوالي 25% من المعلمات داخل كتلة MHA واحدة) وتتوسع تربيعياً ($O(d_{model}^2)$) مع حجم النموذج.
• التكلفة الحسابية: تخلق عملية ضرب المصفوفات الكثيفة عنق زجاجة في كل من التدريب والاستنتاج، مما يستهلك عرض نطاق ترددي للذاكرة وموارد حوسبة كبيرة.
• التكرار (Redundancy): تشير الأدلة التجريبية إلى أن رؤوس الانتباه غالباً ما تتعلم تمثيلات مكررة، مما يعني أن الخلط الخطي الكامل وغير المقيد للرؤوس قد لا يكون ضرورياً للحفاظ على أداء النموذج.

2. المنهجية

يقترح المؤلفون استبدال إسقاط المخرجات الكثيف القياسي بـ تحويل والـش–هادامارد (Walsh–Hadamard Transform - WHT) هيكلي وخالٍ من المعلمات، يليه إعادة قياس أفيني (affine rescaling) خفيف الوزن وقابل للتعلم.

الآلية الجوهرية

1. تحويل متعامد ثابت: بدلاً من مصفوفة قابلة للتعلم $W_O \in \mathbb{R}^{d_{model} \times d_{model}}$، يستخدم النموذج مصفوفة هادامارد ثابتة $H$.
   • $H$ هي مصفوفة متعامدة حيث $H^\top H = d_{model} I$.
   • تحتوي فقط على مدخلات $+1$ و $-1$.
   • هي خالية من المعلمات، ولا تتطلب تخزيناً أو تعلماً.
2. تحويل والـش–هادامارد السريع (FWHT): يتم حساب ضرب المصفوفة في المتجه $YH$ باستخدام خوارزمية FWHT، والتي تستخدم هيكل شبكة "الفراشة" (butterfly network).
   • التعقيد: يقلل التعقيد الحسابي من $O(d_{model}^2)$ إلى $O(d_{model} \log d_{model})$.
   • العمليات: تتكون بالكامل من عمليات الجمع والطرح، متجنبة عمليات الضرب بالنقطة العائمة المكلفة.
3. إعادة القياس الأفيني (Affine Rescaling): للحفاظ على القدرة التعبيرية والسماح للنموذج بالتكيف مع التحويل الثابت، يتم تطبيق مقياس ($\alpha$) وانحياز ($\beta$) قابلين للتعلم:
   $$\text{MHA}_{Had}(X) = \alpha \odot (Y H) + \beta$$
   حيث $\alpha, \beta \in \mathbb{R}^{d_{model}}$ هي المعلمات الجديدة الوحيدة القابلة للتعلم.

الانحياز الاستقرائي (Inductive Bias)

يجادل المؤلفون بأن الطبيعة المتعامدة الثابتة لتحويل هادامارد تفرض انحيازاً استقرائياً مفيداً. فمن خلال إجبار الرؤوس على التفاعل عبر أساس متعامد ومنتشر بحد أقصى، يتم تحفيز النموذج لتعلم تمثيلات متكاملة وغير متداخلة عبر الرؤوس، مما يعمل فعلياً كمنظم (regularizer) ضد التكرار.

3. المساهمات الرئيسية

• تقليل المعلمات: يلغي مصفوفة المعلمات الكثيفة $d_{model}^2$، مستبدلاً إياها بـ $2d_{model}$ من المعلمات (المقياس والانحياز). يؤدي هذا إلى تقليل بنسبة 25% تقريباً في المعلمات لكل كتلة MHA وتقليل إجمالي بنسبة ~7% في معلمات النموذج الكلية.
• الكفاءة الحسابية:
  • التدريب: يقلل من عمليات الـ FLOPs في الأمام والخلف لطبقة الإسقاط من $O(d^2)$ إلى $O(d \log d)$.
  • الاستنتاج: يحسن الإنتاجية (throughput) ويقلل زمن الاستجابة (latency) بشكل كبير، خاصة في الأنظمة التي يحدها عرض نطاق الذاكرة (الأحجام الكبيرة من الدفعات وأطوال التسلسلات).
• توفير الذاكرة: يقلل من استخدام ذروة ذاكرة وحدة معالجة الرسومات (GPU) عن طريق إلغاء متطلبات تخزين أوزان إسقاط المخرجات، مما يسمح بأحجام دفعات أكبر على الأجهزة الثابتة.
• الحفاظ على الأداء: يثبت أن هذا الاستبدال الهيكلي يحافظ على أداء المهام النهائية أو يحسنه قليلاً مقارنة بالنماذج الأساسية الكثيفة.

4. النتائج التجريبية

قيم المؤلفون الطريقة عبر مقاييس نماذج مختلفة (من 124 مليون إلى 5.6 مليار معلمة) على معايير قياسية (PIQA, HellaSwag, ARC-Easy, BLiMP) وعلى أجهزة (NVIDIA H100 GPUs).

• الدقة: حققت النماذج القائمة على هادامارد دقة مماثلة أو متفوقة قليلاً على النماذج الكثيفة عبر جميع اختبارات المهام النهائية.
• كفاءة التدريب: أظهرت النماذج منحنى خسارة تحقق (validation loss) أكثر حدة بالنسبة لـ FLOPs التدريب، مما يشير إلى استخدام أكثر كفاءة للحوسبة أثناء التدريب.
• مقاييس الاستنتاج (مرحلة فك الترميز - Decode Phase):
  • الإنتاجية (Throughput): حققت تحسناً يصل إلى 6.6% في عدد الرموز (tokens) في الثانية للنماذج الكبيرة (مقياس XXL).
  • زمن الاستجابة (Latency): قللت زمن استجابة فك الترميز بنسبة تصل إلى 6.2%.
  • الذاكرة: قللت استهلاك ذروة الذاكرة بنسبة تصل إلى 8.9%.
  • التوسع (Scaling): لوحظت مكاسب الكفاءة وهي تنمو بشكل مطرد مع حجم النموذج، وحجم الدفعة، وطول التسلسل.
• التوافق مع الأجهزة: على عكس طرق تقليل الأبعاد البدائية التي لا تتوافق مع أبعاد Tensor Core (مثل مضاعفات 64/128)، يحافظ نهج هادامارد على أشكال التنسور القياسية، مما يضمن الاستخدام الأمثل للأجهزة.

5. الأهمية والخاتمة

تتحدى هذه الورقة الافتراض بأن الإسقاطات الكثيفة القابلة للتعلم ضرورية لخلط الرؤوس الفعال في المحولات. من خلال الاستفادة من الخصائص الرياضية لتحويل هادامارد، يثبت المؤلفون أن:

1. الإفراط في التخصيص (Over-parameterization) في إسقاط المخرجات يمكن إزالته بأمان دون التضحية بالقدرة التمثيلية.
2. التحويلات الهيكلية يمكن أن تعمل كبدائل فعالة لطبقات كثيفة، مما يوفر مساراً لنماذج لغوية كبيرة (LLMs) أكثر قابلية للتوسع وكفاءة في استهلاك الذاكرة.
3. هذا النهج قيم بشكل خاص للنشر واسع النطاق، حيث تترجم المدخرات التراكمية في الذاكرة والحوسبة إلى تقليل التكاليف وزيادة سرعة الاستنتاج.

تخلص الورقة إلى أنه بينما تعتمد التنفيذات الحالية على نوى (kernels) بدائية، فإن المزايا النظرية لنهج هادامارد هي بالفعل جوهرية، وأن المزيد من تحسين نوى FWHT يمكن أن يؤدي إلى كفاءة عملية أكبر.