ملخص تقني: GQA-µP: التحديث الأقصى للمعلمات لآلية الانتباه لمجموعات الاستعلام (Grouped Query Attention)

بيان المشكلة

يسمح نقل المعلمات الفائقة عبر بنيات النماذج، وتحديداً من خلال "التحيز الأقصى للمعلمات" (Maximal Parameterization - µP)، بتحديد المعلمات الفائقة المثلى للنماذج واسعة النطاق عبر إجراء مسوحات للنماذج الوسيطة الصغيرة. وبينما طُبق µP بنجاح على نقل معدل التعلم عبر عروض النماذج (model widths)، إلا أن تطبيقه على البنيات المبتكرة والمعلمات الفائقة الأخرى (مثل اضمحلال الوزن والعمق) لا يزال يمثل تحدياً.

توجد فجوة محددة في آلية انتباه مجموعات الاستعلام (GQA)، وهي آلية مستخدمة على نطاق واسع في النماذج اللغوية الكبيرة (LLMs) الحديثة لتقليل استهلاك الذاكرة عن طريق مشاركة رؤوس المفتاح والقيمة (key and value heads) عبر مجموعات من رؤوس الاستعلام. وقد كشفت المحاولات السابقة لتطبيق µP القياسي على GQA عن فشل حرج: فبينما نجح التنفيذ في اجتياز "فحوصات الإحداثيات" القياسية (التي تتحقق من معايير التنشيط)، فإنه فشل في نقل معدلات التعلم بفعالية عبر أعداد مختلفة من رؤوس المفتاح والقيمة (KV heads). علاوة على ذلك، واجهت أطر عمل µP الحالية صعوبة في اشتقاق مقاييس مبدئية لاضمحلال الوزن والعمق دون الاعتماد على افتراضات "التعلم الكسول" (lazy-learning). وتكمن الصعوبة النظرية الجوية في أن مصفوفات GQA غالباً ما تكون متدهورة الرتبة (low-rank)، مما يؤدي إلى فشل المعيار الطيفي القياسي في التقاط التشوه المتوقع للمدخلات بدقة أثناء التدريب.

المنهجية

يبني المؤلفون عملهم على منظور تعلم الميزات الطيفي لـ Yang et al. (2023a) لاشتقاق قوانين قياس جديدة. تتضمن المنهجية ثلاثة تطورات نظرية وتحليلية رئيسية:

1. إعادة تعريف تعلم الميزات عبر المعايير الطيفية:
   يرفع البحث مكانة شروط المعيار الطيفي على مصفوفات الأوزان من مجرد حدس إلى تعريف رسمي لتعلم الميزات. يجادل المؤلفون بأن ضمان توسع المعيار الطيفي لتحديثات الأوزان بشكل صحيح هو شرط أقوى وأكثر موثوقية لتعلم الميزات من تحليل معايير التنشيط وحدها. هذا التحول يسمح باشتقاق مقاييس Complete-P للعمق واضمحلال الوزن دون اللجوء إلى افتراضات التعلم الكسول.

2. تقديم المعيار التشغيلي المتوقع:
   لمعالجة تدهور الرتبة في مصفوفات GQA، قدم المؤلفون معياراً معدلاً: المعيار التشغيلي المتوقع ($||A||_E$).

• تقيس المعايير الطيفية القياسية ($||A||$) أقصى تشوه لمتجه المدخلات. بالنسبة للمصفوفات كاملة الرتبة، يتم تحقيق ذلك تقاربياً.
• بالنسبة للمصفوفات متدهورة الرتبة (مثل GQA)، فإن المتجهات التي تسبب أقصى تشوه تحدث باحتمالية صفر أثناء التدريب (حيث تكون المدخلات مستقلة وموزعة بشكل متماثل i.i.d). وبالتالي، فإن المعيار الطيفي يبالغ في تقدير التشوه الفعلي.
• يُعرف المعيار التشغيلي المتوقع بأنه توقع نسبة معايير المخرجات إلى معايير المدخلات عبر توزيع المدخلات: $||A||_{E,\Omega,p} := \mathbb{E}_{x \sim \Omega} [\frac{||Ax||_p}{||x||_p}]$.
• يعكس هذا المعيار التشوه الفعلي الذي يواجهه النموذج أثناء التدريب، مما يستعيد صلاحية قوانين القياس لـ GQA.

3. اشتقاق مقاييس GQA-µP:
   باستخدام المعيار التشغيلي المتوقع، يشتق المؤلفون عوامل القياس المحددة لطبقات GQA.

• لطبقة GQA ذات عدد تكرارات $r$ لرؤوس المفتاح والقيمة، يجب أن يتوسع معدل التعلم ($\eta$) واضمحلال الوزن ($\lambda$) بشكل مختلف عن الانتباه القياسي.
• مقياس معدل التعلم المشتق هو $\eta = \Theta(\frac{1+\sqrt{r}}{n})$، حيث $n$ هو بُعد التضمين (embedding dimension).
• يتم تعديل مقياس اضمحلال الوزن ليكون $\lambda = \Theta(\frac{2n}{1+\sqrt{r}})$ للحفاظ على التوازن بين التنظيم وتحديثات التدرج.
• تم تلخيص هذه الاشتقاقات في الجدول 1 من الورقة، مما يوفر بارامترياً موحداً لـ Transformers المزودة بـ GQA.

4. قياس العمق (Complete-P):
   يتم تطبيق الإطار على الشبكات المتبقية (residual networks) لاشتقاق مقاييس العمق. من خلال تطبيق الشرط الطيفي على تركيب كتل المتبقي (residual blocks)، يوضح المؤلفون أن عامل القياس $\beta$ للفروع المتبقية يجب أن يكون $\Theta(L^{-1})$ (حيث $L$ هو العمق) لمنع انفجار أو تلاشي الإشارة، مما يستعيد نفس نتائج Dey et al. (2025) دون الحاجة إلى افتراض "عدم وجود تعلم كسول".

المساهمات الرئيسية

1. أول اشتقاق µP لـ GQA: توفر الورقة، حسب علم المؤلفين، أول اشتقاق مبدئي لمقاييس µP لآلية انتباه مجموعات الاستعلام (GQA)، مما يحل التناقض الذي أدى فيه تنفيذ µP القياسي إلى الفشل في نقل معدلات التعلم.
2. التمديد النظري لـ Spectral µP: يوسع العمل نظرية Spectral µP الخاصة بـ Yang et al. (2023a) من خلال رفع شروط المعيار الطيفي إلى تعريف لتعلم الميزات وتقديم المعيار التشغيلي المتوقع للتعامل مع الأوزات متدهورة الرتبة. وهذا يتيح اشتقاق مقاييس لاضمحلال الوزن، وكتل التكرار، وGQA.
3. التحقق التجريبي من النقل: يثبت المؤلفون أن المقاييس المشتقة لديهم تمكن من نقل معدلات التعلم عبر مختلف أعداد تكرارات $r$ (لـ GQA) واضمحلال الوزن عبر أحجام النماذج المختلفة. كما يظهرون أن تنفيذ Adam-µP التقليدي يفشل في فحوصات الإحداثي الطيفية لـ GQA، بينما يجتازها مقياسهم المقترح.

النتائج التجريبية

يتحقق المؤلفون من اشتقاقاتهم النظرية من خلال تجارب مكثفة:

• نقل معدل التعلم: تظهر التجارب التي تغير عدد رؤوس المفتاح والقيمة (من 1 إلى 12) أن البارامتريّة القياسية وAdam-µP التقليدي يفشلان في التقارب نحو معدل تعلم أمثل متسق. في المقابل، يعمل مقياس GQA-µP المقترح على تضييق منطقة معدل التعلم الأمثل بشكل كبير، مما يتيح نقلاً فعالاً.
• فحوصات الإحداثيات: أشار تحليل معايير تحديث التنشيط ($||\Delta h||$) إلى أن التنفيذ التقليدي كان صحيحاً، لكن تحليل المعايير الطيفية لمصفوفات الأوزان ($||\Delta W||$) كشف عن اعتماد غير خطي على عدد رؤوس المفتاح والقيمة، مما يفسر فشل النقل. يزيل مقياس GQA-µP المقترح هذا الاعتماد.
• نقل اضمحلال الوزن و $\tau_{\text{epoch}}$: تثبت الورقة أنه مع المقاييس الصحيحة، يمكن نقل كل من اضمحلال الوزن وثابت وقت التدريب $\tau_{\text{epoch}}$ (الذي قدمه Wang & Aitchison, 2024) عبر أحجام النماذج. ويعد التباين في المعلمات الفائقة المثلى أقل بكثير للتنفيذ المقترح مقارنة بالنماذج المرجعية.
• الضجيج في GQA: يلاحظ المؤلفون أنه بينما يعد نقل معدل التعلم ممكناً، فإن تدريب GQA يضيف ضجيجاً متأصلاً يصبح أكثر وضوحاً مع انخفاض عدد رؤوس المفتاح والقيمة. ويشيرون إلى وجود مقايضة: فالحصول على تعلم الميزات عبر المقياس المشتق يؤدي إلى ديناميكيات أكثر ضجيجاً مع انخفاض $r$، بينما يؤدي تقييد التباين لاستقرار التدريب إلى إزاحة معدل التعلم الأمثل.

الأهمية والادعاءات

تدعي الورقة سد فجوة كبيرة في قابلية تطبيق µP على بنيات النماذج اللغوية الكبيرة الحديثة والجاهزة للإنتاج. ومن خلال تحديد قيود المعيار الطيفي القياسي للمصفوفات منخفضة الرتبة واقتراح المعيار التشغيلي المتوقع، يوفر المؤلفون أساساً نظرياً قوياً لاشتقاق مقاييس µP للبنيات المعقدة مثل GQA.

تكمن أهمية هذا العمل في:

• الفائدة العملية: يُمكّن الممارسين من تحديد المعلمات الفائقة المثلى لنماذج GQA الضخية (مثل LLaMA 3، Mistral 7B) باستخدام نماذج وسيطة صغيرة، مما يقلل من التكلفة الحسابية لضبط المعلمات الفائقة.
• الدقة النظرية: يعمل البحث على صقل تعريف تعلم الميزات، بالانتقال من الفحوصات القائمة على التنشيط إلى الشروط الطيفية القائمة على مصفوفة الأوزان، وهو ما ثبتت فاعليته في التحقق من التنفيذات.
• قابلية التطبيق الواسعة: نجح الإطار في استعادة المقاييس الموجودة لاضمحلال الوزن والعمق (Complete-P) مع توسيعها لتشمل GQA، مما يشير إلى نهج موحد للابتكارات المعمارية المستقبلية.

يشير المؤلفون بتواضع إلى أنه بينما تحليلهم التقاربي سليم، فإن النطاق العملي لمعلم التكرار $r$ محدود وعادة ما يكون صغيراً (على سبيل المثال $r \le 16$). الهدف الأساسي من القياس بالنسبة لـ $r$ هو تجريبي: لمنع انجراف معدل التعلم عند تغيير عدد التكرارات، وليس لنمذجة حد لانهائي. كما يسلطون الضوء على أن تدريب GQA يظل بطبيعته ضوضائياً، مما يستوجب الحذر عند نقل معدلات التعلم عبر تكوينات GQA المختلفة تماماً.