ملخص تقني: بنية التوجيه والترشيح لآلية الانتباه

بيان المشكلة

تخصص بنيات "المحول" (Transformer) القياسية موارد الانتباه بشكل موحد عبر جميع الطبقات، حيث تخصص أبعاداً متطابقة للرؤوس وتعقيداً حسابياً ($O(N^2)$) لكل طبقة بغض النظر عن الوظيفة المحددة التي تؤديها تلك الطبقة. يستمر هذا التوحيد لعد හේ أنه لا يوجد قياس مبدئي لتوجيه التخصيص غير الموحد. تحاول البنيات الهجينة الحديثة (مثل Nemotron-H، وJamba، وGriffin) حل هذه المشكلة من خلال عمليات مسح واسعة للمعلمات الفائقة (hyperparameters) لإيجح نسب مثالية بين الطبقات التربيعية والخطية، لكن هذه النسب تعتمد على الحجم وتفتقر إلى القابلية للنقل.

تتمثل المشكلة الجوهرية المحددة في أن مصفوفة التفاعل في الانتباه $QK^\top$ تدمج وظيفتين حسابيتين متمايزتين ضمن مصفوفة واحدة غير مقيدة:

1. التوجيه (Routing): مكون متماثل مائل (skew-symmetric) يوجه تدفق المعلومات بين المواضع (نقل محافظ).
2. الترشيح (Filtering): مكون متماثل (symmetric) يقيس مدى الصلة المتبادلة بين الرموز (التحكم في الكسب/Gain control).

في آلية الانتباه القياسية، تتنافس هاتان الوظيفتان على نفس سعة المصفوفة. يكشف التحليل التجريبي لـ 1,776 رأساً عبر خمسة نماذج مدربة مسبقاً (متغيرات GPT-2، وBERT-base، وPythia-410M) أن الترشيح يهيمن على الميزانية الطيفية، بينما يعمل التوجيه برتبة منخفضة أقل بكثير من السعة المخصصة لنواة الأوزان (weight kernel). علاوة على ذلك، وُجد أن جميع رؤوس الانتباه القياسية غير مستقرة ديناميكياً (تمتلك قيماً ذاتية ذات أجزاء حقيقية موجبة)، وتعتمد بشدة على "تطبيع الطبقة" (Layer Normalization - LN) لاحتواء عدم الاستقرار هذا، مما يحجب البنية الطيفية الحقيقية لآلية التوجيه.

المنهجية

لفصل هاتين الوظيفين والكشف عن البنية الطيفية الكامنة، قدم المؤلفون انتباه S–D، وهو بارامتري تشخيصي يفصل التوجيه عن الترشيح عن طريق التصميم:

• التوجيه ($S$): يُنمذج كمصفوفة متماثلة مائلة متعلمة ($S = -S^\top$). يضمن هذا أن تكون القيم الذاتية تخيلية بحتة، مما يمثل نقلاً للمعلومات محافظاً وصفري المجموع (دوران بين الأنماط).
• الترشيح ($D$): يُنمذج كمصفوفة قطرية موجبة متعلمة ($D = \text{diag}(d_1, \dots, d_N)$). يمثل هذا ترشيحاً تبديدياً حيث يمتلك كل رمز معامل تخميد قياسي.

تُعرف مصفوفة التفاعل بـ $L = S - D$. أثبت المؤلفون أنه لأي $S$ حقيقية متماثلة مائلاً وأي $D$ قطرية موجبة شبه محددة، فإن الجزء الحقيقي من كل قيمة ذاتية يحقق $\text{Re}(\lambda) \le 0$. وهذا يضمن الاستقرار المعماري دون الحاجة إلى "تطبيع الطبقة".

قام المؤلفون بتدريب نماذج S–D بمقاييس مختلفة (من 7 مليون إلى 355 مليون معلمة) على مجموعة بيانات OpenWebText، بما في ذلك إعدادات مع وبدون "تطبيع الطبقة"، لمراقبة كيفية تنظيم التوجيه لنفسه عندما لا يكون مقيداً بالتشابك أو بالمساواة الناتجة عن التطبيع.

النتائج الرئيسية والمكتشفات

1. الشلال الطيفي (The Spectral Cascade)

عند فصل التوجيه والترشيح وإزالة التطبيع، ينظم التوجيه نفسه في شلال طيفي (تسلسل هرمي للرتبة) عبر العمق:

• الطبقة 0: تتقارب إلى رتبة فعالة قدرها 2 (مستوى دوران واحد لإعادة توزيع المعلومات على نطاق واسع).
• الطبقات المتوسطة: تحافظ على هضبة منخفضة الرتبة (الرتبة الفعالة $\approx 2$–$3$).
• الطبقات النهائية: تتوسع إلى رتب أعلى (تصل إلى أكثر من 10 مستويات دوران مستقلة)، حيث يتم تحديد الرتبة النهائية بواسطة بُعد الرأس بدلاً من العمق.
• ثبات المقياس: هذا النمط التصاعدي للشلال يظل ثابتاً عبر جميع المقاييس المختبرة (من 7 مليون إلى 355 مليون معلمة). ومع زيادة حجم النموذج، تزدهاد نسبة الطبقات التي تعمل عند الحد الأدنى للرتبة الطيفية (من 33% عند 18 مليون معلمة إلى 92% عند 355 مليون معلمة).

2. انهيار الترشيح (Filtering Collapse)

في بنية S–D المفككة، ينهار مكون الترشيح إلى قيمة قياسية واحدة لكل رأس. إن اختزال مكون الترشيح إلى متوسط قياسي لكل رأس يؤدي إلى تكلفة ضئيلة جداً في الارتباك (Perplexity) (+0.3 PPL)، في حين أن إزالة التوجيه تماماً تؤدي إلى فشل كارثي. وهذا يتناقض مع الانتباه القياسي، حيث يهيمن الترشيح بينما يكون التوجيه منخفض الرتبة.

3. الجراحة الطيفية القابلة للتنفيذ (Actionable Spectral Surgery)

يسمح الشلال الطيفي بتبسيط "جراحي" للبنية:

• الخطيّة (Linearization): يمكن جعل أول 7 طبقات من نموذج S–D بقدر 125 مليون معلمة خطياً (استبدالها بـ ELU+1 causal linear attention) مع تدهور في الارتباك بنسبة تقل عن 5%. في المقابل، ينهار الانتباه القياسي تحت نفس التدخل عند الطبقة الثالثة.
• إعادة تخصيص المعلمات: من خلال مطابقة أبعاد الرأس ($d_{head}$) مع الرتبة الطيفية المقاسة (على سبيل المثال، $d_{head}=8$ للطبقات المبكرة، و$d_{head}=64$ للطبقات النهائية)، خفض المؤلفون معلمات الانتباه بنسبة 47–65% مع زيادة طفيفة فقط في الارتباك تتراوح بين +3.9% إلى +8.4%.
• الانعكاس (Inversion): توضح الورقة انعكاساً هيكلياً: في الانتباه القياسي، يكون اختزال الترشيح مانعاً، بينما يكون اختزال التوجيه رخيصاً؛ أما في S–D، فإن اختزال التوجيه مانع، بينما يكون اختزال الترشيح مجانياً.

الأهمية والادعاءات

تدعي الورقة أن مساهمتها الأساسية هي القياس، وليس البنية نفسها. تكمن الأهمية في جعل "الميزانية الطيفية" للانتباه واضحة وقابلة للتنفيذ:

• التشخيص: يعمل البارامتري S–D كأداة تشخيصية لقياس سعة التوجيه الحقيقية المطلوبة في كل طبقة، مما يكشف أن الانتباه القياسي يخصص سعة مفرطة للطبقات منخفضة الرتبة.
• التوجيه للبنيات الهجينة: يوفر الشلال الطيفي مقياساً مستمراً وقابلاً للقياس لتحديد الطبقات التي تتطلب انتباهاً تربيعياً كاملاً وتلك التي يمكن استبدالها بآليات خطية أو منخفضة الرتبة. هذا ينقل تصميم البنيات الهجينة من "البحث" (مسح النسب) إلى "القياس" (الوصف بناءً على الرتبة).
• إعادة تقييم الانتباه الخطي: تشير النتائج إلى أن الفشل التاريخي للانتباه الخطي البسيط (مثل ELU+1) كان بسبب سوء التخصيص (تطبيقه على الطبقات عالية الرتبة) وليس بسبب حدود السعة الجوهرية. توضح الورقة أن الانتباه الخطي يعمل بفعالية في "الهضبة" منخفضة الرتبة التي حددها الشلال.

يخلص المؤلفون إلى أن الشلال الطيفي هو الحل الطبيعي للمُحسِّن (optimizer) عندما يتم إزالة التشابك والتطبيع، ويمكن لهذا الهيكل أن يوجه بناء بنيات "المحول" الأكثر كفاءة وغير المتجانسة.