Routing Absorption in Sparse Attention: Why Random Gates Are Hard to Beat

إليك ملخص تقني مفصل لورقة البحث "امتصاص التوجيه في الانتباه المتناثر: لماذا يصعب التغلب على البوابات العشوائية" للباحث كيتون أكوينو-مايكلز.

1. بيان المشكلة

تتناول الورقة نمط فشل حرج في تدريب الانتباه المتناثر من البداية إلى النهاية (end-to-end). نظرياً، تكون آليات الانتباه في نماذج المحولات (Transformers) مركزة للغاية (مجموعة فرعية صغيرة من المفاتيح تستحوذ على معظم كتلة الانتباه)، مما يشير إلى أن بوابة متعلمة خفيفة الوزن يجب أن تنجح بسهولة في تحديد واستبقاء الرموز (tokens) الأكثر أهمية.

ومع ذلك، في الممارسة العملية، عندما يتم تدريب آلية التوجيه (gating mechanism) المتناثرة بشكل مشترك مع النموذج (end-to-end)، تفشل البوابة المتعلمة في التفوق على البوابات العشوائية المجمدة (frozen random gates). تفترض الورقة أن هذا ليس بسبب سوء بنية البوابة أو عدم كفاية التدريب، بل بسبب ظاهرة تسمى امتصاص التوجيه (Routing Absorption).

الفرضية الجوهرية: عدد المعلمات الهائل في النموذج (تحديداً إسقاطات الاستعلام/المفتاح/القيمة - Q/K/V) يتكيف بشكل مشترك لتعويض أي قناع (mask) يتم فرضه. يتم "امتصاص" إشارة البوابة داخل تمثيلات Q/K/V، مما يجعل قرارات التوجيه المحددة للبوابة غير ذات صلة. ونتيجة لذلك، يتعلم النموذج العمل بشكل جيد مع أي قناع، بما في ذلك الأقنعة العشوائية، بدلاً من تعلم اختيار رموز محددة مهمة.

2. المنهجية والإعداد التجريبي

أجرى المؤلفون سلسلة من التجارب المنضبطة باستخدام نموذج Transformer بـ 31 مليون معلمة (6 طبقات، 32 ديمينشن، 4 رؤوس) تم تدريبه على WikiText-103، مع تحقق أولي على نموذج Qwen3-1.7B (أكبر بـ 55 مرة).

• بنية البوابة: بوابة ثنائية الخطية (bilinear gate) خفيفة الوزن ($d_{gate}=32$) تضيف حوالي 393 ألف معلمة (1.3% من النموذج).
• أنظمة التدريب:
  • من البداية إلى النهاية (End-to-End): يتم تدريب البوابة وإسقاطات Q/K/V بشكل مشترك.
  • بعد التدريب (Post-hoc): يتم تجميد Q/K/V؛ ويتم تدريب البوابة فقط (التقطير/distillation).
  • البوابة فقط (Gate-Only): يتم تجميد QK/V؛ وتدريب البوابة حتى التقارب.
• المقارنات الرئيسية: البوابات المتعلمة مقابل البوابات العشوائية المجمدة مقابل أقنعة "الأوراكل" (Oracle masks) مقابل الأقنعة العشوائية (Stochastic masking).

3. المساهمات والأدلة الرئيسية

تقدم الورقة أربعة خطوط مستقلة من الأدلة التي تثبت امتصاص التوجيه:

أ. البوابات المتعلمة ≈ البوابات العشوائية (التوجيه الناعم)

• التجربة: تدريب النموذج من البداية إلى النهاية باستخدام توجيه ناعم قابل للتفاضل لمدة 50,000 خطوة.
• النتيجة: حققت البوابة المتعلمة درجة تعقيد (perplexity) بلغت 48.73، بينما حققت بوابة عشوائية مجمدة 49.83. الفجوة كانت 2.2% فقط.
• الاستنتاج: رغم 50,000 خطوة من تحديثات التدرج، لم تتعلم البوابة شيئاً تقريباً. فقد تكيفت إسقاطات Q/K/V بفعالية مع وجود القناع، مما جعل محتوى القناع غير ذي صلة. لم تلتقط البوابة سوى 9% من التحسن المحتمل مقارنة بالتوجيه العشوائي.

ب. تدرج صفري في Top-K الصلب (Hard Top-K)

• التجربة: استخدام توجيه Top-k صلب (غير قابل للتفاضل).
• النتيجة: أدت البوابات المتعلمة والبوابات العشوائية أداءً متطابقاً (71.22 مقابل 71.24 PPL).
• الاستنتاج: بينما لا يتلقى التوجيه الصلب أي تدرج (وهي مشكلة معروفة)، فإن حقيقة أن التوجيه الناعم (الذي يتلقى تدرجات بالفعل) فشل أيضاً في التفوق على العشوائي تشير إلى أن عنق الزجاجة ليس في تدفق التدرج، بل في امتصاص الإشارة بواسطة طبقات Q/K/V التي تتكيف بشكل مشترك.

ج. تباين التقطير (إثبات التكيف المشترك)

• التجربة: تدريب بوابة على نقطتين مختلفتين:
  1. Q/K/V مدرب كثيف (Dense-trained): لم يرى قناعاً قط.
  2. Q/K/V متكيف مشترك (Co-adapted): تم تدريبه من البداية إلى النهاية مع توجيه ناعم.
• النتيجة:
  • على Q/K/V الكثيف، حققت البوابة F1 مرتفع وتعقيداً منخفضاً (48.6).
  • على Q/K/V المتكيف مشتركاً، حققت نفس البوابة F1 مرتفع (تتنبأ بالرموز "الصحيحة") ولكن تعقيداً كارثياً (601.6).
• الاستنتاج: أصبحت تمثيلات Q/K/V المتكيفة مشتركاً تعتمد على الشكل الوظيفي لقناع السيجمويد (sigmoid mask)، وليس فقط على الرموز المختارة. تغيير القناع إلى قناع صلب (حتى مع الرموز الصحيحة) أدى إلى كسر النموذج. هذا يثبت أن التمثيلات تكون "غير مبالية بالقناع" (mask-agnostic) فقط عندما لا يكون النموذج في حالة تكيف مشترك.

د. فشل التغطية العشوائية (Stochastic Masking)

• التجرة: التدريب باستخدام إسقاط القناع العشوائي (تغيير القناع في كل تمريرة أمامية) لمنع التكيف المشترك.
• النتيجة: تدهور النموذج بشكل كبير (78.2 PPL حتى بدون وجود قناع عند النشر).
• الاستنتاج: على عكس إسقاط الميزات (feature dropout)، فإن عشوائية أقنعة الانتباه تدمر بنية الانتباه بدلاً من تنظيمها. لقد قام النموذج بتسطيح توزيعات الانتباه الخاصة به للنجاة من الضجيج، مضحياً بالإشارة المركزة المطلوبة للانتباه المتناثر.

4. الآلية: عدم تماثل المعلمات (Parameter Asymmetry)

تعزو الورقة امتصاص التوجيه إلى عدم تماثل المعلمات:

• النسبة: يمتلك النموذج حوالي 31 مليون معلمة، بينما تمتلك البوابة حوالي 393 ألف معلمة (نسبة 80:1).
• الديناميكية: تمتلك الركيزة الحسابية الضخمة (Q/K/V) درجات حرية تبلغ 80 ضعف قدرة البوابة على التعديل والتعويض، مقارنة بقدرة البوابة على فرض هيكل محدد.
• تأثير النطاق: أكدت التجار تجرى على Qwen3-1.7B أن هذا يشتد مع زيادة النطاق. حتى عندما تم إلغاء تجميد طبقة واحدة فقط من Q/K/V، لم تقدم البوابة المتعلمة أي فائدة مقارنة بالبوابة العشوائية. ومع إلغاء تجميد المزيد من الطبقات، تقلصت الفجوة بين البوابات المتعلمة والعشوائية من 31.6 PPL (بعد التدريب) إلى 6.9 PPL، مما يثبت أن قدرة التكيف المشترك هي ما يقود الامتصاص.

5. الأهمية والآثار المترتبة

بالنسبة لطرق الانتباه المتناثر (Sparse Attention)

• التدريب من البداية إلى النهاية معيب: الطرق التي تعتمد على بوابات متعلمة لكل رمز (per-query token-level gating) تعاني على الأرجى من امتصاص التوجيه. "التوجيه المتعلم" قد يساهم بأقل مما يُدعى به لأن النموذج يعوض عنه.
• التوصية: يجب التعامل مع الانتباه المتناثر كخطوة ضغط ما بعد التدريب (post-hoc distillation)، وليس كهدف تدريب من البداية إلى النهاية. فصل البوابة عن تعلم التمثيل يمنع الامتصاص.
• فحص الاستبعاد (Ablation Check): أي طريقة تدعي فوائد التوجيه المتعلم يجب اختبارها مقابل التوجيه العشوائي. إذا كان التوجيه العشوائي يؤدي أداءً مماثلاً، فإن الامتصاص يحدث.

بالنسبة لخليط الخبراء (Mixture-of-Experts - MoE)

• التشابه: تشبه هذه الظاهرة امتصاص التوجيه في MoE (حيث تتكيف الخبراء مع الموجهات العشوائية).
• الاختلاف: امتصاص الانتباه أكثر حدة هيكلياً. في MoE، الخبراء وحدات مستقلة بذاتها. أما في الانتباه، فإن مشاركة معلمات Q/K/V تسمح بـ التعويض عبر الطبقات، مما يجعل تأثير الامتصاص أكثر قوة وصعوبة في الكسر.

رؤية نظرية

• مبدأ الفصل (Decoupling Principle): عندما تتحكم شبكة مساعدة صغيرة (الموجه) في ركيزة حسابية أكبر بكثير، يجب فصلهما. إذا تم تدريبهما بشكل مشترك، ستمتص الركيزة إشارة الموجه، مما يجعل قرارات الموجه المحددة غير ذات صفر.

الخاتية

تخلص الورقة إلى أن امتصاص التوجيه هو السبب الرئيسي لفشل الانتباه المتناثر من البداية إلى النهاية. تتكيف إسقاطات Q/K/V في النموذج مع أي قناع مفروض، مما يجعل البوابات المتعلمة ليست أفضل من العشوائية. الحل هو الفصل: قم بتدريب النموذج الكثيف أولاً، ثم قم بتقطير بوابة متناثرة على التمثيلات المجمدة. هذا النهج يحقق أداءً قريباً من "الأوراكل" لأنه يمنع التكيف المشترك الذي يسبب الامتصاص.