ملخص تقني: بقايا الانتباه التفاضلية (Delta Attention Residuals)

بيان المشكلة

تراكم الاتصالات المتبقية القياسية في نماذج المحولات (Transformers) جميع مخرجات الطبقات الفرعية السابقة عبر معاملات جمع ثابتة ($h_l = h_{l-1} + f(h_{l-1})$). وبينما يوفر هذا مسارات تدفق للتدريجات (gradients)، إلا أنه يفتقر إلى آلية لتجميع المعلومات بشكل انتقائي عبر العمق. اقترح "بقايا الانتباه" (Attention Residuals) (Kimi, 2025) استبدال التجميع الثابت بانتباه "softmax" متعلم فوق مخرجات الطبقات السابقة لتمكين التوجيه الانتقائي عبر الطبقات.

ومع ذلك، تحدد هذه الورقة نمط فشل حرج في "بقايا الانتباه" القياسية: انهيار التوجيه بسبب تكرار المصدر. في "بقايا الانتباه"، تكون التمثيلات المصدرية ($s_i$) هي الحالات المخفية التراكمية ($h_i = \sum v_j$). ومع زيادة العمق، تشترك الحالات التراكمية المتجاورة في بادئة مشتركة كبيرة، مما يؤدي إلى نمو التشابه الزوجي بينها. يقلل هذا التكرار من التباين في مرشحات التوجيه، مما يدفع أوزان انتباه "softmax" نحو توزيع منتظم تقريبًا. ومن الناحية التجريبية، يتدهور أقصى وزن توجيه في الطبقات العميقة إلى حوالي 0.2، مما يجعل الآلية غير فعالة في اختيار الحالات المعلوماتية ويحولها فعليًا إلى عملية متوسط حسابي لجميع المصادر.

المنهجية: بقايا الانتباه التفاضلية (Delta Attention Residuals)

لمعالجة تكرار المصدر، يقترح المؤلفون بقايا الانتباه التفاضلية، والتي تقوم بالتوجيه عبر الفروقات (deltas) (التغيير الناتج عن كل طبقة فرعية) بدلاً من الحالات التراكمية.

الآلية الجوهرية

بدلاً من التوجيه عبر $s_i = h_i$، تقوم الطريقة بالتوجيه عبر $v_i = h_{i+1} - h_i$، والذي يمثل المساهمة المحددة لكل طبقة فرعية. يتم تنفيذ ذلك عبر صيغة توجيه إضافي:
$$\hat{h}_l = \tilde{h}_l + \sum_i \alpha_{i \to l} \cdot v_i$$
حيث أن:

• $\tilde{h}_l$ هو تيار البقايا الحالي (يتم الحفاظ عليه افتراضيًا).
• $v_i$ هي مصادر الفروقات (مخرجات كل طبقة فرعية).
• $\alpha_{i \to l}$ هي أوزان الانتباه المتعلمة المحسوبة عبر "softmax" على الفروقات المعيارية.

متغيرات الدقة (Granularity Variants)

يُطبق المبدأ على مستويين من الدقة:

1. Delta AttnRes: يقوم بالتوجيه عبر مخرجات كل طبقة فرعية فردية (الانتباه و MLP)، مما يوفر $2L$ من المصادر لـ $L$ من الطبقات.
2. Delta Block: يقوم بتجميع مخرجات الطبقات الفرعية المتتالية داخل كتلة واحدة في فرق كتلة واحد ($\Delta_b$)، مما يقلل عدد المصادر إلى $\approx L/B$ من أجل الكفاءة.

مزايا التصميم الرئيسية

1. التنوع الهيكلي: على عكس الحالات التراكمية التي تتقارب نحو علاقات شبه خطية، فإن الفروقات (deltas) متنوعة هيكليًا لأن مخرجات الانتباه و MLP تشغل فضاءات فرعية مختلفة وتلتقط مستويات تجريد مختلفة. يحافظ هذا على تباين عالٍ في التوجيه (أقصى وزن $\approx 0.6$).
2. الحفاظ على البقايا: تحافظ الصيغة الإضافية على تيار البقايا، مما يضمن عدم فقدان أي معلومات عند حدود الكتل (على عكس توجيه الاستبدال الذي يتخلص من التيار).
3. التهيئة الآمنة: مع أوزان استعلام (query) مهيئة بصفر، تصبح أوزان التوجيه منتظمة، ويصبح مخرج التوجيه عبارة عن اضطراب محدود. هذا يحول الآلية إلى خريطة محايدة (identity map) عند التهيئة، مما يسمح بضبط النماذج المدربة مسبقًا دون تعطيل تيار البقايا المتعلم.

المساهمات الرئيسية

1. تحديد انهيار التوجيه: توضح الورقة أن تكرار المصدر في "بقايا الانتباه" ذات الحالة التراكمية يؤدي إلى تدهور حدة التوجيه إلى $\sim 0.2$ في الطبقات العميقة، مما يؤدي إلى توزيعات انتباه منتظمة تقريبًا.
2. بقايا الانتباه التفاضلية: بنية جديدة توجه عبر الفروقات بدلاً من الحالات التراكمية. يحافظ هذا على توجيه حاد ($\sim 0.6$) ويتفوق باستمرار على كل من البقايا القياسية وبقايا الانتباه عبر مقاييس تتراوح من 220 مليون إلى 7.6 مليار معلمة.
3. التوافق مع الضبط الدقيق: تسمح الصيغة الإضافية بتحويل نماذج Transformer المدربة مسبقًا إلى "بقايا انتباه تفاضلية" عبر الضبط الدقيق القياسي، متجاوزة مشكلة "وادي مشهد الخسارة" (loss landscape valley) حيث تفشل النماذج في استخدام أوزان عبر الطبقات أثناء الضبط الدقيق.

النتائج التجريبية

قيم المؤلفون الطريقة على نماذج بمعمارية Qwen3 تم تدريبها من الصفر على FineWeb-Edu وضبطها دقيقًا على مهام لاحقة.

• التدريب من الصفر:

  • الأداء: تفوقت طرق "دلتا" باستمرار على النماذج المرجعية. عند مقياس 1044 مليون، حققت Delta AttnRes درجة تعقيد (perplexity) تحقق صحة قدرها 29.13 (مقابل 29.70 للنموذج المرجعي، تحسن بنسبة -1.9%). عند مقياس 7.6 مليار، حققت Delta Block درجة 16.00 (مقابل 17.43 للنموذج المرجعي، تحسن بنسبة -8.2%).
  • فشل البدائل: تدهورت "بقايا الانتباه" القياسية (AttnRes) بشكل كبير عند المقاييس الأكبر (على سبيل المثال، أسوأ بنسبة +6.9% من النموذج المرجعي عند 1044 مليون) بسبب فقدان المعلومات التراكمي من توجيه الاستبدال وإعادة الضبط الدورية.
  • الكفاءة: بينما توفر Delta AttnRes (لكل طبقة فرعية) أفضل درجة تعقيد، إلا أنها تتحمل عبء ذاكرة مرتفع. Delta Block (تجميع مستوى الكتلة) يوفر خيارًا عمليًا افتراضيًا، حيث يطابق جودة Delta AttnRes بتكاليف ذاكرة وإنتاجية أقل بكثير (على سبيل المثال، عبء ذاكرة بنسبة 26% مقابل 3.5 ضعف لـ Full Delta AttnRes عند 1044 مليون).

• الضبط الدقيق:

  • عند ضبط نموذج Qwen3-0.6B مدرب مسبقًا، حققت Delta Block دقة متوسطة بنسبة 55.6% عبر 8 اختبارات قياسية لاحقة، متفوقة على النموذج المرجعي القياسي (55.0%) و AttnRes (54.1%).
  • والأهم من ذلك، تجنبت Delta Block قفزة الخسارة الكبيرة الملحوظة في AttneRes عند التهيئة، حيث تقاربت بسلاسة بفضل خصائص التهيئة الآمنة.

• تحليل التوجيه:

  • تؤكد التصورات أن Delta Block يحافظ على توجيه حاد (أقصى وزن $\sim 0.6$–$1.0$) طوال العمق، بينما تنهار AttnRes إلى $\sim 0.2$ في الطبقات العميقة.
  • تركز الطبقات العميقة في نماذج "دلتا" الأوزان بشكل انتقائي على مخرجات مبكرة محددة (بما في ذلك تضمينات الرموز/token embeddings)، بينما توزع AttnRes الانتباه بشكل منتشر.

الأهمية والادعاءات

تدعي الورقة أن بقايا الانتباه التفاضلية تحل المشكلة الجوهرية المتمثلة في تكرار المصدر في التوجيه عبر الطبقات. من خلال التوجيه عبر "ما تغير" (الفروقات) بدلاً من "ما تراكم" (الحالات التراكمية)، تمكن الطريقة من توجيه انتقائي عالي التباين يتوسع بفعالية في الشبكات العميقة.

يؤكد المؤلفون أن هذا النهج متعامد مع التحسينات المعمارية الأخرى. تكمن أهميته الأساسية في:

1. القابلية للتوسع: يتيح اتصالات أكثر فعالية وعمقًا عبر الطبقات دون التدهور المشاهد في طرق البقايا القائمة على الانتباه السابقة.
2. العملية: تسمة الصيغة الإضافية والتهيئة الآمنة دمج التوجيه عبر الطبقات بسلاسة في نقاط فحص (checkpoints) Transformer المدربة مسبقة، وهي قدرة كانت تعيقها سابقًا عدم استقرار التهيئة.
3. الكفاءة: يوفر متغير Delta Block حلاً عالي الأداء ومنخفض التكلفة مناسبًا للتدريب واسع النطاق، حيث يوازن بين تعبير التوجيه والقيود الحسابية.