On the Existence and Behavior of Secondary Attention Sinks

إليك ملخص تقني مفصل لورقة البحث بعنوان "حول وجود وسلوك بالوعات الانتباه الثانوية" (On the Existence and Behavior of Secondary Attention Sinks).

1. بيان المشكلة

تُعد بالوعات الانتباه (Attention Sinks) عبارة عن رموز (غالباً ما تكون رمز بداية التسلسل أو BOS) تستقبل أوزان انتباه عالية بشكل غير متناسب رغم محدودية صلتها الدلالية. وبينما أثبتت الأبحاث السابقة أن رموز BOS تعمل كـ "بالوعات أولية" تظهر مبكراً وتستمر طوال الشبكة، اقترحت دراسات حديثة أن رموزاً أخرى يمكن أن تصبح بالوعات أيضاً.

ومع ذلك، عاملت الأعمال السابقة هذه البالوعات غير المرتبطة بـ BOS على أنها مماثلة لبالوعة BOS (تظهر في نفس الطبقة وتستمر إلى الأبد). تحدد هذه الورقة فجوة في الفهم: بالوعات الانتباه الثانوية (Secondary Attention Sinks). وهي فئة متميزة من البالوعات التي:

• تظهر بشكل أساسي في الطبقات الوسطى من الشبكة بدلاً من الطبقة الأولى.
• تستمر لـ عدد متغير من الطبقات (أعمار أقصر) بدلاً من العمق الكامل.
• تجذب كمية أصغر، ولكنها كبيرة، من كتلة الانتباه مقارنة بالبالوعات الأولية.
• تظهر غالباً على رموز غير معلوماتية دلالياً (مثل المسافات، علامات الترقيم، الأرقام) في مواضع عشوائية من تسلسل التوليد.

يهدف المؤلفون إلى توصيف هذه البالوعات الثانوية، وفهم تكوينها السببي، وتحليل تأثيرها على آلية الانتباه.

2. المنهجية

أجرى المؤلفون تجارب تجريبية واسعة النطاق عبر 11 عائلة من النماذج (بما في ذلك Qwen2/2.5/3، QwQ، DeepSeek، LLaMA-3.1، Phi-4، إلخ) مع تباين في المقاييس وأهداف التدريب (الأساسي، التعليمي، الرياضيات، الاستنتاج).

الخطوات المنهجية الرئيسية:

• بروتوكول الكشف:
  • توليد مسارات استنتاج باستخدام DeepSeek-14B على مجموعات بيانات مثل AIME24 و Math.
  • تغذية هذه المسارات في 11 عائلة مختلفة من النماذج.
  • تحديد البالوعات عن طريق حساب تشابه جيب التمام الزوجي (pairwise cosine similarity) بين الحالات الخفية ($h_t$) ورمز BOS ($h_0$) عند كل طبقة. الرموز التي بلغ تشابهها $> 0.95$ صُنفت كبالوعات.
  • التحقق من النتائج باستخدام تحليل معيار $\ell_2$ للحالات الخفية، والمفاتات (keys)، والقيم (values).
• تحليل التكوين السببي:
  • التتبع عبر الطبقات: تتبع الرموز التي ستصبح لاحقاً بالوعات ثانوية ("البالوعات المستقبلية") عبر طبقات محددة (مثل الطبقة 22 في DeepSeek-14B) لتحديد نقطة التحول الدقيقة.
  • عزل المكونات: تحليل مساهمات وحدات الانتباه الذاتي متعدد الرؤوس (MHSA) ووحدات الإدراك متعدد الطبقات (MLP) عن طريق استبدال المخرجات (الحالات الخفية، مخرجات الانتباه، مخرجات MLP) بمتوسط الرموز غير المعلوماتية.
  • تحليل المكونات الرئيسية (PCA) والفرضية الخطية: إجراء تحليل المكونات الرئيسية (PCA) على مدخلات MLP لاختبار ما إذا كانت البالوعات المستقبلية تشترك في "مفتاح" مشترك يسترجع اتجاه البالوعة.
  • التجميع (Clustering): استخدام t-SNE لتصور الفصل بين "البالوعات المستقبلية" و"الرموز غير المعلوماتية العادية" عبر عمق الشبكة.
• الكمّ (Quantification): تعريف مستويات البالوعة (Sink Levels) بناءً على طبقة الإنشاء ($l_{start}$) والعمر (عدد الطبقات التي تستمر فيها البالوعة).

3. المساهمات والنتائج الرئيسية

أ. اكتشاف البالوعات الثانوية ومستويات البالوعات

تثبت الورقة أن بالوعات الانتباه ليست كياناً واحداً. يمكن تصنيفها إلى:

1. البالوعات الأولية: تقابل رمز BOS؛ تظهر مبكراً وتستمر طول الشبكة.
2. البالوعات الثانوية: تظهر في الطبقات الوسطى (مثل الطبقة 22 في DeepSeek-14B) ولها أعمار متغيرة.

• مستويات البالوعة: يعرّف المؤلفون "المستويات" من خلال الزوج $(l_{start}, \text{lifetime})$. في النماذج الأكبر (مثل QwQ-32B، Qwen3-14B)، تصبح هذه المستويات أكثر حتمية وتكراراً، حيث تعمل طبقات محددة كـ "نقاط إنشاء" لمجموعات بالوعات متميزة.

ب. الآلية السببية: دور وحدات MLP في الطبقات الوسطى

يتأثر تكوين البالوعات الثانوية بوحدات MLP محددة في الطبقات الوسطى:

• نقطة التحول: تتصرف الرموز بشكل طبيعي حتى تصل إلى طبقة محددة ($l_{start}$). عند هذه الطبقة، تقوم وحدة MLP بتحويل تمثيل الرمز.
• محاذاة الاتجاه: تقوم وحدة MLP برسم خرائط للتمثيلات المتنوعة والمتعامدة للرموز إلى متجه يتوافق مع اتجاه البالوعة الأولية (اتجاه BOS).
• التضخيم: تعمل وحدة MLP كمضخم للمكونات المتوافقة مع اتجاه البالوعة وتقوم بتثبيط المكونات غير المتوافقة. يؤدي هذا إلى معيار $\ell_2$ كبير للحالة الخفية، مما يرتبط بدرجات انتباه عالية.
• التحضير المبكر: بينما يظهر تأثير البالوعة عند $l_{start}$، فإن قرار إنشاء البالوعة يبدأ في طبقات سابقة (مثل الطبقة 19)، حيث تبدأ "البالوعات المستقبلية" في التجمع بشكل منفصل عن الرموز العادية في فضاء التمثيل.

ج. الارتباط بالمعايير (Norms) والعمر

• معيار $\ell_2$ كمؤشر تنبؤي: يحدد معيار $\ell_2$ لمخرج MLP عند $l_{start}$ خاصيتين حرجتين:
  1. درجة البالوعة (Sink Score): مقدار وزن الانتباه.
  2. العمر (Lifetime): عدد الطبقات اللاحقة التي يظل فيها الرمز بالوعة.
  • المعايير الأعلى تؤدي إلى بالوعات أقوى واستمرارية أطول.
• الأثر التعويضي: تضعف قوة البالوعة الأولية (BOS) مع زيادة عمق الشبكة، وتصل إلى أدنى مستوياتها في الطبقات الوسطى. يتزامن هذا التضاؤل تماماً مع ظهور البالوعات الثانوية، مما يشير إلى آلية تعويضية حيث تحافظ البالوعات الثانوية على استقرار الانتباه المطلوب لعمل النموذج.

د. اعتماد النموذج على الحجم والتدريب

• الحجم: البالوعات الثانوية نادرة أو غير موجودة في النماذج الأساسية الصغيرة. تصبح بارزة في النماذج الأكبر وتلك التي خضعت لتدريب مكثف بعد المعالجة (post-training) على بيانات الاستنتاج والرياضيات (مثل Qwen-Math، QwQ).
• الحتمية: مع زيادة حجم النموذج، يصبح موقع ($l_{start}$) وعمر البالوعات أكثر حتمية، مما يشكل "مستويات" متميزة بدلاً من حدوثات عشوائية.

4. ملخص النتائج

• الكشف: وُجدت البالوعات الثانوية في عائلات Qwen2، Qwen2.5، Qwen3، وQwQ، وDeepSeek، ولكنها غائبة بشكل ملحوظ في CodeLlama وLLaMA-3.1 (رغم استخدام بنيات مشابهة)، مما يشير إلى أن بيانات تدريب محددة أو فروق في ترددات تضمين الموضع (RoPE base frequencies) تلعب دوراً في ذلك.
• أنواع الرموز: تحدث البالوعات الثانوية بشكل متكرر في الرموز غير المعلوماتية دلالياً (المسافات، أسطر جديدة، الأرقام) في مواضع عشوائية، وليس فقط في مواضع ثابتة.
• الأثر الكمي: في نماذج مثل Qwen3-14B، تم تحديد ما يصل إلى 6 مستويات بالوعات متميزة. وتنمو نسبة درجات البالوعة الثانوية إلى درجات بالوعة BOS بشكل لوغاريتمي خطي مع معيار مخرج MLP.

5. الأهمية والآثار المترتبة

• الرؤية النظرية: تتحدى هذه الورقة الرؤية القائلة بأن بالوعات الانتباه هي ظاهرة مرتبطة بـ BOS فقط. فهي تكشف عن آلية ديناميكية متعددة الطبقات، حيث يقوم النموذج بنشاط ببناء "نقاط مرجعية" (بالوعات) عند أعماق مختلفة لاستقرار الانتباه.
• آلية الاستنتاج: يشير الارتباط القوي بين البالوعات الثانوية والنماذج المدربة على الاستنتاج والرياضيات إلى أن هذه البالوعات قد تكون نتاجاً عرضياً أو مكوناً ضرورياً لقدرات الاستنتاج المعقدة، حيث تعمل كأنظمة إحداثيات داخلية للتمثيلات عالية الأبعاد.
• التطبيقات العملية:
  • تحسين ذاكرة التخزين المؤقت (KV-Cache Optimization): إن فهم أن البالوعات لها أعمار متغيرة قد يؤدي إلى استراتيجيات ضغط أكثر كفاءة لذاكرة KV-cache لا تحفظ جميع الرموز بشكل أعمى حتى نهاية التسلسل.
  • متانة النموذج: تحديد وحدات MLP المسؤولة عن تكوين البالوعة يمكن أن يساعد في تصحيح عدم استقرار النموذج أو تحسين عملية التكميم (Quantization) (من خلال الحفاظ على ناقلات "البالوعة" الحرجة هذه).
  • تصميم البنية التحتية: يمكن تصميم النماذج المستقبلية للتحكم في البالوعات الثانوية أو كبحها إذا وُجد أنها تعيق مهاماً معينة، أو تعزيزها لتحسين استقرار الاستنتاج.

في الختام، تقدم الورقة توصيفاً دقيقاً لـ بالوعات الانتباه الثانوية، موضحة أنها ظاهرة متميزة تتشكل سببياً بواسطة وحدات MLP في الطبقات الوسطى، والتي تعمل لتعويض تضاؤل البالوعات الأولية، وترتبط ارتباطاً وثيقاً بحجم النموذج وقدرات الاستنتاج.