ملخص تقني: الانتباه العشوائي (Stochastic Attention)

بيان المشكلة

تعد آليات الانتباه الفعالة أمراً حاسماً لتوسيع نطاق نماذج المحولات (Transformers)، ومع ذلك تواجه النهج الحالية مقايضة بين التكلفة الحسابية وتغطية مجال الاستقبال. يقلل انتباه النافذة المنزلقة (Sliding-Window Attention - SWA) التعقيد إلى $O(nw)$ لكل طبقة من خلال قصر الرموز (tokens) على نافذة محلية بحجم $w$. ومع ذلك، فإن هذا الموضع الحتمي يحد من نمو مجال الاستقبال الفعال بشكل خطي ($\ell w$ بعد $\ell$ من الطبقات)، مما يترك أجزاء كبيرة من التسلسل غير قابلة للوصول عندما يكون $w \ll n$. وبينما توجد علاجات مثل الرموز العالمية (global tokens)، أو الأنماط المتفرقة المصممة يدوياً، أو التوجيه على مستوى الكتل، إلا أنها غالباً ما تفرض تعقيداً معمارياً أو تفشل في تقديم ضمانات تغطية مثبتة. وفي المقابل، يوفر الانتباه الكامل اتصالاً عالمياً ولكنه يتسبب في تكاليف باهظة تصل إلى $O(n^2)$.

يستلهم البحث فكرته من المخطط العصبي لذبابة الفاكهة (Drosophila melanogaster)، وهو شبكة تضم حوالي 130,000 عصبون باحتمالية اتصال تبلغ 0.02% فقط. ورغم هذه الندرة، تحقق الشبكة طول مسار متوسط قصيراً يبلغ حوالي 4.4 قفزة. ينشأ هذا الطوبولوجيا "عالم صغير" (small-world) من التفاعل بين التكتل المحلي الكثيف والاتصالات طويلة المدى الموزعة على نطاق واسع والتي تعمل كـ اختصارات عشوائية. ويفترض المؤلفون أن تدفق المعلومات العالمي الفعال يمكن أن ينبثق من الحوسبة المحلية المهيكلة المعززة باتصالات طويلة المدى موزعة وعشوائية، بدلاً من اشتراط الاتصال الكثيف الشامل (all-to-all).

المنهجية: الانتباه العشوائي (Stochastic Attention - SA)

يقترح المؤلفون الانتباه العشوائي (SA)، وهو تحسين خالٍ من المعلمات لآلية SWA يحاكي استراتيجية التوجيه في المخطط العصبي.

الآلية الجوهرية

يحول SA النافذة المحلية الثابتة إلى نافذة عالمية عشوائية من خلال عملية مكونة من ثلاث مراحل تُطبق قبل وبعد حساب SWA القياسي:

1. التبديل (Permute): يتم سحب تبديل عشوائي $\sigma \sim \text{Uniform}(S_n)$ بشكل مستقل لكل طبقة. يتم إعادة ترتيب تمثيلات تسلسل الرموز ($Q, K, V$) وفقاً لـ $\sigma$.
2. الانتباه بالنافذة (Windowed Attention): يتم تطبيق SWA القياسي في الفضاء المبدل. ولأن التبديل عشوائي، فإن النافذة الثابتة ذات الحجم $w$ تغطي الآن مجموعة فرعية عشوائية من التسلسل الأصلي.
3. إلغاء التبديل (Undo Permute): يتم استعادة الترتيب الأصلي عن طريق تطبيق $\sigma^{-1}$ على المخرجات.

في فضاء الرموز الأصلي، ينتبه الموقع $i$ إلى جوار عشوائي $\tilde{N}^\sigma_w(i)$ بحجم متوقع قدره $w$، موزع بانتظام عبر التسلسل الكامل بغض النظر عن المسافة الأصلية $|i-j|$. وهذا يخلق احتمالية اتصال زوجي تبلغ تقريباً $w/n$ لأي زوج من الرموز، بما يشبه الاختصارات طويلة المدى الموزعة في المخطط العصبي.

الخصائص النظرية

• نمو مجال الاستقبال: بينما ينمو مجال استقبال SWA بشكل خطي ($O(n/w)$ طبقات للتغطية الكاملة)، فإن عمليات التبديل التي يتم أخذ عينات منها بشكل مستقل عبر الطبقات تؤدي إلى مجالات استقبال تنمو أسياً. يثبت البحث أن تغطية التسلسل الكامل تتحقق في $O(\log_w n)$ طبقة.
• التعقيد: تظل عمليات التبديل وعمليات التبديل العكسي عمليات إعادة ترتيب للفهارس بتعقيد $O(n)$. وتظل عملية حساب الانتباه $O(nw)$. وبالتالي، يحافظ SA على نفس ميزانية$O(nw)$ لكل طبقة كما في SWA القياسي.
• القيود السببية (Causal Constraints): في الإعدادات ذات الترتيب الذاتي (autoregressive)، يتم تطبيق القناع السببي في الفضاء المبدل، مما يضمن انتباه الرموز فقط إلى الأسلاف المتاحين سببياً مع استمرار تمكين الاتصالات العشوائية طويلة المدى.

دمج البوابة (Gated SA + SWA)

لإعادة إنتاج نظام "العالم الصغير" (تكتل محلي عالٍ + مسارات قصيرة)، يقترح المؤلفون بنية ثنائية المسار تجمع بين SA وSWA:
$$Y = g_{sa} \odot Y_{sa} + g_{swa} \odot Y_{swa}$$
حيث $Y_{sa}$ و $Y_{swa}$ هما مخرجات المسارين العشوائي والنافذة المنزلقة على التوالي. يتم حساب أوزان البوابة ($g_{sa}, g_{swa}$) عبر إسقاطات سيجمويد (sigmoid) مستقلة، مما يسمح للنموذج بتعلم موازنة التماسك المحلي (من SWA) والتغطية العالمية (من SA). تضيف هذه الإضافة معاملات ضئيلة جداً وتحافظ على تعقيد $O(nw)$.

المساهمات الرئيسية

1. الانتباه العشوائي (SA): تحسين "جاهز للاستخدام" (drop-in) وخالٍ من المعلمات لـ SWA، يطبق تبديلات عشوائية لتحقيق نمو أسي في مجال الاستقبال ($O(\log_w n)$) ضمن نفس ميزانية الحوسبة $O(nw)$.
2. البوابة المدمجة (Gated SA + SWA): بنية ثنائية المسار تعيد إنتاج نظام "العالم الصغير" الملاحظ في المخططات العصبية بيولوجياً، وتوازن بين التكتل المحلي والاختصارات العشوائية.
3. التحقق التجريبي:
   • ما قبل التدريب (Pre-training): في النماذج ذات 360 مليون معلمة المدربة من الصفر، يحقق مزيج Gated SA + SWA أفضل متوسط دقة "صفرية" (zero-shot)، متفوقاً على SWA النقي ومساوياً للانتباه الكامل في درجة الحيرة (perplexity) ومتجاوزاً إياه في المهام اللاحقة.
   • الاستدلال بدون تدريب: عند تطبيقه على نماذج Qwen3-8B و Qwen3-30B-A3B المدربة مسبقاً، يتفوق SA باستمرار على SWA ويضاهي أو يتجاوز Mixture of Block Attention (MoBA) عند مقارنة ميزانيات الحوسبة. كما يستعيد جودة الانتباه الكامل بسرعة أكبر بكثير مع زيادة حجم النافذة.

النتائج

• ما قبل التدريب: حقق نموذج SA + SWA متوسط دقة صفرية قدره 35.9 (مقابل 35.1 لـ SWA و34.9 للانتباه الكامل). وقد حسن بشكل ملحوظ الأداء على LAMBADA (الذي يتطلب سياق خطاب واسع) مع الحفاظ على درجة حيرة منخفضة على WikiText. عانى SA النقي من درجة حيرة أعلى، مما يؤكد ضرورة التماسك المحلي لنمذجة اللغة.
• الاستدلال على Qwen3:
  • عند حجم نافذة فعال قدره 128، وصل SA في Qwen3-8B إلى دقة متوسطة بنسبة 70.9% (ضمن نقطة واحدة من خط الأساس للانتباه الكامل)، بينما تأخر SWA عند 62.2%.
  • في Qwen3-30B-A3B، وصل SA إلى دقة 73.2% عند حجم نافذة 64، متفوقاً بشكل كبير على SWA (47.0%) وMoBA (66.3%).
  • أظهر SA متانة في المهام كثيفة المعرفة (MMLU, BoolQ) حتى عند أحجام نوافذ صغيرة جداً (مثل $w=32$)، حيث انهار أداء SWA.
• الكفاءة: يحافظ SA على التوسع الخطي $O(nw)$. على وحدة معالجة رسومات A100، أظهر SA تسريعاً بمقدار 1.5× عند طول تسلسل 2,048، وارتفع إلى 28× عند 32,768 مقارنة بالانتباه الكامل.

الأهمية والادعاءات

يدعي البحث أن التوجيه العشوائي المستوحى من المخطط العصبي هو عنصر عملي لتحسين القدرة التعبيرية للانتباه الفعال. يجادل المؤلفون بأن تدفق المعلومات العالمي لا يتطلب اتصالاً كثيفاً شاملاً، بل يمكن أن ينبثق من التفاعل بين الحوسبة المحلية المهيكلة والاختصارات الطويلة المدى العشوائية والمنظمة عبر العمق.

تكمن أهمية هذا العمل في:

1. البساطة: لا يتطلب SA أي معلمات قابلة للتعلم في آلية الانتباه نفسها، ويتطلب فقط عبئاً إضافياً في الفهارس قدره $O(n)$، مما يجعله ترقية "جاهزة للاستخدام" لأنوية SWA الحالية (مثل الموجودة في Mistral, Gemma 2, gpt-oss).
2. الضمان النظري: يوفر تغطية مضمونة $O(\log_w n)$، وهو تحسن كبير عن التغطية الخطية لـ SWA.
3. التكامل: يُقدم كعنصر مكمل للنهج الخطية والمتفرقة الحالية، مما يقدم مبدأ تصميم جديد يجسّر الفجوة بين الكفاءة المحلية والقدرة التعبيرية العالمية دون تعقيد الأنماط المتفرقة المصممة يدوياً أو الرموز العالمية.