Characterizing the Expressivity of Local Attention in Transformers

إليك ملخص تقني مفصل للورقة البحثية بعنوان "توصيف القدرة التعبيرية للانتباه المحلي في نماذج المحولات (Transformers)" لـ جياودا لي وريان كوتريل.

1. بيان المشكلة

تعتمد بنية المحول (Transformer) على آلية انتباه عالمي (Global Attention)، والتي تجمع المعلومات من جميع الرموز (tokens) السابقة، مما يؤدي إلى تعقيد حسابي تربيعي ($O(N^2)$). وللتخفيف من ذلك، يقوم الانتباه المحلي (Local Attention) بتقييد عملية التجميع ضمن نافذة ثابتة الحجم من السوابق، مما يقلل التعقيد إلى خطي ($O(N)$).

بينما يكون الدافع الأساسي للانتباه المحلي هو الكفاءة، فقد أظهرت الدراسات التجريبية أنه غالبًا ما يحسن جودة النموذج (على سبيل المثال، في الترجمة الآلية ونمذجة اللغة) حتى عند ثبات الميزانية الحسابية. وهذا يمثل لغزًا نظريًا: لماذا يؤدي تقييد مجال الاستقبال (وهو آلية تبدو "أضعف") أحيانًا إلى أداء أفضل؟

يهدف المؤلفون إلى حل هذه المعضلة من خلال توصيف القدرة التعبيرية (Expressivity) لأنماط الانتباه المختلفة (العالمي، المحلي، والهجين) من حيث اللغات الصورية التي يمكنها التعرف عليها.

2. المنهجية

تستخدم الورقة البحثية نهج نظرية اللغات الصورية، حيث تربط بنيات المحولات بـ المنطق الزمني الخطي (LTL) ونظرية الأوتوماتا الجبرية.

• الإطار النظري:

  • يحلل المؤلفون نماذج المحول ذات الدقة الثابتة باعتبارها معرّفات للغات.
  • يربطون آليات الانتباه بأجزاء من المنطق الزمني الخطي (LTL):
    • الانتباه العالمي (Global Attention): يتوافق مع LTL[P] (عامل الماضي)، والذي يسمح بالنظر إلى الماضي بعيدًا بقدر ما يشاء ولكن فقط إلى وجود حدث ما في الماضي.
    • الانتباه المحلي (Local Attention) بحجم نافذة $k$: يتوافق مع LTL[$Y_{\le k}$] (عامل "الأمس المحدود")، والذي يتحقق مما إذا كان شرط ما قد تحقق خلال الخطوات $k$ الأخيرة.
    • الانتباه الهجين (Hybrid Attention): يتوافق مع LTL[P, $Y_{\le k}$]، حيث يجمع بين كلا العاملين.
  • يستخدم المؤلفون التوصيفات الجبرية (السيمنجوبات النحوية، المونودات النحوية) والخصائص القائمة على الأوتوماتا (تكوينات DFA) لإثبات الفصل الصارم بين هذه الأجزاء المنطقية.

• التحقق التجريبي:

  • التعرف على اللغات الصورية: درب المؤلفون نماذج المحول للتعرف على فئات محددة من اللغات الصورية (مثل السلاسل التي تنتهي بـ 'a'، والسلاسل التي تحتوي على 'ab'، ولغات Dyck المحدودة) بأطوال متفاوتة لاختبار القدرة على التعميم.
  • نمذجة اللغة الطبيعية: أجروا تجارب خفيفة الوزن للتنبؤ بالرمز التالي (next-token prediction) باستخدام بنى شبيهة بـ GPT-2-small على مجموعة بيانات WikiText-2.
  • المتغيرات: قارنوا بين ثلاثة أنماط للانتباه (عالمي فقط، محلي فقط، هجين) عبر أحجام نوافذ مختلفة ($k \in \{1, 2, 4, \dots\}$) وطرق ترميز موضعي (Learned, RoPE, SiPE).

3. المساهمات الرئيسية

أ. التوصيف النظري

1. الانتباه العالمي = LTL[P]: يؤكد أن الانتباه العالمي يتوافق مع المنطق الذي يحتوي على عامل ماضٍ واحد، وهو قادر على التعرف على كثيرات الحدود ذات المحدد اليساري، لكنه يفشل في بعض المهام القائمة على اللاحقات (suffixes).
2. الانتباه المحلي = LTL[$Y_{\le k}$]: يثبت أن الانتباه المحلي يتوافق مع المنطق الزمني المحدود. ومن الأهمية بمكان أنهم أظهروا أن LTL[P] و LTL[$Y_{\le k}$] غير قابلان للمقارنة.
   • لا يمكن للانتباه العالمي التعرف على اللغات المعرفة بسلاسل لاحقة محددة (مثل السلاسل التي تنتهي بـ 'a').
   • لا يمكن للانتباه المحلي التعرف على اللغات المعرفة بسلاسل بادئة محددة (مثل السلاسل التي تبدأ بـ 'a').
3. الانتباه الهجين = LTL[P, $Y_{\le k}$]: يوضح أن الجمع بين الانتباه العالمي والمحلي يوسع بشكل صارم فئة اللغات المنتظمة القابلة للتعرف عليها. يمكن للنموذج الهجين التعرف على اللغات القابلة للاختبار محليًا (Locally Testable Languages) (وهي مجموعة عليا من اللغات المحددة)، وهو ما لا يستطيع أي من الانتباه العالمي أو المحلي الصرف استيعابه بالكامل.
4. مثالية حجم النافذة $k=1$: يثبت نظريًا أنه ضمن عائلة الانتباه المحلي، فإن حجم النافذة $k=1$ (النظر فقط إلى السلف المباشر) هو الأكثر قدرة تعبيرية من النوافذ الأكبر ($k > 1$) عند غياب الترميز الموضعي. وذلك لأن $k=1$ يُدخل عامل "الأمس" ($Y$)، وهو أقوى عامل محلي.

ب. النتائج التجريبية

1. التعميم على اللغات الصورية:

   • حققت النماذج الهجينة (تحديدًا مع $k=1$) تعميمًا مثاليًا (دقة 100%) على جميع اللغات القابلة للتعريف في LTL[P, Y]، بما في ذلك اللغات التي فشلت فيها النماذج العالمية أو المحلية فقط.
   • فشلت النماذج العالمية فقط في المهام القائمة على اللاحقات (LTL[Y]).
   • فشلت النماذج المحلية فقط في المهام القائمة على البادئات (LTL[P]).
   • حجم النافذة: تفوق $k=1$ باستمرار على $k=2$ و $k=4$ في غياب الترميز الموضعي.

2. اللغة الطبيعية (WikiText-2):

   • حقق الانتباه الهجين مع $k=1$ باستمرار أدنى مستوى من الارتياب (perplexity) عبر جميع مخططات الترميز الموضعي (Learned, RoPO, SiPE).
   • كانت الفجوة في الأداء بين النماذج الهجينة والنماذج العالمية فقط كبيرة (على سبيل المثال، انخفاض بنحو 69 نقطة في الارتياب تحت نظام Learned embeddings).
   • من المثير للاهتمام أن النماذج المحلية فقط تفوقت أحيانًا على النماذج العالمية فقط، مما يدعم النظرية القائلة بأنها مكملة لبعضها البعض وليست مجرد علاقة "أفضلية" مطلقة.

3. دور الترميز الموضعي:

   • يمكن سد الفجوات النظرية بين $k=1$ و $k>1$ في الانتباه المحلي إذا عملت الترميزات الموضعية كـ "محمولات نمطية" (modular predicates) (مما يسمح للنموذج بعدّ الخطوات).
   • ومع ذلك، في الممارسة العملية، لم تستطع الترميزات القياسية (RoPE, SiPE) تعويض نقص الانتباه المحلي بالكامل، وظلت النماذج الهجينة هي الأفضل.

4. الأهمية

• حل "مفارقة الانتباه المحلي": توفر الورقة أول تفسير رسمي لسبب تحسين الانتباه المحلي للأداء. فهو ليس مجرد تحسين للسرعة؛ بل هو يقدم تحيزًا استقرائيًا مكملاً (القدرة على تتبع السلف المباشر عبر عامل $Y$) الذي يفتقر إليه الانتباه العالمي.
• إرشادات التصميم: تشير النتيات بقوة إلى أن البنيات الهجينة (التي تمزج بين رؤوس الانتباه العالمي والمحلي) هي الأفضل نظريًا وتجريبيًا. علاوة على ذلك، فإنهم يدعون إلى استخدام حجم نافذة قدره 1 لرؤوس الانتباه المحلي، حيث إنه يعظم القدرة التعبيرية من خلال التقاط السلف المباشر دون عبء العمق الإضافي للنوافذ الأكبر.
• الجسر النظري: يرسخ هذا العمل العلاقة بين تصميم البنية العصبية والمنطق الصوري، مما يوفر عدسة دقيقة للتنبؤ بقدرات النماذج في المهام التي تتطلب تبعيات طويلة المدى أو محلية محددة.

باختصار، يثبت المؤلفون أن الانتباه المحلي ليس تدهورًا للانتباه العالمي، بل هو مكمل ضروري. فمن خلال الجمع بين الرؤية العالمية (وجود الماضي) والرؤية المحلية (التاريخ المباشر)، تحقق نماذج المحول الهجينة أغنى جزء من التعرف على اللغات المنتظمة، مما يؤدي إلى أداء متفوق في كل من المهام الصورية ونمذجة اللغة الطبيعية.