Self-attention vector output similarities reveal how machines pay attention

ملخص تقني: تشابه مخرجات ناقلات الانتباه الذاتي يكشف كيف تنتبه الآلات

بيان المشكلة
بينما أحدثت آلية الانتباه الذاتي ثورة في معالجة اللغات الطبيعية (NLP)، لا تزال الآليات الكمية الدقيقة الكامنة وراء قدراتها التعلمية المتقدمة مسألة بحثية مفتوحة. تركز الأدبيات الحالية بشكل أساسي على تحليل خرائط الانتباه (أوزان الانتباه) لفهم كيفية تركيز النماذج على النص. ومع ذلك، تشير الدراسات السابقة إلى أن أوزان الانتباه وحدها غير كافية لتفسير عمليات التعلم داخل بنيات المحولات (Transformers). علاوة على ذلك، غالبًا ما تتجاهل النهج الحالية الاستكشاف الأوسع لفضاء ناقلات المخرجات الناتج عن رؤوس الانتباه الفردية. هناك نقص في لغة قابلة للقياس لقياس مدى جودة تعلم كل طبقة أو لتوصيف الآليات الداخلية التي تحكم تطور تمثيلات الرموز (tokens) عبر الشبكة.

المنهجية
تقدم هذه الدراسة نهجًا جديدًا لتكميم معالجة المعلومات داخل آلية الانتباه الذاتي من خلال تحليل فضاء المتجهات الناشئ عن مخرجات رأس الانتباه، بدلاً من الاعتماد فقط على خرائط الانتباه. يستخدم البحث بنية BERT-12 مع طول تسلسل مدخلات ثابت يبلغ 128 رمزًا.

تتضمن المنهجية الأساسية الخطوات التالية:

1. بناء مصفوفة تشابه السياق: بدلاً من تحليل أوزان الانتباه، تحسب الدراسة حاصل الضرب النقطي للتمثيلات المتجهية غير المعيرة لكل زوج من الرموز (128 رمزًا) الناتجة عن كل رأس انتباه. ينتج عن ذلك مصفوفة تشابه سياقي ($128 \times 128$) لكل رأس.
2. تحليل فضاء المتجهات: يتم تصفير العناصر القطرية لهذه المصفوفات للتركيز على تشابهات السياق خارج القطر، مما يكشف عن علاقات المحاذاة وحجم المتجهات بين أزواج الرموز المختلفة.
3. التدرج على مستوى الطبقة والرأس: يتتبع التحليل تطور هذه المصفوفات عبر الطبقات الـ 12 لبنية BERT.
4. التجميع الإحصائي: تقوم الدراسة بتجميع البيانات عبر 20,000 عينة نصية لتحديد الأنماط في مسافات الرموز، وحدود الجمل، وتخصص الرؤوس الفردية. تُستخدم مناطق الانتباه العالي (المحددة عبر خرائط الانتباه المعيرة) لتقنين وتحديد مناطق تشابه السياق العالي.

النتائج الرئيسية
يكشف تحليل مصفوفات تشابه السياق عن أنماط متميزة في كيفية معالجة الانتباه الذاتي للمعلومات:

• تطور الطبقات:
  • الطبقات الأولية: تظهر تشابهات سياقية طويلة المدى بشكل كبير مع توزيع متساوٍ نسبيًا عبر المصفوفة.
  • الطبقات الوسطى: تظهر ميلًا قويًا نحو الارتباطات قصيرة المدى، مع تركيز عناصر التشابه العالي على طول القطر.
  • الطبقات النهائية: يتوسع تشابه السياق ليشمل الرموز المرتبطة ضمن نفس الجملة، بينما ينخفض التشابه بشكل كبير خارج حدود الجملة. يركز خريطة الانتباه في هذه الطبقات بكثافة على رموز فاصل الجملة (مثل "." و"،")، مما يشير إلى آلية للتقسيم الدلالي للنص.
• تخصص الرؤوس: تركز رؤوس الانتباه المختلفة داخل نفس الكتلة على خصائص لغوية متميزة. تتخصص بعض الرؤوس في تحديد تكرار الرموز، بينما تتعرف أخرى على رموز محددة والسياق المحيط بها.
• التركيز على الرموز الفريدة: تميل الرؤوس الفردية إلى التخصص في "الرمز الأكثر شيوعًا" لمدخل معين، حيث تبني أزواج تشابه مركزة حول ذلك الرمز المحدد. هذا التخصص ليس موحدًا عبر جميع الرؤوس؛ بل يتقارب كل رأس نحو رمز متميز.
• توزيع المسافة: بينما تظهر الطبقات المبكرة أهمية عشوائية عبر نطاقات الرموز، فإن الطبقات الوسطى والنهائية تحكمها ارتباطات قصيرة المدى. ومع ذلك، يمكن لرؤوس معينة (مثل الرأس 8 في الطبقة 11) أن تتعرف على الرموز المتطابقة عبر النص المدخل بالكامل.
• حدود الجمل: هناك تفضيل واضح للرؤوس لخلق تشابهات سياقية قوية داخل نفس الجملة (تتجاوز 33%)، مما يشير إلى أن عملية التعلم، وليس الصدفة الإحصائية، هي التي تقود هذا التجميع النحوي.

الأهمية والادعاءات
يدعي البحث تقديم لغة كمية جديدة لتقييم أداء التعلم لبنيات المحولات من خلال تحويل التركيز من خرائط الانتباه إلى فضاء متجه المخرجات. تكمن الأهمية الأساسية في:

1. تفسير الآلية: تقديم حساب كمي للآلية الداخلية التي تحكم البنية، مما يثبت كيف تتطور المتجهات من التمثيلات المعجمية إلى المناطق ذات الصلة النحوية.
2. ما وراء خرائط الانتباه: إثبات أن متجهات المخرجات تحتوي على معلومات حرجة حول انتشار الإشارة وديناميكيات التعلم التي تفشل أوزان الانتباه وحدها في التقاطها.
3. الضجيج والإشارة: تسليط الضوء على وجود عناصر الضجيج (تشابه سياقي عالٍ دون فهم لغوي مباشر) واقتراح أن فهم نسبة الإشارة إلى الضجيج في فضاء المتجهات قد يؤدي إلى تقليم واستخدام أكثر كفاءة للذاكرة.
4. الرؤى الهيكلية: تشير النتائج إلى أنه بينما تتفوق المحولات في الارتباطات متوسطة المدى داخل الجمل، فإنها تواجه صعوبة في العلاقات السياقية طويلة المدى عبر النصوص الأكبر. يفترض البحث أن التطورات المستقبلية قد تتطلب بنيات قادرة على التفاعلات المباشرة طويلة المدى، على غرار أنظمة التعلم البيولوجية.

تخلص الدراسة إلى أن هذه المنهجية توفر خطوة تأسيسية نحو فهم ديناميكيات آليات الانتباه الذاتي فيما يتعلق بمخرجاتها، مما يقدم رؤية أكثر شمولاً لكيفية معالجة بنيات المحولات للغة.