Which Question Is Your Attention Metric Answering? Attention Rows as Compositional Data
تجادل هذه الورقة بأن مقاييس الانتباه القياسية غالبًا ما تؤدي إلى استنتاجات مضللة لأنها تفشل في التمييز بين تركيز النموذج على رمز "بالوعة" (sink token) مهيمن وتوزيعه على رموز المحتوى، وتقترح بدلاً من ذلك معاملة صفوف الانتباه كبيانات تركيبية لفصل هذه العوامل بدقة وتجنب العيوب في تحليل النماذج وتقليصها.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
داخل الشبكات العصبية الشاسعة التي تشغل الذكاء الاصطناعي الحديث، توجد آلية تسمى "الانتباه" (attention) تسمح للنظام بتقرير الأجزاء الأكثر أهمية من جملة أو صورة في أي لحظة معينة. عندما تعمل هذه الآلية، فإنها تنتج قائمة من الاحتمالات لكل كلمة أو رمز (token)، تظهر مقدار التركيز الموضوع على كل منها. لسنوات، درس الباحثون هذه القوائم لفهم كيفية تفكير الآلات، مستخدمين أدوات رياضية قياسية لمقارنتها. وقد افترضوا أنه إذا بدت قائمتان متشابهتين، فإن عمليات التفكير الكامنة وراءهما متشابهة أيضاً. ومع ذلك، يكشف تحليل جديد أن هذا الافتراض يستند إلى خيار خفي اتخذه العلماء دون إدراك منهم، وهو خيار يمكن أن يقلب استنتاجاتهم تماماً حول ما تفعله الآلة حقاً.
تكمن جوهر المشكلة في سلوك غريب يوجد في كل نموذج لغوي كبير تقريباً: وهو الميل إلى صب كمية هائلة من الانتباه على رمز واحد غير مفيد، وعادة ما يكون الكلمة الأولى في الجملة. يطلق الباحثون على هذا الأمر اسم "بالوعة الانتباه" (attention sink). وفي كثيرْ من الحالات، يمتص هذا الرمز الواحد ثمانين بالمائة أو أكثر من إجمالي الانتباه، تاركاً الرموز المتبقية تتقاسم الجزء الضئيل المتبقي. وعندما يريد العلماء مقارنة نمطي انتباه مختلفين، فإنهم يواجهون معضلة: هل يدرجون هذا الرمز الأول المهيمن في مقارنتهم، أم يزيلونه لرؤية كيفية توزيع المعلومات المتبقية؟ يوضح البحث أن هذا ليس مجرد إجراء تقني بسيط؛ فاعتماداً على الخيار الذي يختاره الباحث، يمكن لنفس نمطي الانتباه أن يبدوا إما متطابقين تقريباً أو مختلفين تماماً. وهذا يعني أن عقوداً من البحث السابق، والتي اعتمدت غالباً على مقارنة هذه الأنماط دون التصريح بكيفية التعامل مع الرمز الأول، ربما استخلصت استنتاجات بناءً على عرف تعسفي بدلاً من البنية الفعلية لعملية تفكير النموذج.
ولحل هذه المعضلة، عامل المؤلفون قوائم الانتباه كنوع محدد من البيانات يُعرف بالبيانات التركيبية (compositional data)، حيث الشيء الوحيد المهم هو النسبة النسبية للأجزاء، وليس حجمها المطلق. ومن خلال تطبيق إطار رياضي متخصص مصمم لهذا النوع من البيانات، تمكنوا من فصل سؤال "البالوعة" عن سؤال "المحتوى". لقد أثبتوا أن الأدوات القياسية المستخدمة في المجتمع العلمي، مثل تشابه جيب التمام (cosine similarity) والاعتلاج (entropy)، تخلط بين هذين السؤالين المتميزين. فعندما تكبر بالوعة الانتباه، تبلغ هذه الأدوات القياسية أن الانتباه أصبح أكثر تركيزاً وأن النظام ينهار نحو حالة أبسط. لكن التحليل الجديد يظهر أن هذا غالباً ما يكون وهماً؛ فالانتباه لا يصبح بالضرورة أكثر تركيزاً على المحتوى، بل ببساطة إن الرمز الأول يستحوذ على قدر أكبر من الأضواء. يمكن لتوزيع الانتباه الفعلي بين الكلمات ذات المعنى أن يظل دون تغيير تماماً بينما تصر المقاييس القياسية على أن انهياراً قد حدث.
اختبر الباحثون هذه النظرية عبر عشرة نماذج مدربة مسبقاً، تتراوح من الشبكات التجريبية الصغيرة إلى النماذج الضخمة التي تحتوي على مليارات المعلمات (parameters). ووجدوا أن اختيار العرف يغير النتيجة في عدد مذهل من الحالات. ففي بعض النماذج، كان ما يقرب من نصف المقارنات بين أجزاء الشبكة المختلفة ينقلب من استنتاج إلى نقيضه عند انتقال الباحثين من إبقاء البالوعة إلى حذفها. على سبيل المثال، زوج من رؤوس الانتباه (attention heads) الذي بدا وكأنه أقرب الجيران في الشبكة عند تضمين البالوعة، يمكن أن يصبح غريباً بعيداً بمجرد إزالة البالوعة. وبالعكس، الرؤوس التي بدت غير مرتبطة بوجود البالعة، يمكن أن تبدو كتوائم متطابقة بدونها. هذا عدم الاستقرار يعني أن خرائط "تجميع الرؤوس" (head clustering) الشهيرة، التي يستخدمها العلماء لتصنيف ما تفعله الأجزاء المختلفة من "الدماغ"، كانت غالباً تلتقط حجم البالوعة بدلاً من الوظيفة الفعلية للأجزاء. وفي إعادة تحليل رئيسية لمسار تجميع قياسي، تلاشى الهيكل الأبرز الموجود في البيانات تماماً بمجرد مراعاة البالوعة بشكل صحيح، مما كشف أن الهيكل كان مجرد أثر ناتج عن طريقة القياس، وليس سمة من سمات النموذج.
إن التداعيات على تدريب وتحسين هذه النماذج كبيرة جداً. يظهر البحث أن الكثير مما يبدو كـ "انهيار الاعتلاج" (entropy collapse) -وهو علامة على أن النموذج يصبح غير مستقر أو مبسطاً للغاية أثناء التدريب- هو في الواقع مجرد نمو لبالوعة الانتباه. ففي النماذج التي تحتوي على مليار معلمة، كان 95% من الانخفاض الظاهري في التعقيد ناتجاً عن استيلاء البالوعة على مساحة أكبر، وليس بسبب كون المحتوى أصبح أقل تنوعاً. وهذا التمييز مهم لأن طريقة تغيير فهم المهندسين لكيفية تقليم (pruning)، أو إزالة، الأجزاء غير الضرورية من الشبكة. فعندما استخدم الباحثون الطريقة الجديدة، التي تفصل البالوعة، وجدوا أن استخدام الطرق القديمة يمكن أن يؤدي إلى انهيار أداء النموذج، مما يزيد معدل الخطأ فيه بأكثر من مائة ضعف في بعض الحالات. لقد سمحت الطريقة الجديدة لهم بتحديد وإزالة الأجزاء الزائدة دون كسر النموذج، ولكن فقط إذا قاموا أولاً بفصل ضجيج البالوعة عن إشارة المحتوى.
في النهاية، لا يدعي هذا العمل أن الرياضيات القديمة كانت خاطئة، بل إنها كانت تجيب على سؤال مختلف عما اعتقد الباحثون أنهم يسألون عنه. كانت الأدوات القديمة تقيس إجمالي تخصيص الانتباه، بما في ذلك التحيز الهائل للكلمة الأولى. أما الأدوات الجديدة، فهي تقيس كيفية مشاركة بقية الانتباه بين المحتوى الفعلي. يقدم المؤلفون خارطة طريق واضحة للحالات التي يكون فيها كل نهج آمناً للاستخدام والحالات التي يؤدي فيها إلى كارثة. إنهم يظهرون أنه بالنسبة للنماذج ذات بالوعات الانتباه القوية، فإن الطرق القياسية غير موثوقة لفهم المنطق الداخلي للآلة. ومن خلال فصل هذين المسارين، يمكن للباحثين الآن رؤية الهندسة الحقيقية لانتباه النموذج، والتمييز بين نظام يبسط أفكاره حقاً ونظام يسمح ببساطة للرمز الأول فيه بالهيمنة على الحوار. يوفر هذا الفصل رؤية أكثر صدقاً لكيفية تنظيم هذه الأنظمة للمعلومات، مما يضمن أن الاكتشافات المستقبلية حول أعمالها الداخلية ستستند إلى محتوى أفكارها، وليس إلى عيوب طريقة قياسها.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.