Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

ملخص تقني: الذاكرة العابرة الشبيهة بالبشر تحسن تعلم اللغة ولكنها تضعف التنبؤ بزمن القراءة في نماذج المحولات اللغوية (Transformer)

بيان المشكلة
لطالًا ما افترضت العلوم المعرفية أن الطبيعة العابرة للذاكرة العاملة البشرية — وتحديدًا الفقد السريع لأشكال الكلمات الدقيقة — تساعد بشكل متناقض في اكتساب اللغة. تشير فرضية "الأقل هو الأكثر" هذه إلى أن قيود الذاكرة تجبر المتعلمين على التركيز على الانتظامات المحلية وتطوير تمثيلات مجردة (مثل التجميع أو البنية النحوية) بدلاً من الاعتماد على الحفظ الإحصائي لسطح النص. وقد دعم العمل الكلاسيكي في الشبكات الاتصالية بواسطة إل مان (1993) هذا الطرح، حيث أظهر أن تقييد نوافذ المدخلات يحسن التعلم في الشبكات العصبية المتكررة. ومع ذلك، فإن صعود نماذج المحولات (Transformers)، التي تمتلك ذاكرة مثالية ضمن سياقها وتفتقر إلى انحيازات تلقائية تجاه الحداثة، يتحدى هذه الرؤية. تتعمق هذه الورقة في دراسة ما إذا كان إعادة إدخال قيود الذاكرة الشبيهة بالبشر (الذاكرة العابرة) يفيد بالفعل في تعلم اللغة في نماذج المحولات الحديثة، وما إذا كانت مثل هذه القيود الهيكلية تحسن قدرة النماذج على التنبؤ بالسلوك القرائي البشري.

المنهجية
أجرى المؤلفون تجارب منضبطة بدقة باستخدام نماذج لغوية من نوع المحولات (بنية GPT-2) تم تدريبها على مجموعة بيانات BabyLM، والتي تحاكي الأنظمة التطويرية الواقعية (10 ملايين و100 مليون رمز/توكن).

• تعديل البنية: طبق المؤلفون "الذاكرة العابرة" عبر تعديل آلية الانتباه الذاتي. فبدلاً من أوزان الانتباه الموحدة، طبقوا انحيازاً ثابتاً وغير قابل للتدريب (دالة اضمحلال قانون القوة) على درجات الانتباه بعد عملية "softmax". يقلل هذا الانحياز من الاحتفاظ بالرموز بناءً على مسافتها من الكلمة الحالية.
• مخزن الذاكرة الصدوية (Echoic Memory Buffer): إدراكاً منهم بأن الاضمحلال الساذج (الفقد الفوري من الرمز الأول) قد يقطع التبعيات المحلية، استحدث المؤلفون "مخزن ذاكرة صدوية". يضمن هذا المخزن الاحتفاظ المثالي لأول 3 إلى 7 كلمات (حوالي 5-10 رموز) قبل بدء اضمحلال قانون القوة، مما يحاكي الذاكرة الحسية البشرية.
• التصميم التجريبي: لعزل تأثير بنية الذاكرة، درب المؤلفون نماذج باستخدام بذور عشوائية متطابقة (للتحكم في تهيئة الأوزان وترتيب عينات البيانات) تحت شرطين: الذاكرة المثالية (المحول القياسي) والذاكرة العابرة (مع تباين قوة الاضمحلال وأحجام المخزن).
• مقاييس التقييم:
  1. تعلم اللغة: تم قياسه عبر خسارة التحقق (cross-entropy) والتقييم النحوي المستهدف باستخدام معيار BLiMP (الأزواج اللغوية الدنيا).
  2. المحاذاة السلوكية: تم قياسها بقدرة النموذج على التنبؤ بأزمنة القراءة البشرية (التنبؤ القائم على المفاجأة/surprisal) باستخدام تحليل الانحدار الخطي المختلط على مجموعتي بيانات Natural Stories وDundee.
  3. الدقة الإحصائية: استخدمت التحليلات اختبارات t لـ "bootstrap" عبر 10 إلى 12 بذرة لكل حالة لضمان أن النتائج ليست نتاجاً للعشوائية.

النتائج الرئيسية

1. الاضمحلال الساذج يضعف التعلم: أدى التنفيذ "الساذج" للذاكرة العابرة (الاضمحلال الفوري دون مخزن) باستمرار إلى تدهور أداء نمذجة اللغة، مما أدى لزيادة خسارة التحقق.
2. الذاكرة العابرة + المخزن تحسن التعلم: عند دمجها مع مخزن ذاكرة صدوية، حسنت الذاكرة العابرة تعلم اللغة باستمرار. حققت النماذج ذات هذه البنية خسارة تحقق أقل ودرجات BLiMP أعلى مقارنة بنماذج التحكم ذات الذاكرة المثالية عبر كل من مجموعات التدريب (10 ملايين و100 مليون رمز). كانت التحسينات ذات دلالة إحصائية وقوية عبر مختلف إعدادات المعلمات الفائقة (hyperparameters).
3. مكاسب المعرفة النحوية: امتدت التحسينات إلى الظواهر النحوية المجردة، لا سيما تلك التي تعتمد على التبعيات المحلية (مثل توافق الفاعل والفعل، وتوافق الضمير).
4. ضعف التنبؤ بزمن القراءة: على عكس التوقعات بأن نماذج اللغة الأفضل تتنبأ بالسلوك البشري بشكل أفضل، أدت نماذج الذاكرة العابرة أداءً أسوأ في التنبؤ بأزمنة القراءة البشرية. لوحظ هذا الضعف في كل من أحجام مجموعات التدريب ومجموعات البيانات (Natural Stories وDundee).
5. آلية التباين: استبعد المؤلفون التفسيرات القياسية لـ "النموذج الأفضل، السلوك الأسوأ"؛ فلم يكن الضعف ناتجاً عن مقاييس تدريب فائقة القدرة (حيث كانت البيانات بمقياس بشري)، ولم يكن ناتجاً فقط عن حفظ الكلمات منخفضة التكرار (رغم أن الخطأ تركز في الكلمات النادرة، إلا أن البصمة المحددة المرتبطة بالحفظ كانت غائبة).

الأهمية والادعاءات
تدعي الورقة تقديم دعم تجريبي للفرضية المعرفية القائلة بأن قيود الذاكرة تعمل كتحيز استقرائي مفيد لتعلم اللغة في الشبكات العصبية، حتى ضمن بنية المحول. ومن خلال ترميز الأولوية الإحصائية بأن التبعيات اللغوية غالباً ما تكون محلية، فإن الذاكرة العابرة تحسن كفاءة العينة واكتساب البنية النحوية.

ومع ذلك، يسلط المؤلفون الضوء على تباين حاسم: إن القيود الهيكلية التي تجعل النموذج أكثر "شبهاً بالبشر" في عملية تعلمه، لا تجعله بالضر الضرورة أكثر "شبهاً بالبشر" في تنبؤاته بالسلوك البشري (أزمنة القراءة). تشير النتائج إلى أن آليات متعددة ومتميزة يمكن أن تسبب هذا التباين بين كفاءة نمذجة اللغة والمحاذاة السلوكية. ويشير المؤلفون بتواضع إلى أن هذه النتائج محددة بنظم البيانات ذات المقياس البشري؛ ففي مقاييس التدريب المسبق المعاصرة (مليارات الرموز)، قد تتضاءل فوائد هذه القيود حيث يمكن للنماذج تعلم الانحيازات المحلية مباشرة من البيانات. ويؤكد هذا العمل أن تحسين كفاءة التعلم الداخلية للنموذج لا يضمن بالضرورة ملاءمة أفضل لبيانات المعالجة البشرية.