To model human linguistic prediction, make LLMs less superhuman

ملخص تقني: "لنمذجة التنبؤ اللغوي البشري، يجب جعل النماذج اللغوية الكبيرة أقل تفوقاً على البشر"

بيان المشكلة
تاريخياً، تم استخدام النماذج اللغوية الكبيرة (LLMs) كنماذج حوسبية للتنبؤ اللغوي البشري، بناءً على فرضية أن قدرتها على التنبؤ بالكلمات القادمة تحاكي العمليات الإدراكية البشرية. ومع ذلك، ظهرت مفارقة: فكلما تحسنت دقة التنبؤ بالكلمة التالية في النماذج اللغوية الكبيرة السائدة، تراجعت قدرتها على تفسير سلوك القراءة البشري (تحديداً أوقات القراءة وبيانات تتبع حركة العين). تجادل الورقة بأن هذا التباين يحدث لأن النماذج اللغوية الكبيرة الحالية تمتلك قدرات تنبؤية "فائقة للبشر" مدفوعة بسعات ذاكرة تتجاوز بكثير قدرات القراء البشر. وتحديداً، تُظهر النماذج اللغوية الكبيرة ذاكرة طويلة المدى متفوقة (الاحتفاظ بمعرفة واسعة من الحقائق والأمثلة التدريبية) وذاكرة قصيرة مدى شبه مثالية (استرجاع الكلمات من السياقات البعيدة بأمانة دون تدهور زمني)، مما يؤدي إلى تنبؤات لا يستطيع البشر العاديون القيام بها.

المنهجية والتحليل
تقوم الورقة بتوليف الأدبيات التجريبية القائمة وإعادة تحليل العلاقة بين أداء النموذج والمواءمة مع البيانات البشرية.

• توليف الأدبيات: راجع المؤلفون مسار الدراسات التي تستخدم النماذج اللغبية الكبيرة لتقدير إمكانية التنبؤ بالكلمات. وقارنوا بين النتائج المبكرة (حيث ارتبط تحسن دقة التنبؤ بتحسن المواءمة مع أوقات القراءة البشرية) والنتائج الحديثة (ما بعد عام 2022) باستخدام نماذج "ترانسفورمر" (Transformer) قوية تم تدريبها على مجموعات بيانات ضخمة.
• إعادة تقييم البيانات: فحص المؤلفون النتائج من مجموعات النصوص المعيارية، بما في ذلك مجموعة نصوص القصص الطبيعية (القراءة ذاتية الخطوات) ومجموعة "دندي" (تتبع حركة العين). ولاحظوا أنه بينما عزز التحسن الأولي في دقة النموذج من المواءمة، فإن المكاسب الإضافية في دقة التنبؤ — المدفوعة بزيادة حجم النموذج وبيانات التدريب — أدت إلى تزايد عدم المواءمة مع أوقات القراءة البشرية.
• التحليل الآلي: تفكك الورقة الاختلافات الهيكلية والتدريبية بين البشر والنماذج اللغوية الكبيرة:
  • الذاكرة طويلة المدى: يتم تدريب النماذج اللغوية الكبيرة على كميات من البيانات تزيد بعدة مراتب عشرية عن البشر (على سبيل المثال، 15 تريليون كلمة لنموذج Llama 3 مقابل حوالي 100 مليون كلمة لطفل في سن 12 عاماً) وتحتفظ بمعرفة واقعية (مثل أماكن ميلاد المشاهير) وتعبيرات متعددة الكلمات يفتقر إليها البشر أو نسوها.
  • الذاكرة قصيرة المدى: على عكس الذاكرة العاملة البشرية، التي تتدهور بمرور الوقت وتتعرض للتداخل، تحافظ بنيات "الترانسفورمر" على مخزن "خالٍ من التدهور" للكلمات السابقة عبر آليات الانتباه (attention mechanisms). وهذا يسمح للنماذج اللغوية الكبيرة باسترجاع الكيانات المذكورة بدقة تامة قبل آلاف الكلمات، وهي قدرة تؤدي إلى تنبؤ شبه مثالي بالنصوص المكررة حيث يظهر البشر صعوبة في المعالجة.

المساهمات الرئيسية

1. تحديد "التفوق البشري" كعائق: تفترض الورقة أن العائق الأساسي أمام استخدام النماذج اللغوية الكبيرة كنماذج إدراكية ليس نقص قدراتها، بل "فائض" قدراتها. إذ تسمح لها ذاكرتها "الفائقة للبشر" بحل مهام التنبؤ التي تعد صعبة بطبيعتها بالنسبة للبشر بسبب الفجوات المعرفية أو تدهور الذاكرة.
2. تشخيص تباينات الذاكرة: يعزو المؤلفون عدم المواءمة صراحة إلى فشلين محددين في الذاكرة:
   • عدم تطابق الألفة: تمتلك النماذج اللغوية الكبيرة معرفة واقعية وتعرضاً لنصوص محددة (مثل إعلان الاستقلال) لا يمتلكها القارئ البشري المتوسط.
   • عدم تطابق الاسترجاع: تفتقر النماذج اللغوية الكبيرة إلى آثار التدهور الزمني والتداخل المتأصلة في الذاكرة قصيرة المدى البشرية، مما يسمح لها بحل الغموض النحوي واسترجاع الكيانات المكررة بدقة تامة، بينما يعاني البشر في ذلك.
3. مقترح للنمذجة الشبيهة بالبشر: تدعو الورقة إلى تحول في أهداف النمذجة من تعظيم دقة التنبؤ إلى تعظيم "الشبيهة بالبشر". ويتضمن ذلك تطوير نماذج لغوية كبيرة ذات قيود ذاكرة بمقياس بشري.

النتائج والأدلة

• اتجاهات التباين: يُظهر تحليل نماذج الانحدار التي تطابق احتمالات النماذج اللغوية الكبيرة مع أوقات القراءة البشرية علاقة غير رتيبة. فالزيادات الأولية في دقة النموذج تحسن المواءمة، ولكن بعد تجاوز عتبة معينة، تؤدي المزيد من مكاسب الدقة إلى تدهور المواءمة.
• دراسات التلاعب بالذاكرة: تستشهد الورقة بأدلة على أن تحديد وصول النماذج اللغوية الكبيرة إلى السياق يحسن المواءمة. فعلى سبيل المثال، يؤدي تقليل وزن الكلمات عالية التكرار في الجمل العميقة أو تقييد نافذة الانتباه بالكلمات الأخيرة إلى تقليل الفجوة بين احتمالات النموذج وأوقات القراءة البشرية.
• تأثيرات بيانات التدريب: تُظهر النماذج المدربة على مجموعات بيانات أصغر ومنسقة (مثل تحدي BabyLM) أو مجالات متخصصة مواءمة أفضل مع سلوك القراءة البشرية مقارنة بتلك المدربة على مجموعات نصوص ضخمة وعامة، مما يشير إلى أن الحد من التعرض للبيانات يمنع اكتساب الخبرة "الفائقة للبشر".

الأهمية والتوجهات المستقبلية
تخلص الورقة إلى أنه لكي تعمل النماذج اللغوية الكبيرة كنماذج صالحة لفهم اللغة البشرية، يجب أن تُجعل "أقل تفوقاً على البشر". ويحدد المؤلفون عدة اتجاهات لتحقيق ذلك:

• تنسيق بيانات التدريب: الحد من بيانات التدريب إلى كميات بمقياس بشري (مثلاً حوالي 100 مليون كلمة) لمنع حفظ الحقائق الغامضة وتقليل تطور آليات الذاكرة قصيرة المدى المثالية.
• التغييرات الهيكلية: استكشاف بنيات الشبكات العصبية المتكررة (RNN) التي تفرض ضغط المدخلات وتطبق تدهوراً شبيهاً بالبشر، أو تعديل آليات الانتباه في "الترانسفورمر" لإدخال اختناقات ووظائف التدهور.
• أهداف التدريب: التحول من الأهداف التي تكافئ التنبؤات "الحادة معجمياً" (تخصيص احتمالية عالية للكلمة الصحيحة الوحيدة) إلى الأهداف التي تشجع التنبؤات "المنتشرة" (تخصيص كتلة الاحتمالية للكلمات المتشابهة دلالياً)، مما يعكس عدم اليقين البشري بشكل أفضل.
• التدخلات اللاحقة: استخدام تقنيات تعديل النماذج لـ "إلغاء تعلم" معرفة واقعية محددة يفتقر إليها البشر عادةً.
• نماذج تجريبية جديدة: يدعو المؤلفون إلى إجراء تجارب بشرية مستهدفة لتقييم التقدم. يجب أن تتلاعب هذه التجارب بشكل منهجي بالمعرفة طويلة المدى (عبر الاستبيانات) وأحمال الذاكرة قصيرة المدى (عبر استرجاع القوائم والنصوص المتداخلة) لإنشاء رابط سببي بين قيود الذاكرة وسلوك القراءة.

تؤكد الورقة أن سد الفجوة بين النماذج اللغوية الكبيرة والبشر لا يتطلب نماذج أفضل فحسب، بل نماذج مقيدة بالقيود البشرية في الذاكرة والمعرفة.