Surprisal from Larger Transformer-based Language Models Predicts fMRI Data More Poorly

ملخص تقني: المفاجأة (Surprisal) من النماذج اللغوية الأكبر القائمة على المحولات تتنبأ ببيانات fMRI بشكل أسوأ

بيان المشكلة
تفترض نظريات الفهم النحوي القائمة على التوقعات أن صعوبة المعالجة تتناسب طردياً مع "المفاجأة" من منظور نظرية المعلومات (اللوغاريتم السالب لاحتمالية الكلمة بناءً على سياقها). وبينما تم اعتماد النماذج اللغوية (LMs) القائمة على المحولات (Transformers) على نطاق واسع لتقدير المفاجأة، حددت الدراسات الحديثة ظاهرة "التدرج العكسي" (inverse scaling) في البيانات القائمة على زمن الاستجابة (أوقات القراءة): فكلما زاد حجم النماذج اللغوية (عدد المعلمات) وبيانات التدريب، أصبحت تقديرات المفاجأة الخاصة بها أقل قدرة على التنبؤ بأوقات القراءة البشرية. فالنماذج الأكبر، التي تحقق "ارتباكاً" (perplexity) أقل وتتنبأ بشكل أفضل بالرموز (tokens) النادرة، تعطي قيم مفاجأة أقل تبتعد عن البيانات السلوكية البشرية.

ومع ذلك، أسفرت التحقيقات السابقة في هذه الظاهرة باستخدام بيانات تصوير الدماغ الوظيفي (fMRI) عن نتائج غير حاسمة. فقد وجدت دراسة أجراها "أوه وآخرون" (2022)، باستخدام مجموعة صغيرة نسبياً من النماذج اللغوية، عدم وجود اتجاه تدرج واضح في بيانات fMRI، مما ترك احتمال أن يكون التدرج العكسي خاصاً بالتدابير القائمة على زمن الاستجابة فقط. علاوة على ذلك، أظهرت أبحاث أخرى استخدمت التمثيلات المتجهة الخام للنماذج اللغوية (بدلاً من المفاجأة) على بيانات fMRI تدرجاً إيجابياً، مما يشير إلى أن بيانات تصوير الدماغ قد تسلك سلوكاً مختلفاً. تعالج هذه الدراسة ما إذا كانت علاقة التدرج العكسي تنطبق على بيانات fMRI عند تقييمها بمجموعة شاملة من النماذح.

المنهجية
أجرى المؤلفون تقييماً شاملاً باستخدام تقديرات المفاجأة من 17 نموذجاً لغوياً استباقياً قائماً على المحولات (Transformer-based) ومُدرباً مسبقاً، عبر ثلاث عائلات من النماذج: GPT-2 وGPT-Neo وOPT. تباينت هذه النماذج بشكل كبير في عدد المعلمات. واستخدمت الدراسة مجموعتين متميزتين من بيانات التصوير بالرنين المغناطيسي الوظيفي (fMRI):

1. fMRI للقصص الطبيعية (Shain et al., 2020): إشارات مستوى أكسجين الدم المعتمدة على الزمن (BOLD) المسجلة من 78 شخصاً يستمعون إلى قصص إنجليزية طبيعية.
2. fMRI لبيريرا (Pereira et al., 2018): إشارات BOLD لكل جملة مجمعة عبر مناطق الشبكة اللغوية من أشخاص يقرؤون نصوصاً إنجليزية.

الإجراء التجريبي:

• حساب المفاجأة: تم تقسيم النصوص باستخدام ترميز (byte-pair encoding) خاص بكل نموذج. تم حساب المفاجأة على مستوى الكلمة عن طريق تجميع تقديرات مستوى الرمز (token-level). ولمعالجة عيوب الترميز حيث يمكن أن يتجاوز مجموع احتمالات المسافات البيضاء البادئة الواحد، تضمنت الدراسة فك تشفير تتبع المسافة البيضاء (whitespace-trailing decoding)، حيث أعيد تخصيص احتمالية المسافة البيضاء البادئة إلى الكلمة السابقة.
• محاذاة الإشارة:
  • بالنسبة لـ Natural Stories fMRI، تم دمج تقديرات المفاجأة على مستوى الكلمة مع دالة الاستجابة الهيموديناميكية (HRF) النموذجية لتتواءم مع سلسلة زمن BOLD المستمرة.
  • بالنسبة لـ Pereira fMRI، وبما أن الاستجابات كانت لكل جملة، تم استخدام تقدير المفاجأة للكلمة الأخيرة في الجملة كمُتنبئ، حيث يتم احتساب السياق السابق بالكامل في هذا التقدير.
• نمذجة الانحدار: تم تطبيق نماذج التأثيرات المختلطة الخطية (LME) للتنبؤ بإشارات BOLD.
  • شملت المتنبئات تقدير المفاجأة، وموقع الكلمة، وطول الكلمة (أو طول الجملة في حالة بيريرا).
  • تضمنت النماذج تأثيرات عشوائية للمشاركين والقصص/الجمل.
  • تم تقييم ملاءمة النموذج باستخدام الاحتمالية (log-likelihood) على مجموعات اختبار محجوبة.

النتائج الرئيسية
وجدت الدراسة علاقة تدرج عكسي ذات دلالة إحصائية بين حجم النموذج والقدرة التنبؤية في كلتا مجموعتي بيانات fMRI:

• Natural Stories fMRI: مع زيادة عدد معلمات النماذج اللغوية، انخفضت احتمالية (log-likelihood) لنماذج الانحدار التي تتنبأ بإشارات BOLD بشكل ملحوظ ($p < 0.01$). وهذا يحل النتائج غير الحاسمة لـ "أوه وآخرون" (2022) من خلال استخدام نطاق أوسع من أحجام النماذج.
• Pereira fMRI: لوحظ انخفاض مماثل وذات دلالة في القدرة التنبؤية مع زيادة حجم النموذج ($p < 0.05$).

تشير النتائج إلى أن النماذج اللغوية الأكبر، رغم امتلاكها احتمالات أعلى لكل كلمة (ارتباك أقل)، توفر ملاءمة أسوأ للبيانات العصبية البشرية مقارنة بالنماذج الأصغر.

الأهمية والادعاءات
تتمثل المساهمة الأساسية لهذا العمل في إثبات أن ظاهرة التدرج العكسي لتقديرات المفاجأة **ليست مقتصرة على المقاييس القائمة على زمن الاستج (مثل أوقات القراءة) بل تنطبق أيضاً على البيانات العصبية (fMRI).

• حل البيانات غير الحاسمة: توضح الدراسة الغموض السابق المتعلق ببيانات fMRI، حيث أظهرت أن الاتجاه الملاحظ في البيانات السلوكية يعمم على تصوير الدماغ عند تقييم مجموعة متنوعة بما يكفي من النماذج.
• طبيعة الاتجاه: يشير المؤلفون إلى أنه بينما يوجد علاقة عكسية في بيانات fMRI، إلا أنها "ليست صارمة" كما هو الحال في البيانات القائمة على زمن الاستجابة. وهم يرجحون أن هذا يعود إلى مستويات الضجيج الأعلى المتأصلة في قياسات fMRI مقارنة ببيانات زمن الاستجابة السلوكية.
• الآثار المترتبة على البحث: تشير النتائج إلى أن بيانات تصوير الدماغ لا تسلك سلوكاً مختلفاً جوهرياً عن بيانات زمن الاستجابة في هذا السياق. وبالتالي، فإن تباعد النماذج اللغوية الأكبر عن أنماط المعالجة البشرية (الذي يدفعه على الأرجح تحسنها في التنبؤ بالرموز النادرة) هو ظاهرة عامة عبر المقاييس النفسية. ويقترح المؤلفون أن النماذج الأصغر قد تكون أكثر ملاءمة للباحثين الذين يسعون لفهم آليات معالجة الجمل البشرية باستخدام النماذج اللغوية، حيث قد تفرط النماذج الأكبر في ملاءمة (overfit) الأنماط الإحصائية المنتظمة في بيانات التدريب التي لا تتوافق مع القيود المعرفية البشرية.

القصور
يقر المؤلفون بأن النماذج ومجموعات البيانات تركز على اللغة الإنجليزية، وقد لا تتكرر هذه النتائج في لغات أخرى. بالإضافة إلى ذلك، تعتمد الدراسة على مجموعات بيانات fMRI منشورة، وكان التدرج العكسي في مجموعة بيانات "بيريرا" أقل قوة من الناحية الإحصائية مقارنة بمجموعة "Natural Stories"، وربما يرجع ذلك إلى ندرة البيانات عند التجميع عبر المشاركين.