The Frequency Confound in Language-Model Surprisal and Metaphor Novelty

ملخص تقني: الارتباك الترددي في مفاجأة النماذج اللغوية وجدة الاستعارة

بيان المشكلة
تُستخدم "المفاجأة" (surprisal) في النماذج اللغوية (LM) بشكل متكرر كوكيل للقدرة على التنبؤ السياقي، وقد أُفيد بأنها ترتبط بتقديرات البشر لجدة الاستعارة (metaphor novelty). تشير الدراسات الحديثة إلى "تأثير مقياس عكسي"، حيث تُظهر النماذج الأصغر أو النماذج في مراحل التدريب المبكرة ارتباطات أقوى بين المفاجأة والبيانات السلوكية البشرية (مثل أوقات القراءة أو تقييمات الجدة) مقارنة بالنماذج الأكبر والمكتملة التدريب. ومع ذلك، لا يزال هناك عامل مربك حاسم غير واضح: وهو الاعتماد الوثيق بين المفاجأة والتردد المعجمي (lexical frequency). ومن غير المؤكد ما إذا كانت الارتباطات الملحوظة تعكس قدرة تنبؤ سياقية حقيقية أم أنها مجرد آثار ناتجة عن التردد المعجمي، المعروف بتأثيره القوي على كل من صعوبة المعالجة وتقديرات الجدة. يبحث هذا البحث فيما إذا كانت إعدادات المفاجأة "المثلى" (النماذج الصغيرة، التدريب المبكر) تلتقط حقاً التنبؤ السياقي الشبيه بالبشر، أم أنها ببساطة تتوافق بشكل وثيق مع التردد المعجمي.

المنهجية
أجرى المؤلفون تحليلاً شاملاً باستخدام مجموعة بيانات "فانيسا أمستردام للاستعارة" (VUAMC)، والتي تحتوي على 15,155 كلمة محتوى استعاري مرتبطة بتقييمات الجدة البشرية (مدرجة من -1 للمألوف إلى +1 للجديد).

• مجموعة النماذج: استخدمت الدراسة عائلة نماذج "Pythia" (Biderman et al., 2023)، والتي تضم ثمانية أحجام نماذج تتراوح من 70 مليون إلى 12 مليار معلمة (parameter). تم تدريب جميع النماذج على نفس المجموعة المكونة من 300 مليار رمز (The Pile).
• ديناميكيات التدريب: لتحليل تقدم ما قبل التدريب، فحص المؤلفون 154 نقطة تفتيش وسيطة لنموذج Pythia-70M، مما يرصد تطور النموذج من مرحلة التدريب المبكرة (خطوة واحدة) إلى اكتمال التدريب (300 مليار رمز).
• المقاييس:
  • المفاجأة (Surprisal): تم حسابها كـ $-\log p(w_i | w_{<i})$ للكلمات الاستعارية المستهدفة ضمن سياق جملتها، مع تصحيحات للترميز (tokenization) والمسافات البيضاء الرائدة.
  • التردد المعجمي (Lexical Frequency): تم استخدام مقييسين متميزين لتقدير تردد الكلمات:
    1. NLF-Human: اللوغاريتم السالب للتردد المستمد من wordfreq ، والذي يمثل تجميعاً لاستخدام اللغة العامة (بما يقارب "متحدث متوسط باللغة الإنجليزية").
    2. NLF-LM: اللوغاريتم السالب للتردد المحسوب خصيصاً لتسلسلات الرموز الفرعية (subtokens) المرصودة في بيانات تدريب Pythia حتى كل نقطة تفتيش محددة.
• التحليل: كممت الدراسة الارتباطات باستخدام معاملات سبيرمان ($\rho$) وبيرسون ($r$)، بالإضافة إلى المساحة تحت منحنى خصائص التشغيل (AUC) لتصنيف الاستعارات الجديدة. ركز التحليل على العلاقات بين: (1) المفاجأة والجدة، (2) التردد والجدة، و(3) المفاجأة والتردد.

النتائج الرئيسية

1. التردد كمؤشر أقوى: عبر جميع أحجام النماذج ومراحل التدريب، أظهر التردد المعجمي (سواء NLF-Human أو NLF-LM) باستمرار ارتباطاً أقوى مع تقييمات جدة الاستعارة من مفاجأة النموذج اللغوي. حقق NLF-Human أعلى الارتباطات ($\rho \approx 0.66$، AUC $\approx 0.90$).
2. المقياس العكسي وديناميكيات التدريب:
   • حجم النموذج: انخفض الارتباط بين المفاجأة والجدة مع زيادة حجم النموذج. أظهرت النماذج الأصغر (70M) أقوى ارتباط بين المفاجأة والجدة.
   • تقدم التدريب: بالنسبة لنموذج Pythia-70M، كان الارتباط بين المفاجأة والجدة ضعيفاً في البداية، ثم ارتفع بحدة بعد 64 خطوة تدريبية، وبلغ ذروته عند 128 خطوة (حوالي 268 مليون رمز مرئي)، ليصل إلى $\rho \approx 0.62$. بعد هذه الذروة، انخفض الارتباط.
3. الارتباك الترددي: من الناحية الحاسمة، عكست اتجاهات الارتباط بين المفاجأة والجدة الاتجاهات في الارتباط بين المفاجأة والتردد.
   • في مرحلة التدريب المبكرة (128 خطوة) حيث ارتبطت المفاجأة بقوة أكبر مع الجدة، ارتبطت أيضاً بقوة أكبر مع التردد ($\rho \approx 0.95$ مع NLF-LM).
   • مع نمو النماذج أو تقدم التدريب، ضعف الارتباط بين المفاجأة والتردد، مما واكب انخفاض الارتباط بين المفاجأة والجدة.
4. التوافق: الإعدادات التي قدمت فيها المفاجأة "أفضل" أداء (النماذج الصغيرة، التدريب المبكر) هي ذاتها التي كانت فيها المفاجة أكثر توافقاً بدقة مع التردد المعجمي.

الأهمية والادعاءات
يجادل البحث في أن إعدادات المفاجأة "المثلى" التي يُبلغ عنها غالباً (النماذج الصغيرة أو مراحل التدريب المبكرة) قد لا توفر دليلاً مباشراً على الحسابات القائمة على المفاجأة لجدة الاستعارة أو صعوبة المعالجة. بدلاً من ذلك، فإن الارتباطات القوية الملحوظة في هذه الإعدادات تعكس على الأرجح اعتماد النموذج على التردد المعجمي بدلاً من القدرة التنبؤية السياقية الحقيقية.

يخلص المؤلفون إلى ما يلي:

• التردد المعجمي هو عامل أساسي في تقديرات جدة الاستعارة، وغالباً ما يعمل كمؤشر أقوى من المفاجأة السياقية.
• "تأثير المقياس العكسي" الملحوظ في ارتباطات المفاجأة والجدة قد يكون نتاجاً لتغير العلاقة بين المفاجأة والتردد عبر مقاييس النماذج ومراحل التدريب.
• يجب على الباحثين توخي الحذر عند تفسير ارتباطات المفاجأة والجدة القوية في مراحل التدريب المبكرة أو النماذج الصغيرة كدعم مباشر لنظريات صعوبة المعالجة القائمة على القدرة التنبؤية السياقية.
• يتطلب التقدم المستقبلي في هذا المجال فصلاً نظرياً ومنهجياً أوضح بين القدرة التنبؤية السياقية وتأثيرات التردد المعجمي.

لا يدعي البحث أن النماذج الأكبر تنتج تقديرات "سيئة" للقدرة التنبؤية، بل يشير إلى أن الظروف المحددة التي تتوافق فيها المفاجأة مع تقييمات الجدة البشرية مشوبة بالارتباك مع التردد. ويدعو المؤلفون إلى تطوير المزيد من التقييمات البشرية التي تعكس بشكل أفضل نظريات الجدة والأصالة، متميزة عن تأثيرات التردد البسيطة.